Model
- base model: beomi/Solar-Ko-Recovery-11B
Dataset
- jojo0217/korean_rlhf_dataset
- jojo0217/korean_safe_conversation
- HAERAE-HUB/qarv-instruct-ko
- HAERAE-HUB/Korean-Human-Judgements
- HAERAE-HUB/K2-Feedback
- changpt/ko-lima-vicuna
- maywell/kiqu_samples
- CarrotAI/ko-instruction-dataset
- 4n3mone/vector_bench
- youjunhyeok/llama3_train
Load Model
Use the following Python code to load the model:
from transformers import AutoTokenizer, AutoModelForCausalLM
path = 'youjunhyeok/solar-ko-recovery-11b-chat-v1'
model = AutoModelForCausalLM.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path)
model.to('cuda')
Chat
def chat(message):
messages = [
{"role": "system", "content": "당신은 인공지능 어시스턴트입니다. 친절하고 상세한 답변을 해주세요."},
{"role": "user", "content": message},
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_tensors="pt"
).to(model.device)
outputs = model.generate(
input_ids,
max_new_tokens=1024,
do_sample=True,
temperature=0.9,
top_p=0.95,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))
chat('태양의 흑점 폭발에 대해 설명해줘.')
Output
넵! 태양의 흑점 폭발에 대해 설명해드리겠습니다.
태양의 흑점 폭발은 태양의 표면에 있는 흑점이 폭발하여 생기는 현상입니다.
흑점은 태양의 자기장이 강한 부분으로, 그 부위의 자기장이 폭발하면서 에너지를 방출하는 것이지요.
이 폭발은 태양의 에너지 변화로 이어져 지구에 다양한 영향을 미칠 수 있습니다.
예를 들어, 지구의 통신 시스템에 교란을 일으키거나 GPS 등의 장비에 오류가 발생할 수 있습니다.
또한, 태양에서 방출된 에너지가 지구에 도달하여 오로라를 발생시키기도 하지요.
따라서, 태양의 흑점 폭발은 태양의 활동성과 관련이 깊으며, 태양의 자기장 변화를 연구하는 데에도 중요한 지표가 됩니다.
더 궁금하신 점이 있으면 언제든지 말씀해 주세요!
Llama_factory Train Config
{data_dir}, {dataset_name}, {output_dir} is variable
bf16: true
cutoff_len: 2048
dataset: k2-feedback,kiqu_samples,ko_lima_vicuna,ko-instruction-data,korean-human-judgements,rlhf_dataset,safe_conversation,qarv-instruct-ko,vector_bench,llama3_train
dataset_dir: {data_dir}
ddp_timeout: 180000000
do_train: true
eval_steps: 250
eval_strategy: steps
finetuning_type: lora
flash_attn: auto
gradient_accumulation_steps: 4
include_num_input_tokens_seen: true
learning_rate: 1.0e-06
logging_steps: 5
lora_alpha: 16
lora_dropout: 0.05
lora_rank: 16
lora_target: all
lr_scheduler_type: inverse_sqrt
max_grad_norm: 1.0
max_samples: 100000
model_name_or_path: beomi/Solar-Ko-Recovery-11B
num_train_epochs: 2.0
optim: adamw_torch
output_dir: saves/SOLAR-10.7B/lora/solar-ko-recovery-instruct-v2
packing: false
per_device_eval_batch_size: 8
per_device_train_batch_size: 8
plot_loss: true
preprocessing_num_workers: 16
report_to: none
save_steps: 250
stage: sft
template: solar
val_size: 0.05
warmup_steps: 250
- Downloads last month
- 3,989
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.