GGUF
English
Japanese
Edit model card

Llama-3-ELYZA-JP-8B-gguf

elyzaさんが公開しているLlama-3-ELYZA-JP-8Bのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'Llama-3-ELYZA-JP-8B-Q4_0.gguf' -n 128 -p 'こんにちわ'
Downloads last month
16,356
GGUF
Model size
8.03B params
Architecture
llama

1-bit

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

Unable to determine this model's library. Check the docs .

Dataset used to train mmnga/Llama-3-ELYZA-JP-8B-gguf