منابع سخت افزاری لازم

#6
by yas95 - opened

برای راه اندازی و تست این مدل چقدر منابع سخت افزاری لازم است؟

Part DP AI org

با سلام و وقت بخیر.

برای استفاده از مدل با بک اند huggingface حدود 17 گیگ حافظه نیاز است.
طبیعتا برای سرعت بیشتر میتوانید از کارت گرافیک قوی تر استفاده کنید. اما یک گزینه مناسب A100 40GB است.
همچنین میتوانید با استفاده از Quantization مقدار حافظه مورد نیاز را کاهش دهید.
حافظه مورد نیاز اعلام شده با دقت bfloat16 بیان شده است.
با تشکر

Part DP AI org

با سلام مجدد.

همچنین میتوانید از لینک زیر به نسخه هایی با دقت های مختلف کوانتایز شده از مدل ۸ میلیاردی درنا دسترسی داشته باشید:

Dorna-Llama3-8B-Instruct-GGUF
با تشکر

من با 32 گیگ حافظه مدل اصلی درنا را لود کردم کرش کرد

Part DP AI org
با سلام

ممنون میشوم کدی که لود کردید رو به همراه ورژن کتابخانه های مهم بفرستید تا بهتر بتوانیم مشکل را بررسی کنیم.

با تشکر

tabedini changed discussion status to closed

اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟

Part DP AI org
edited Aug 4

اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟

سلام

سروری انتخاب کنید که VRAM GPU متناسبی با سایز و نسخه مدل داشته باشد.
نسخه های کوانتایز شده بهینه هستند که از این لینک میتونید استفاده کنید
https://huggingface.co/PartAI/Dorna-Llama3-8B-Instruct-GGUF

Sign up or log in to comment