چه GPU برای کدام مدل زبانی؟ راهنمای VRAM و کوانتیزیشن
اولین سؤال هر کسی که می‌خواهد مدل زبانی اجرا کند همین است: «سیستم من می‌کشد؟» جواب تقریباً همیشه به یک عدد برمی‌گردد: VRAM؛ حافظه‌ی کارت گرافیک. اگر مدل در VRAM جا شود، سریع و روان اجرا می‌شود؛ اگر نشود، یا اصلاً اجرا نمی‌شود یا با سرعتی آزاردهنده. این راهنما به شما یاد می‌دهد قبل از دانلود هر مدلی، خودتان حساب کنید چه چیزی روی چه سختافزاری اجرا می‌شود.
قاعده سرانگشتی حافظه
حجم مدل تابع دو چیز است: تعداد پارامتر و دقت ذخیره‌سازی هر پارامتر. فرمول تقریبی ساده:
- دقت کامل (FP16): هر ۱ میلیارد پارامتر ≈ ۲ گیگابایت؛ مدل 8B یعنی ~۱۶ گیگ.
- کوانتیزه ۴ بیتی (Q4): هر ۱ میلیارد پارامتر ≈ ۰.۶ گیگابایت؛ همان مدل 8B می‌شود ~۵ گیگ.
چند گیگابایت هم برای کانتکست و سربار سیستم کنار بگذارید.
کوانتیزیشن: کلید اجرای محلی
کوانتیزیشن یعنی فشرده‌کردن اعداد مدل با دقت کمتر، مثل ذخیره‌ی عکس با کیفیت ۸۰٪ به‌جای ۱۰۰٪: حجم به حدود یک‌سوم می‌رسد و افت کیفیت در عمل جزئی است. فرمت رایج آن GGUF است (همان چیزی که اولاما استفاده می‌کند) و سطح Q4_K_M نقطه‌ی تعادل پذیرفته‌شده‌ی جامعه است؛ Q8 کیفیت بالاتر با حجم تقریباً دو برابر می‌دهد. قاعده‌ی مهم: مدل بزرگ‌تر با Q4 تقریباً همیشه از مدل کوچک‌تر با دقت کامل بهتر است.
جدول مرجع: مدل → سختافزار
| سایز مدل (Q4) | VRAM لازم | سختافزار نمونه |
|---|---|---|
| 3-4B | ~۳ گیگ | لپ‌تاپ معمولی (حتی بدون GPU) |
| 7-8B | ~۵-۶ گیگ | RTX 3060 / مک M-series ۱۶ گیگ |
| 13-14B | ~۹-۱۰ گیگ | RTX 4070 / مک ۲۴ گیگ |
| 27-33B | ~۱۸-۲۰ گیگ | RTX 4090 ۲۴ گیگ / مک ۳۲ گیگ |
| 70B | ~۴۰-۴۵ گیگ | ۲× GPU یا کارت سروری ۴۸ گیگ |
| 200B+ (MoE) | چند صد گیگ | سرور چند GPU حرفه‌ای |
اگر GPU ندارم چه؟
مدل‌های کوچک (تا ~8B) روی CPU و RAM معمولی هم اجرا می‌شوند، کندتر اما قابل استفاده؛ مک‌های اپل‌سیلیکون به لطف حافظه‌ی یکپارچه عملکرد خیلی خوبی دارند. اولاما هم اگر VRAM کم بیاورید، خودکار بخشی از مدل را روی RAM می‌گذارد؛ کار می‌کند اما سرعت به‌شدت افت می‌کند؛ اگر مدام به این حالت می‌خورید، یعنی وقت ارتقاست.
خرید GPU یا اجاره سرور؟
کارت ۲۴ گیگابایتی هزینه‌ی سنگینی دارد و دو سال بعد نسل جدید می‌آید. سرور ابری GPU همان قدرت را با هزینه‌ی ماهانه (یا ساعتی؛ فقط وقت استفاده) می‌دهد و ارتقایش یک کلیک است. برای مصرف مقطعی و پروژه‌ای، اجاره تقریباً همیشه به‌صرفه‌تر از خرید است.
جمع‌بندی
حساب ساده است: پارامتر × ۰.۶ گیگ (برای Q4) + کمی سربار = VRAM لازم. با مدلی شروع کنید که راحت در حافظه‌تان جا می‌شود، Q4_K_M را پیش‌فرض بگیرید و وقتی سختافزار محدود‌تان شد، به‌جای خرید کارت گران، سرور GPU اجاره کنید.