الذكاء الاصطناعي وتعلم الآلة
GGUF وGPTQ وAWQ وEXL2: كيف تستخدم صيغ تكميم LLM الذاكرة فعليًا
قارن استخدام الذاكرة بين GGUF وGPTQ وAWQ وEXL2، من حجم ملف Q4_K_M إلى نمو ذاكرة KV cache والنفقات الإضافية لبيئة التشغيل.
Brian 12 دقيقة قراءة
اختر بلدًا لعرض Cloudzy بلغتك.
المؤلف
Staff Technical Writer
2 posts
Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.
قارن استخدام الذاكرة بين GGUF وGPTQ وAWQ وEXL2، من حجم ملف Q4_K_M إلى نمو ذاكرة KV cache والنفقات الإضافية لبيئة التشغيل.
تتيح الذاكرة الموحدة لجهاز AI PC مدمج تحميل نماذج من فئة 235B لا يستطيع أي GPU منفرد بسعة 24-32GB استيعابها. ما هي، ولماذا تنجح، ولماذا لا يعني الأكبر الأسرع.