-i6a77249e192b0.png)
En güncel haberleri, analizleri ve rehberleri tek bir yerde arayın.
Büyük dil modelleri, milyarlarca parametre içerir. Bu parametrelerin bellekte saklanması ve hesaplamalarda kullanılması, özellikle büyük modellerde önemli donanım kaynakları gerektirir.
1 gün önce
Quantization, milyarlarca parametreye sahip yapay zekâ modellerini daha düşük bit hassasiyetiyle temsil ederek bellek kullanımını ve çıkarım maliyetini azaltıyor. Peki INT4, INT8, GPTQ ve AWQ gibi yöntemler nasıl çalışıyor?
1 ay önce