-i6a77249e192b0.png)
En güncel haberleri, analizleri ve rehberleri tek bir yerde arayın.
Büyük dil modellerini belirli görevlere uyarlamak, önemli miktarda hesaplama gücü ve bellek gerektirebilir. Özellikle modelin bütün ağırlıklarının güncellendiği tam ince ayar işlemlerinde, ağırlıkların yanında gradyanlar, ara hesaplamalar ve optimizasyon bilgileri de GPU belleğinde yer kaplar.
1 gün önce
Büyük dil modelleri yanıt üretirken önceki tokenlara ait bazı hesaplamaları KV Cache (Key-Value Cache) içinde saklar. Böylece geçmiş metnin aynı hesaplamalarını her adımda yeniden yapmak gerekmez. Ancak uzun bağlamlar ve eş zamanlı istekler, bu önbelleğin önemli miktarda GPU belleği tüketmesine yol...
3 gün önce