-i6a77249e192b0.png)
En güncel haberleri, analizleri ve rehberleri tek bir yerde arayın.
Büyük dil modellerinin önemli bir bölümü, metni sırayla token üreterek oluşturur. Her adımda yeni tokenın önceki bağlamla ilişkisi değerlendirilir. Geçmiş tokenlara ait bütün hesaplamaların her seferinde yeniden yapılması, üretimi gereksiz yere yavaşlatabilir.
4 gün önce
KV Cache, büyük dil modellerinin önceki attention hesaplamalarını yeniden kullanarak inference sürecini daha hızlı ve verimli hâle getirmesini sağlayan temel optimizasyon tekniklerinden biridir.
1 ay önce