Nedir?

NPU Nedir? Yapay Zekâ İşlemcileri Bilgisayarlarda ve Telefonlarda Ne İşe Yarıyor?

NPU (Neural Processing Unit), sinir ağı hesaplamalarını hızlandırmak amacıyla tasarlanan işlem birimidir. Türkçede Sinir Ağı İşlem Birimi olarak ifade edilebilir.

NPU’lar, desteklenen yapay zekâ görevlerini CPU ve GPU ile birlikte üstlenebilir. Özellikle uzun süre çalışan yerel uygulamalarda, performans ile güç tüketimi arasında uygun denge kurulmasına yardımcı olmayı hedefler.

NPU Nedir?

NPU, yapay sinir ağlarında sık kullanılan matematiksel işlemler için özelleştirilmiş bir donanım hızlandırıcısıdır. Matris çarpımı, çarpma-toplama ve evrişim gibi hesaplamaları verimli yürütmek üzere tasarlanır.

Bir NPU, cihazın işlemci paketine veya SoC (System on a Chip) yapısına entegre olabilir. Bu nedenle ayrı bir ekran kartına benzeyen bağımsız bir parça olarak görünmesi gerekmez.

Desteklenen modellere bağlı olarak görüntü, ses, metin ve diğer sensör verileri üzerinde çalışabilir. Ancak “NPU var” bilgisi, cihazın bütün yapay zekâ modellerini çalıştırabileceği anlamına gelmez.

CPU, GPU ve NPU Arasındaki Fark Nedir?

Bu işlem birimlerinin görevleri örtüşebilir. Üçü de uygun yazılımlarla yapay zekâ hesaplamalarında kullanılabilir.

İşlem birimi Temel rolü Yapay zekâdaki kullanımı
CPU Genel amaçlı hesaplama ve sistem yönetimi Veri hazırlama, uygulama kontrolü ve model çalıştırma
GPU Grafik işleme ve yoğun paralel hesaplama Model eğitimi, çıkarım ve üretken yapay zekâ
NPU Sinir ağı işlemlerini özelleştirilmiş donanımla hızlandırma Özellikle desteklenen yerel çıkarım görevlerinde enerji verimliliği

NPU, CPU’nun yerini almaz. İşletim sistemi ve uygulama yönetimi gibi görevlerde CPU çalışmaya devam eder. GPU ise grafik işlemleriyle birlikte yüksek hesaplama gücü gerektiren yapay zekâ işlerinde önemli rol oynar.

Bir uygulamanın farklı bölümleri farklı işlem birimlerinde yürütülebilir.

NPU Nasıl Çalışır?

Bir modelin NPU üzerinde çalışması için donanımla yazılımın uyumlu olması gerekir. Genel süreç şöyledir:

  1. Model hazırlanır: Eğitimden geçmiş model, kullanılacak yazılım altyapısına uygun biçime getirilir.

  2. Uyumluluk değerlendirilir: Modeldeki işlemlerin ve veri türlerinin NPU tarafından desteklenip desteklenmediği kontrol edilir.

  3. Gerekli optimizasyonlar yapılır: Model derlenebilir veya uygun sayısal hassasiyete dönüştürülebilir.

  4. İşlemler donanıma dağıtılır: Desteklenen bölümler NPU üzerinde yürütülür.

  5. Sonuç uygulamaya aktarılır: Çıktı, kullanıcıya sunulacak biçimde işlenir.

Bazı altyapılarda NPU’nun desteklemediği bölümler CPU’ya aktarılabilir. AMD’nin Ryzen AI dokümantasyonunda bu tür otomatik model bölümlendirmesine örnek verilmektedir. Dolayısıyla bir uygulamanın NPU kullanması, bütün işlemlerinin yalnızca NPU’da yapıldığı anlamına gelmez.

Yazılım Desteği Neden Önemlidir?

Donanımdaki NPU’dan yararlanmak için uygulamanın uygun çalışma zamanını, sürücüleri ve hızlandırma arayüzlerini kullanması gerekir.

Örneğin Windows ML, modellerin CPU, GPU ve NPU üzerinde çalıştırılabilmesi için farklı donanım sağlayıcılarına ait yürütme bileşenlerini destekler. Kullanılabilir özellikler; cihaz, sürücü ve yazılım sürümüne göre değişebilir.

Bu nedenle NPU bulunan bir bilgisayarda açılan her yapay zekâ uygulaması NPU’yu kullanmaz. Uygulama GPU’da, CPU’da veya uzak bir bulut sunucusunda çalışıyor olabilir.

TOPS Nedir? Yüksek Değer Daha İyi Performans mı Demektir?

TOPS, saniyede trilyon işlem anlamına gelir. Yapay zekâ hızlandırıcılarının teorik hesaplama kapasitesini ifade etmek için kullanılır.

Ancak TOPS değeri tek başına uygulamanın ne kadar hızlı çalışacağını göstermez. Karşılaştırmada şu ayrıntılar önemlidir:

  • Hesabın hangi sayısal hassasiyette yapıldığı.

  • Seyrek veya yoğun hesaplamanın esas alınıp alınmadığı.

  • Değerin yalnızca NPU’ya mı, bütün platforma mı ait olduğu.

  • Bellek bant genişliği ve yazılımın donanımı kullanma başarısı.

Örneğin CPU, GPU ve NPU’nun toplam kapasitesi olarak verilen bir değer, tek bir modelin NPU üzerinde ulaşacağı performansla aynı değildir. Intel’in TOPS değerlendirmesi de gerçek performansın yalnızca tepe işlem kapasitesiyle açıklanamayacağını vurgular.

NPU Büyük Dil Modellerini Çalıştırabilir mi?

Uygun model, yeterli bellek ve yazılım desteği bulunduğunda çalıştırabilir. Ancak modelin parametre sayısı, kullanılan hassasiyet ve bağlam uzunluğu kaynak ihtiyacını etkiler.

Büyük dil modellerinde hesaplama kapasitesinin yanında bellek bant genişliği de önemlidir. Özellikle token üretiminde model verilerinin bellekte taşınması performansı sınırlayabilir.

Kuantizasyon gibi teknikler, modelin depolama ve bellek ihtiyacını azaltmaya yardımcı olabilir. Bunun karşılığında çıktı kalitesinin yeniden değerlendirilmesi gerekir. Qualcomm’un cihaz üzerinde üretken yapay zekâ çalışmaları, bu bellek ve optimizasyon gereksinimlerini ele almaktadır.

NPU Hangi İşlerde Kullanılır?

Desteklenen uygulamalarda NPU şu görevleri hızlandırabilir:

  • Görüntülü görüşme: Arka plan efektleri ve görüntü iyileştirme.

  • Ses işleme: Gürültü azaltma, konuşma tanıma ve ses sınıflandırma.

  • Fotoğraf ve video: Nesne algılama ve belirli düzenleme işlemleri.

  • Metin uygulamaları: Uyumlu yerel modellerle sınıflandırma, özetleme veya metin üretimi.

  • Endüstriyel cihazlar: Görüntü analizi ve sensör verilerinin değerlendirilmesi.

Bu görevlerin NPU’ya uygunluğu, modelin yapısına ve uygulamanın kullandığı yazılım altyapısına bağlıdır. Aynı özellik farklı cihazlarda farklı işlem birimleriyle çalıştırılabilir.

Avantajları Nelerdir?

Enerji Verimliliği

Desteklenen iş yüklerinde NPU, aynı görevi başka bir işlem birimine göre daha düşük güçle gerçekleştirebilir. Ancak pil ömründeki toplam değişim, ekran ve diğer bileşenlerin tüketimine de bağlıdır.

Yerel İşleme

Model cihazda çalışıyorsa uzak sunucuya istek gönderme ihtiyacı azalabilir. Bu durum ağ gecikmesini ve bağlantıya bağımlılığı düşürebilir.

Diğer İşlem Birimlerinin Yükünü Azaltma

Uygun görevlerin NPU’ya aktarılması, CPU ve GPU’nun başka işlere kaynak ayırmasını sağlayabilir.

Bu kazanımlar otomatik değildir. Uygulamanın NPU’ya uygun biçimde optimize edilmesi gerekir.

Gizlilik ve Çevrim Dışı Kullanım Sağlar mı?

Yerel işlem, verilerin buluta gönderilmesini azaltabilir. Fakat NPU bulunması, verilerin cihazdan hiç çıkmadığını garanti etmez. Uygulama; hesap eşitleme, günlük kaydı veya başka hizmetler için ağ bağlantısı kullanabilir.

Benzer şekilde çevrim dışı kullanım için modelin ve gerekli bileşenlerin cihazda bulunması gerekir. Güncel web bilgisi isteyen bir özellik, yerel model kullansa bile internete ihtiyaç duyabilir.

Sık Sorulan Sorular

NPU olmadan yapay zekâ kullanılabilir mi?

Evet. CPU, GPU veya bulut hizmetleri üzerinden yapay zekâ uygulamaları çalıştırılabilir.

NPU model eğitmek için mi kullanılır?

Kişisel bilgisayar ve telefonlardaki NPU’lar çoğunlukla çıkarıma odaklanır. Eğitim ve uyarlama desteği donanıma ve yazılıma göre değişir.

NPU ile nöromorfik çip aynı şey mi?

Hayır. NPU, sinir ağı hesaplamalarını hızlandıran işlem birimidir. Nöromorfik donanımlar ise olay tabanlı iletişim gibi biyolojik sinir sistemlerinden esinlenen farklı tasarım ilkelerini kullanabilir.

Daha yüksek TOPS her zaman daha hızlı yanıt mı sağlar?

Hayır. Model uyumluluğu, bellek, yazılım ve gerçek uygulama ölçümleri de değerlendirilmelidir.

NPU’nun pratik değeri, kullanılacak uygulamaların bu donanımdan ne ölçüde yararlanabildiğine bağlıdır. Başarılı bir sistemde CPU, GPU, NPU ve gerektiğinde bulut kaynakları işin gereksinimlerine göre birlikte çalışır.

Kaynaklar: Intel — Processor Guidebook: The Basics from CPUs to ASICs ve Choosing the Right AI PC: Why There’s More to Performance than TOPS; Microsoft Learn — Windows ML Execution Providers; AMD — Ryzen AI Model Compatibility; Qualcomm — Accelerating Generative AI at the Edge.

Editör Notu

Bu içerik, kamuya açık işlemci mimarisi açıklamaları ve resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. NPU performansı ve enerji verimliliği; donanıma, modelin yapısına, yazılım desteğine ve çalışma koşullarına göre değişebilir.