Edge AI (Uç Yapay Zekâ), yapay zekâ hesaplamalarını verinin üretildiği yere yaklaştırır. Bu yaklaşım, bazı görevlerde internet bağımlılığını ve veri aktarımını azaltırken daha kısa yanıt süreleri sağlayabilir.

Edge AI Nedir?

Edge AI, yapay zekâ modellerinin verinin üretildiği cihazda veya bu cihaza yakın bilgi işlem altyapısında çalıştırılmasıdır.

Bu sistemler arasında şunlar bulunabilir:

• Akıllı telefonlar ve bilgisayarlar.

• Kameralar ve sensör sistemleri.

• Otomobiller ve robotlar.

• Endüstriyel ağ geçitleri.

• Mağaza veya fabrika içindeki yerel sunucular.

Dolayısıyla Edge AI yalnızca tek bir cihazın içindeki hesaplamayı kapsamaz. Bir tesisteki kameraların görüntülerini yakın bir sunucuda işlemek de uç yapay zekâ yaklaşımıdır.

Edge AI Nasıl Çalışır?

Tipik bir uygulamada eğitilmiş model, hedef cihazın kapasitesine uygun biçimde hazırlanır ve yerel sisteme yüklenir.

Süreç genel olarak şöyle ilerler:

1. Girdi alınır: Kamera, mikrofon veya sensörden veri gelir.

2. Veri hazırlanır: Girdi, modelin beklediği biçime dönüştürülür.

3. Model çalıştırılır: CPU, GPU veya uygun bir hızlandırıcı hesaplamayı yürütür.

4. Sonuç kullanılır: Kullanıcıya bilgi gösterilir ya da tanımlanmış bir işlem başlatılır.

5. Gerekli kayıtlar paylaşılır: Uygulamanın tasarımına göre bazı sonuçlar merkezi sisteme aktarılabilir.

Burada gerçekleştirilen işlem çoğunlukla inference, yani çıkarımdır. Modelin eğitimi bulutta yapılmış olabilir. Eğitim ve yerel kullanım, aynı sistemin farklı aşamalarıdır.

Bulut Yapay Zekâ ile Arasındaki Fark Nedir?

Bulut yapay zekâ, hesaplamayı uzak sunucularda gerçekleştirir. Büyük modellerin çalıştırılması ve kaynakların merkezi olarak yönetilmesi açısından avantaj sağlayabilir.

Edge AI, hesaplamayı veri kaynağına yaklaştırır. Özellikle bağlantının zayıf olduğu veya sürekli görüntü ve ses aktarımının maliyet oluşturduğu ortamlarda yararlı olabilir.

İki yaklaşım birlikte kullanılabilir. Örneğin bir kamera görüntüyü yerel olarak analiz ederken, farklı tesislerden gelen olay kayıtları merkezi bir platformda değerlendirilebilir. Bulut ve uç sistemler arasında görev paylaşımı yapılması, uygulamanın ihtiyaçlarına göre tasarlanır.

Edge AI Gerçekten İnternetsiz Çalışabilir mi?

Gerekli model, yazılım ve veriler yerelde bulunuyorsa belirli görevler çevrim dışı yürütülebilir.

Örneğin cihazda bulunan bir görüntü sınıflandırma modeli, yeni fotoğrafları internet bağlantısı olmadan değerlendirebilir. Ancak güncel hava durumu veya internetten bilgi getirme gibi görevler dış kaynaklara erişim gerektirir.

Model indirme, lisans doğrulama ve güncelleme süreçleri de bağlantıya ihtiyaç duyabilir. Bu nedenle bir uygulamanın Edge AI kullanması, bütün özelliklerinin çevrim dışı çalışacağı anlamına gelmez.

Nerelerde Kullanılır?

Akıllı Telefonlar ve AI PC’ler

Desteklenen uygulamalarda fotoğraf işleme, ses tanıma ve yerel dil modeli çalıştırma gibi görevler gerçekleştirilebilir. Kullanılabilecek modelin boyutu ve hızı cihazın kapasitesine bağlıdır.

Kameralar ve Endüstriyel Sistemler

Nesne algılama, ürün kusurlarını araştırma ve belirli olayların tespiti yerel olarak yapılabilir. Modelin başarısı, görüntü kalitesi ve çalışma koşullarından etkilenir.

Robotik ve Araç Sistemleri

Çevre algılama ve hareket planlama gibi görevlerde yakın hesaplama kaynaklarından yararlanılabilir. Güvenilir çalışma için gecikmenin yanında model doğruluğu ve sistemin hata durumlarındaki davranışı da önemlidir.

Mağazalar ve Depolar

Operasyonel izleme, görüntü analizi ve stok süreçlerine yardımcı uygulamalar tesis içinde çalıştırılabilir. Bu ortamlar, uç yapay zekâ çözümlerinin kullanım alanları arasındadır.

NPU veya Güçlü GPU Zorunlu mu?

Hayır. Bazı küçük modeller CPU üzerinde yeterli performansla çalışabilir. NPU ve GPU gibi hızlandırıcılar ise destekledikleri işlemlerde hız veya enerji verimliliği sağlayabilir.

Donanımın yanında yazılım uyumluluğu da gerekir. Modeldeki her işlem, cihazın hızlandırıcısı tarafından desteklenmeyebilir. ONNX Runtime gibi çalışma ortamları, uygun hesaplamaları farklı donanım birimlerine yönlendirebilir.

Bu nedenle cihazın yalnızca “yapay zekâ işlemcisi” taşıması, her modeli hızlı çalıştıracağı anlamına gelmez.

Modeller Neden Optimize Edilir?

Yerel cihazlarda bellek, depolama, güç ve soğutma kapasitesi sınırlı olabilir. Modelin bu koşullara uygun seçilmesi gerekir.

Quantization, modeldeki sayısal değerleri daha düşük hassasiyetle temsil ederek boyutu küçültebilir. Başka optimizasyon yöntemleriyle birlikte hesaplama maliyetini azaltmaya yardımcı olabilir.

Ancak optimizasyon, çıktı kalitesini veya çalışma hızını farklı biçimlerde etkileyebilir. Sonuçlar hedef cihaz üzerinde ölçülmelidir. Google LiteRT, modellerin dönüştürülmesi, optimize edilmesi ve uç platformlarda çalıştırılması için araçlar sunar.

Avantajları ve Sınırları Nelerdir?

Gecikme: Ağ üzerinden gidip gelme süresi azalabilir. Buna karşılık yerel hesaplama yavaşsa toplam yanıt süresi uzayabilir.

Gizlilik: Ham verilerin cihazdan çıkarılmadan işlenmesi mümkün olabilir. Ancak uygulamanın kayıt veya içerik göndermediği ayrıca doğrulanmalıdır.

Ağ kullanımı: Sürekli ham veri aktarımı yerine seçilmiş sonuçların paylaşılması bant genişliği ihtiyacını azaltabilir.

Enerji ve maliyet: Bulut kullanım giderleri azalabilir; yerel işlem ise pil tüketimini, ısınmayı ve cihaz maliyetini artırabilir.

Yönetim: Çok sayıda cihazdaki model sürümlerinin güncellenmesi ve performanslarının izlenmesi ayrı bir operasyon gerektirir.

Sık Sorulan Sorular

Edge AI verilerin cihazdan hiç çıkmamasını garanti eder mi?

Hayır. Veri paylaşımı uygulamanın tasarımına ve ayarlarına bağlıdır.

Edge AI için 5G veya 6G gerekir mi?

Hayır. Tamamen yerel çalışan bir model mobil ağ olmadan kullanılabilir. Bağlantılı uygulamalarda ağ altyapısı ayrıca rol oynar.

Edge AI her zaman daha hızlı mıdır?

Hayır. Modelin büyüklüğü, donanım ve ağ koşulları birlikte değerlendirilmelidir.

Edge AI bulutun yerini tamamen alır mı?

Böyle bir zorunluluk yoktur. Yerel sistemler ve bulut, aynı uygulamanın farklı görevlerini üstlenebilir.

Edge AI’ın temel katkısı, yapay zekânın nerede çalışacağını ihtiyaca göre seçebilmesidir. Başarılı bir uygulama, çevrim dışı çalışma ve düşük gecikme hedeflerini model kalitesi, enerji tüketimi ve güvenlikle birlikte değerlendirir.

Kaynaklar: NVIDIA — What Is Edge AI and How Does It Work?, What’s the Difference: Edge Computing vs. Cloud Computing ve Edge Computing Solutions for Enterprise; Google AI Edge — LiteRT Overview ve Model Optimization; ONNX Runtime — Execution Providers dokümantasyonu.

Editör Notu

Bu içerik, kamuya açık yapay zekâ ve uç bilişim kaynakları ile resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Edge AI uygulamalarının performansı, çevrim dışı çalışma kapasitesi ve gizlilik özellikleri; kullanılan donanıma, modele ve veri işleme tasarımına göre değişebilir.