Yapay Zeka PC Efsanesi: NPU ve TOPS Sayıları Ne Anlatmıyor?

Kısa Özet (TL;DR, Doğrudan Yanıt): Laptop kutularındaki "40+ TOPS NPU" yazısı, bilgisayarın saniyede kaç küçük hesap yapabildiğini gösterir. Bu sayı yerel yapay zekanın ne kadar hızlı çalışacağını tek başına anlatmaz. Sohbet botlarında asıl belirleyici, belleğin (RAM) ne kadar büyük ve ne kadar hızlı olduğudur. Ekstra para vermeden önce hangi işin hangi çipte çalıştığını bilmek, sizi pahalı bir hayal kırıklığından korur.

Otobanda Değil, Tek Şeritli Yolda Bir Spor Araba

Ferrari motoru düşünün, ama önünde tek şeritli bir köy yolu var. Motor ne kadar güçlü olursa olsun, yol izin verdiği kadar gidersiniz. Bugünün "AI PC" (yapay zeka bilgisayarı) etiketleri tam olarak bunu yapıyor: motoru gösteriyor, yolu saklıyor.

Eskiden telefonlarda megapiksel yarışı vardı. Daha çok megapiksel daha iyi fotoğraf demek değildi, ama kutuda güzel duruyordu. Bugün aynı oyunu TOPS sayılarıyla oynuyoruz.

Bu önemli, çünkü "AI PC" damgası çoğu zaman fiyata birkaç bin lira ekliyor. O paranın size gerçekten ne kazandırdığını bilmek gerekiyor.

Perde Arkası: NPU, TOPS ve Asıl Darboğaz

NPU (Nöral İşlem Birimi), yalnızca yapay zeka hesapları için tasarlanmış küçük ve tutumlu bir çiptir. Onu bir hesap makinesi uzmanı gibi düşünün. Tek işi var ve o işi az enerjiyle yapıyor.

TOPS (saniyede trilyon işlem) bu uzmanın en hızlı anındaki temposudur. İşin ince yazısı da şöyle. Bu sayı genelde INT8 ile ölçülür, yani düşük hassasiyetli, kaba sayılarla. Bazı üreticiler buna seyreklik (sparsity) hilesini de ekler. Bu, sıfır olan hesapları atlayıp sayıyı kâğıt üzerinde ikiye katlamak demektir.

Asıl darboğaz ise başka yerde. Bir sohbet botu, ürettiği her kelime için modelin neredeyse tamamını bellekten okumak zorundadır. Bu yüzden hızı belirleyen şey hesap gücü değil, bellek bant genişliğidir (saniyede taşınabilen veri miktarı). Yani yolun genişliği.

Peki işi kim yapıyor? Kısa cevap şu: Bugün sohbet botlarını ve görsel üreticileri çoğunlukla ekran kartı (GPU) ya da ana işlemci (CPU) çalıştırıyor. NPU ise genelde arka plan işlerinde devreye giriyor.

Seçenekleri Karşılaştıralım: NPU, GPU ve Bulut

Seçenek	Pil Dostu mu?	Hız	Gizlilik	Maliyet	En İyi Olduğu İş
NPU	Çok	Düşük-orta	Yüksek	Laptopa dahil	Arka plan bulanıklaştırma, canlı altyazı
Dahili GPU	Orta	Orta	Yüksek	Laptopa dahil	Küçük yerel sohbet botları, fotoğraf düzenleme
Harici GPU	Az	Çok yüksek	Yüksek	Pahalı	Büyük yerel modeller, görsel üretimi
Bulut AI	Pili yormaz	En yüksek	Sağlayıcıya bağlı	Abonelik	ChatGPT gibi dev modeller

Yazılım desteği en kritik farkı yaratıyor. Popüler yerel yapay zeka uygulamalarının çoğu hâlâ GPU ve CPU odaklı. NPU desteği ise büyük ölçüde Windows'un kendi özellikleri ve birkaç seçili uygulamayla sınırlı.

Uygulamalı Örnek: Kendi Hız Tahmininizi Yapın

Akılda kalacak basit bir kural var: bant genişliği ÷ model boyutu ≈ saniyedeki en yüksek token sayısı. Token, modelin ürettiği kelime parçasıdır.

Token/saniye (üst sınır)
 120 |  *                          Bant genişliği: 120 GB/s
  60 |     *
  30 |         *
  15 |                 *
   3 |                                         *
     +----+----+-------+-----------------------+--> Model boyutu
         1 GB  2 GB    4 GB    8 GB          40 GB
       (küçük)      (7B, 4-bit)            (70B, 4-bit)

Örneğin 120 GB/s bant genişliği olan bir laptopta 4 GB'lık bir model, saniyede en fazla 30 civarı token üretir. TOPS sayısı bu hesapta hiç yer almıyor.

Hangi çipin çalıştığını görmek de kolay. Windows 11'de Görev Yöneticisi'ni açın (Ctrl + Shift + Esc) ve Performans sekmesinde NPU ile GPU grafiklerine bakın. Mac'te Etkinlik Monitörü'nde Pencere > GPU Geçmişi menüsü aynı işi görür. Bu fikirleri AI Playground üzerinde güvenle deneyebilirsiniz.

Efsaneler ve Gerçek Bir Hikâye

"Daha çok TOPS, daha hızlı ChatGPT demek." Yanlış. ChatGPT bulutta çalışır, laptopunuzun NPU'su bu işe hiç karışmaz.

"Yapay zeka için AI PC şart." Değil. Tarayıcısı olan her cihaz bulut yapay zekasını kullanabilir.

"NPU her şeyi hızlandırır." Yalnızca onu destekleyen yazılımları hızlandırır, diğerlerinde boşta bekler.

"Yerel yapay zeka her zaman daha gizlidir." Uygulama verinizi yine de bir yere gönderiyorsa, yerel çalışması hiçbir şey değiştirmez.

"16 GB RAM yerel sohbet botu için yeter." İşletim sistemi ve tarayıcı belleğin yarısını yiyince, geriye ancak küçük bir modele yer kalır.

Serbest tasarımcı Elif'in başına gelen tam da buydu. 45 TOPS'luk, 16 GB RAM'li premium bir laptop aldı ve yerel bir asistan kurdu. Asistan saniyede 3 kelime üretiyordu ve NPU grafiği sıfırda duruyordu. Sorunu daha küçük, 4-bit sıkıştırılmış bir model ile GPU'yu kullanan bir uygulamaya geçmek çözdü. Fazladan ödediği para ise aslında daha uzun pil ömrü ve güzel görüntülü toplantı efektleri içindi. Bu dengeyi İnteraktif Simülasyon Araçları ile kendiniz de görselleştirebilirsiniz.

Sıkça Sorulan Sorular (SSS)

Yükseltme için bir AI PC beklemeli miyim?

İhtiyacınız bulut tabanlı yapay zeka araçlarıysa beklemenize gerek yok, mevcut bilgisayarınız bu iş için yeterli. Yerel model çalıştırmak istiyorsanız, NPU etiketine değil RAM miktarına ve bellek hızına odaklanın. Yeni bir laptop alacaksanız, NPU'lu bir model zaten standart hale geliyor. Ama yalnızca bu etiket için ekstra ödeme yapmak çoğu kullanıcıya bugün somut bir avantaj sağlamaz.

Yerel yapay zeka için gerçekten ne kadar RAM gerekir?

Küçük sohbet modelleri için 16 GB işe yarar ama sizi zorlar. Rahat bir deneyim için 32 GB öneririz. Bu kapasite, 7 ila 14 milyar parametreli sıkıştırılmış modelleri tarayıcınız açıkken bile çalıştırmanıza izin verir. 70 milyar parametreli büyük modeller içinse 64 GB ve üzeri gerekir. Ayrıca belleğin hızı da miktarı kadar önemlidir, çünkü saniyede üretilen kelime sayısını doğrudan o belirler.

NPU pil ömrünü uzatır mı?

Evet, ama yalnızca NPU'yu destekleyen işlerde. Görüntülü görüşmede arka plan bulanıklaştırma, gürültü engelleme ve canlı altyazı gibi sürekli çalışan görevler NPU'ya aktarıldığında pil belirgin şekilde daha az tükenir. Yerel sohbet botları ve görsel üreticiler ise çoğunlukla GPU kullandığı için bu tasarruftan yararlanamaz. Kısacası NPU, yapay zekanın gösterişli değil sessiz işlerinde pilinizi korur.

Mevcut laptopum yerel modelleri çalıştırabilir mi?

Büyük olasılıkla evet. Son beş yılda üretilmiş, en az 8 GB RAM'e sahip bir laptop, 1 ila 3 milyar parametreli küçük modelleri yavaş da olsa çalıştırabilir. 16 GB RAM ve iyi bir dahili ekran kartıyla 7 milyar parametreli sıkıştırılmış modeller gayet kullanılabilir hale gelir. Önce küçük bir modelle deneyin, Görev Yöneticisi'nden bellek kullanımını izleyin, sonra adım adım büyüyün.

Bugünün NPU'su iki yıl içinde eskiyecek mi?

Kısmen evet. TOPS sayıları her nesilde hızla artıyor ve yazılım desteği daha yeni çiplere yöneliyor. Yine de bugünkü NPU'lar, arka plan efektleri ve canlı altyazı gibi temel işleri yıllarca yapmaya devam edecek. Asıl eskiyen şey RAM kapasitesi olacak, çünkü modeller büyüyor ve laptoplarda bellek sonradan genelde yükseltilemiyor. Bu yüzden alırken NPU'dan önce belleğe yatırım yapın.