Teknoloji Haberleri - DeepSeek-V3 ekibinin paylaştığı 14 sayfalık teknik rapor, büyük dil modellerini ucuzlatan yaklaşımın sadece “daha büyük model” değil, donanım ile mimarinin birlikte tasarlanması olduğunu anlatıyor.
Odak noktası: Bellek, hesap verimi ve bağlantı bant genişliği
Rapora göre büyük modeller büyüdükçe üç temel darboğaz öne çıkıyor. Yüksek hızlı bellek kapasitesi baskısı artıyor. Token başına hesap maliyeti maliyetleri yukarı çekiyor. GPU’lar arası iletişim ise ölçek büyüdükçe toplam süreyi belirleyebiliyor.
Bu çerçevede DeepSeek-V3, 2048 adet NVIDIA H800 GPU ile eğitilen bir örnek çalışma olarak konumlandırılıyor. Ekip, mimari kararların doğrudan donanım sınırlamalarıyla şekillendiğini vurguluyor.
MLA ile KV cache yükünü düşürme
Raporda bellek tarafındaki en kritik kalemlerden biri olarak KV cache gösteriliyor. DeepSeek-V3 tarafında Multi-head Latent Attention (MLA) yaklaşımıyla, çoklu attention head’lerin key-value temsilleri daha küçük bir “latent” vektöre sıkıştırılıyor.
Çıkarım sırasında tam KV yerine bu sıkıştırılmış latent vektörün önbelleğe alınması hedefleniyor. Raporda yer alan kıyaslamada token başına KV cache ayak izi DeepSeek-V3 için yaklaşık 70 KB olarak veriliyor. Aynı tabloda bazı büyük GQA tabanlı modellerin yüzlerce KB seviyesine çıktığı belirtiliyor.
DeepSeekMoE ile seyrek hesaplama ve maliyet dengesi
Raporda DeepSeek-V3’ün DeepSeekMoE mimarisi üzerinden, toplam parametre sayısını büyütürken token başına etkin hesaplamayı sınırlama yaklaşımı anlatılıyor. Paylaşılan değerlerde modelin toplam boyutu 671B parametre seviyesinde verilirken, token başına etkinleştirilen parametre miktarı 37B olarak aktarılıyor. Teknoloji Haberleri - Teknoloji Medya
