8 GB RAM’de Kimi K3 Deneyi: “İmkansız” Başarıldı

Son günlerin en çok konuşulan yapay zekâ modeli Kimi K3, yalnızca 8 GB RAM bulunan bir sistemde çalıştırıldı. Geliştirici Fareed Khan, 2.8 trilyon parametreli modeli küçültmeden, SSD’yi geçici bellek gibi kullanarak tarihe geçen bir teknik deneye imza attı.  

1.56 TB’lık Model SSD’ye Taşındı

Khan, Kimi K3’ün yaklaşık 1.56 TB büyüklüğündeki dosyalarını SSD’ye yerleştirip RAM’i yalnızca geçici hesaplama alanı olarak kullandı. Bu yöntemle model, fiziksel olarak bilgisayara sığdırılmadı; SSD, adeta yavaş çalışan bir bellek gibi davranarak verileri parça parça işledi.  

Mixture of Experts (MoE) Mimarisi

Kimi K3, Mixture of Experts (MoE) mimarisini temel alıyor. Bu sistem, her görevi tek bir modelin değil, farklı “uzman” alt modellerin üstlenmesi prensibine dayanıyor.  

Bir şirkette muhasebeci, avukat ve mühendis farklı konularda devreye giriyorsa, MoE de aynı mantıkla çalışıyor. Böylece tüm parametreler aynı anda aktif olmuyor; yalnızca gerekli kısımlar SSD’den okunuyor.  

Bir Token İçin 33 Saniye

Bu yöntemle model 8 GB RAM’e “sığmış” gibi görünse de hız ciddi biçimde düştü.  

Her bir token üretimi yaklaşık 33 saniye sürdü — bu da sıradan bir sohbet yanıtının bile saatler alması anlamına geliyor.  

Deneyin Asıl Önemi

Ortaya günlük kullanıma uygun bir yapay zekâ aracı çıkmadı. Ancak bu test, devasa modellerin düşük donanımlı sistemlerde çalıştırılabileceğini kanıtladı.  

Khan’ın deneyi, gelecekte SSD ve RAM arasında hibrit bellek mimarileri geliştirilmesi için ilham kaynağı olabilir.  

Yapay Zekâda Yeni Ufuklar

Uzmanlara göre bu tür deneyler, büyük modellerin yerel cihazlarda çalıştırılabilmesi için önemli bir adım.  

Yapay zekâ araştırmacıları, bu yaklaşımın ileride enerji verimliliği yüksek, düşük maliyetli sistemler için temel oluşturabileceğini düşünüyor.

About The Author

Bu haberi okuduğunuz için teşekkürler, abone olmayı unutmayın!