Elon Musk, yeni nesil Grok 3 büyük dil modelinin (LLM) 100 bin adet NVIDIA (NVDA) H100 yapay zeka GPU’su kullanılarak eğitildiğini açıkladı.
Yapay zeka girişimi xAI, Grok dil modelleri ile büyük bir atılım gerçekleştirmeyi planlıyor
Yapay zeka odaklı firmalar, sohbet robotlarına yönelik artan talebi karşılamak için gelişmiş büyük dil modelleri (LLM) çıkarma yarışında. Bu yarışa katılan en yeni firma, Elon Musk’ın yapay zeka girişimi xAI oldu. xAI, daha önce X’teki premium kullanıcılar için özel olarak tasarlanmış “Grok” dil modelini geliştirmişti.
xAI, orijinal modelin yeni versiyonlarını piyasaya sürdü ve şirket şu anda Grok 2‘nin çıkışına hazırlanıyor. Ancak Elon Musk, son tweet’inde yeni nesil Grok 3 modelini tanıtmaya başladı ve bu modelin öncekilerden çok daha büyük olacağını iddia etti.
Grok 3‘ü eğitmek için kullanılan donanımın açıklanması, büyük bir şaşkınlık ve heyecan yarattı. Modelin eğitimi için 100 bin adet NVIDIA H100 GPU kullanılması, piyasaların daha önce hiç görmediği bir sonuç üretecek gibi görünüyor.
Öte yandan OpenAI’ın GPT-4 modelinin, 40 bin adet NVIDIA A100 AI GPU ile eğitildiği söyleniyor. H100’lere kıyasla daha eski ve daha az sayıda olan bu GPU’lar göz önüne alındığında Grok 3 modelinin sahip olacağı yetenekleri hayal etmek mümkün.
Elon Musk, bir tweet’inde LLM’leri internet verileri üzerinden eğitmenin zorlu olduğunu ve özellikle bilgi işlem kaynaklarının çok fazla çalışma gerektirdiğini belirtmişti. Ağustos ayında çıkacak olan Grok 2 modelinin bu alanda bir gelişme olduğunu ve yeni nesil Grok 3 modelinin önceki modellerin üzerine inşa edilerek xAI tarafından büyük bir ürün haline getirileceğini söyledi.
Musk, daha önce de xAI için yaklaşık 9 milyar dolar değerinde NVIDIA’nın Blackwell B200 AI hızlandırıcılarını satın almayı planladığını açıklamıştı. Bu, piyasa dinamikleri göz önüne alındığında devasa bir miktar. Grok 3’ün eğitimi için 100 bin adet NVIDIA H100 kullanılmasıyla modelin sadece eğitim maliyetinin yaklaşık 3 milyar dolar olması bekleniyor.
xAI’ın yapay zeka dünyasına nasıl katkıda bulunacağını görmek ilginç olacak. Görünüşe göre Elon Musk’ın bu girişimi, bir sonraki büyük atılım olabilir.