Meta, Meta AI güncellemesini her platforma getirirken aynı zamanda teknoloji tutkunları için Llama 3 kıyaslamasını da yayınladı.
Karşılaştırma, bağımsız araştırmacılara ve geliştiricilere, Llama 3'ün çeşitli görevlerdeki performansını değerlendirmek için standartlaştırılmış bir test paketi sunuyor.
Bu şeffaflık, kullanıcıların Llama 3'ün güçlü ve zayıf yönlerini aynı karşılaştırmayı kullanarak diğer LLM'lerle karşılaştırmasına olanak tanır ve yeteneklerinin daha objektif bir şekilde anlaşılmasını sağlar.
Llama 3 karşılaştırması ne gösteriyor?
Meta AI, çeşitli görevlerde LLM performansını değerlendirmek için tasarlanmış kapsamlı bir değerlendirme paketi olan Llama 3 kıyaslamasını oluşturdu. Bu görevler arasında soru cevaplama, özetleme, talimatları takip etme ve birkaç adımda öğrenme yer alır. Kriter, Llama 3'ün diğer LLM'lere göre güçlü ve zayıf yönlerini ölçmek için çok önemli bir araç görevi görüyor.
Farklı değerlendirme metodolojileri nedeniyle Llama 3 kıyaslaması ile rakipler için kullanılanlar arasında doğrudan bir karşılaştırma yapmak zor olsa da Meta, kendi veri kümeleri üzerinde eğitilen Llama 3 modellerinin değerlendirilen tüm görevlerde olağanüstü performans elde ettiğini iddia ediyor. Bu, Meta AI'nın LLM alanındaki en iyilerle aynı seviyede olduğunu gösterir.
İşte Llama 3 kriterlerinin nasıl biriktiğine daha derinlemesine bir bakış:
- Parametre ölçeği: Meta, 8B ve 70B parametreli Llama 3 modellerinin Llama 2'yi geride bırakarak benzer ölçekteki LLM'ler için yeni bir teknoloji harikası oluşturmasıyla övünüyor.
- İnsan değerlendirmesi: Meta, 12 temel kullanım durumunu kapsayan kapsamlı bir veri kümesi üzerinde insan değerlendirmeleri gerçekleştirdi. Bu değerlendirme, 70B'nin talimat takip eden Llama 3 modelini, gerçek dünya senaryolarında karşılaştırılabilir büyüklükteki rakiplere karşı avantajlı bir şekilde konumlandırıyor.
Bunlar Meta'nın kendi değerlendirmeleridir ve daha kesin bir karşılaştırma için bağımsız kriterler gerekli olabilir.
Açık ağırlıklar ve açık kaynak
"Açık ağırlıklar" ile "açık kaynak" arasında ayrım yapmak çok önemlidir. Llama 3 ücretsiz olarak indirilebilir modeller ve ağırlıklar sunsa da, erişim ve eğitim verileri üzerindeki kısıtlamalar nedeniyle (gerçek açık kaynak yazılımdan farklı olarak) katı açık kaynak tanımına girmez.
Llama 3 iki boyutta gelir: 8 milyar (8B) ve 70 milyar (70B) parametreler. Her ikiside Meta'nın web sitesinden ücretsiz olarak indirilebilir Basit bir kayıt işleminden sonra.
Meta AI'ya teknik açıdan derinlemesine bir bakış
Llama 3 iki versiyon sunuyor:
- Önceden eğitilmiş: Bu, bir sonraki jeton tahminine odaklanan ham modeldir.
- Talimat ayarlı: Bu sürüm, belirli kullanıcı talimatlarını takip edecek şekilde hassas şekilde ayarlanmıştır.
Her iki sürümde de 8,192 jetonluk bağlam sınırı vardır.
Eğitim ayrıntıları
- Eğitim donanımı: Meta, Llama 24,000'ü eğitmek için her biri şaşırtıcı derecede 3 GPU içeren iki özel oluşturulmuş küme kullandı.
- Eğitim verileri: Meta'nın CEO'su Mark Zuckerberg, bir podcast röportajında 70B modelinin yaklaşık 15 trilyon tokenden oluşan devasa bir veri kümesi üzerinde eğitildiğini açıkladı. İlginç bir şekilde model, eğitim sırasında hiçbir zaman doyum noktasına (en yüksek performans) ulaşmadı; bu da daha büyük veri kümeleriyle daha fazla iyileştirme için yer olabileceğini düşündürüyor.
- Gelecek planları: Meta şu anda Llama 400'ün devasa bir 3B parametreli versiyonunu eğitiyor ve potansiyel olarak onu rakipleriyle aynı performans ligine sokuyor GPT-4 Turbo ve İkizler Ultra MMLU, GPQA, HumanEval ve MATH gibi kriterlere göre.
Llama 3 karşılaştırmasındaki zorluklar
Eğitim verilerinin kirlenmesi ve sonuçların satıcılar tarafından tercih edilmesi gibi faktörler nedeniyle mevcut LLM kıyaslamalarının sınırlamalarını kabul etmemiz gerekiyor.
Bu sınırlamalara rağmen Meta, Llama 3'ün MMLU (genel bilgi), GSM-8K (matematik), HumanEval (kodlama), GPQA (ileri düzey sorular) ve MATH (kelime problemleri) gibi görevlerdeki performansını gösteren bazı kıyaslamalar sağladı.
Bu kıyaslamalar 8B modelini açık ağırlıklı rakiplere karşı avantajlı bir konuma getiriyor Google'ın Gemma 7B'si ve Mistral 7B Öğretmek. 70B modeli aynı zamanda aşağıdaki gibi yerleşik isimlere karşı da yerini koruyor: İkizler Pro 1.5 ve Claude 3 Sonesi.
Llama 3'ün Erişilebilirliği
Meta, Llama 3 modellerini AWS, Databricks, Google Cloud ve diğerleri gibi büyük bulut platformlarında kullanılabilir hale getirerek geliştiricilere geniş kapsamlı erişilebilirlik sağlamayı planlıyor.
Llama 3, Meta'nın öne çıkacak sanal asistanının temelini oluşturuyor Facebook, Instagram, WhatsApp ve Messenger'daki arama işlevlerinde öne çıkarVe özel web sitesi ChatGPT'nin arayüzüne benzer (görüntü oluşturma dahil).
Buna ek olarak, Meta Google ile ortaklık kurdu gerçek zamanlı arama sonuçlarını asistana entegre etmek, Microsoft Bing ile mevcut ortaklık.
Öne çıkan resim kredisi: Meta
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://dataconomy.com/2024/04/19/llama-3-benchmark-meta-ai-vs-chatgpt-vs-gemini/