تدعي Microsoft أن أحدث تجسيد لنموذج Phi-3 Mini AI خفيف الوزن ينافس منافسين مثل GPT-3.5 بينما يكون صغيرًا بما يكفي ليتم نشره على الهاتف.
Phi-3 Mini هو نموذج لغة مكون من 3.8 مليار معلمة تم تدريبه على 3.3 تريليون رمز. وهذا الرقم أعلى من 2.7 مليار معلمة لـ Phi-2، التي تقدمها Microsoft أدخلت في ديسمبر 2023.
وبدلاً من تجريف أكبر قدر ممكن من نماذج التدريب، كان التركيز على التفكير. وقالت مايكروسوفت: "على سبيل المثال، قد تكون نتيجة مباراة في الدوري الإنجليزي الممتاز في يوم معين بيانات تدريب جيدة للنماذج الحدودية، ولكننا بحاجة إلى إزالة هذه المعلومات لترك المزيد من سعة النموذج "للاستدلال" للنماذج ذات الحجم الصغير". ".
ويعني النهج المستهدف أنه على الرغم من أن Phi-3 قد لا تتمتع بنفس اتساع المعرفة التي يتمتع بها منافسوها، إلا أنها على الأقل جيدة، إن لم تكن أفضل، عندما يتعلق الأمر بالاستدلال، أو هكذا تدعي Microsoft. في ورقة بحثية [PDF]، لاحظت Microsoft أن هذا سمح لنموذج اللغة الصغيرة الخاص بها "بالوصول إلى مستوى النماذج ذات القدرة العالية مثل GPT-3.5 أو Mixtral مع إجمالي 3.8 مليار معلمة فقط (بينما يحتوي Mixtral على 45 مليار معلمة إجمالية على سبيل المثال)."
يشير البحث أيضًا إلى أن بيانات التدريب المستخدمة تتكون من "بيانات الويب التي تمت تصفيتها بشدة ... من مصادر الإنترنت المفتوحة المختلفة" والبيانات التي تم إنشاؤها بواسطة LLM. مصادر البيانات المستخدمة لتدريب LLMs هي موضوع عدة دعاوى قضائية.
قيل لنا إن الحجم الصغير لجهاز Phi-3 Mini يعني أنه يمكن تشغيله دون اتصال بالإنترنت على الهاتف الذكي. وقال الباحثون إنه من الممكن جعلها تشغل ما يقرب من 1.8 جيجابايت من الذاكرة وجربوها دون الاتصال بالإنترنت على iPhone 14 باستخدام شريحة A16 Bionic التي تعمل أصلاً على الجهاز. في هذه الورقة، يعرض الباحثون لقطات شاشة لـ Phi-3 Mini وهو يكتب قصيدة ويقترح أشياء يجب القيام بها في هيوستن.
يسلط الباحثون الضوء أيضًا على الجوانب السلبية الكامنة في التركيز على فهم اللغة والاستدلال بها. "النموذج ببساطة لا يملك القدرة على تخزين قدر كبير للغاية من "المعرفة الواقعية"، وهو أمر يمكن تخفيفه إلى حد ما من خلال تعزيزه بمحرك بحث. ومع ذلك، فإن هذا من شأنه أن يبطل فكرة القدرة على تشغيله دون اتصال بالإنترنت.
تقتصر اللغة في الغالب على اللغة الإنجليزية في الوقت الحاضر، ويمكن أيضًا العثور على المشاكل المتأصلة في معظم ماجستير إدارة الأعمال - الهلوسة، وتضخيم التحيز، وتوليد محتوى غير مناسب - في Phi-3 Mini.
يقول الباحثون في الورقة: "هناك عمل كبير ينتظرنا لمعالجة هذه التحديات بشكل كامل".
كما تم الإعلان عن نماذج أكبر – نسبيًا – على شكل Phi-3 Small وPhi-3 Medium مع 7 و14 مليار معلمة على التوالي.
فيكتور بوتيف، الرئيس التنفيذي للتكنولوجيا والمؤسس المشارك في إيريسأخبرنا: "يمثل إعلان Microsoft عن نموذج Phi-3 اتجاهًا مستمرًا في تطوير الذكاء الاصطناعي. وبدلاً من ملاحقة نماذج أكبر من أي وقت مضى، تعمل مايكروسوفت على تطوير أدوات تحتوي على بيانات منسقة بعناية أكبر وتدريب متخصص. وهذا يسمح بتحسين الأداء والقدرات المنطقية دون التكاليف الحسابية الهائلة للنماذج التي تحتوي على تريليونات من المعلمات. إن الوفاء بهذا الوعد يعني إزالة حاجز التبني الضخم أمام الشركات التي تبحث عن حلول الذكاء الاصطناعي.
"تتطلع Microsoft بحكمة إلى ما هو أبعد من عقلية "الأكبر هو الأفضل". بالنسبة لتطبيقات الذكاء الاصطناعي المخصصة للشركات والمستهلكين على نطاق واسع، تعد الجدوى والخصوصية أكثر أهمية من أعداد المعلمات الضخمة. تُظهر نماذج مثل Phi-3 بوضوح أنه مع البيانات الصحيحة ونهج التدريب، لا تحتاج قدرات الذكاء الاصطناعي المتقدمة إلى بناء نماذج أكبر من أي وقت مضى - وهو عامل حاسم للشركات حيث تعتبر نسبة التكلفة إلى الجودة أمرًا بالغ الأهمية. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/