Microsoft afirma que la última encarnación de su modelo liviano Phi-3 Mini AI rivaliza con competidores como GPT-3.5 y es lo suficientemente pequeño como para implementarlo en un teléfono.
Phi-3 Mini es un modelo de lenguaje de 3.8 millones de parámetros entrenado en 3.3 billones de tokens. Esta cifra es superior a los 2.7 millones de parámetros de Phi-2, que Microsoft Introducido 2023 en diciembre.
En lugar de dedicar todo lo posible a los modelos de entrenamiento, la atención se centró en el razonamiento. Microsoft dijo: "A modo de ejemplo, el resultado de un partido de la Premier League en un día determinado podría ser buenos datos de entrenamiento para los modelos fronterizos, pero necesitamos eliminar dicha información para dejar más capacidad de modelo para el 'razonamiento' de los modelos de tamaño mini. .”
El enfoque específico significa que, si bien Phi-3 puede no tener la amplitud de conocimientos de sus competidores, es al menos tan bueno, si no mejor, en lo que respecta al razonamiento, o eso afirma Microsoft. en un trabajo de investigación [PDF], Microsoft señala que esto permitió que su modelo de lenguaje pequeño "alcanzara el nivel de modelos de alta capacidad como GPT-3.5 o Mixtral con solo 3.8 mil millones de parámetros totales (mientras que Mixtral tiene 45 mil millones de parámetros totales, por ejemplo)".
La investigación también señala que los datos de capacitación utilizados consistieron en “datos web fuertemente filtrados… de varias fuentes abiertas de Internet” y datos generados por LLM. Las fuentes de datos utilizadas para formar LLM son el tema de varias demandas.
Se nos dice que el pequeño tamaño del Phi-3 Mini significa que puede funcionar sin conexión en un teléfono inteligente. Los investigadores dijeron que se podría hacer que ocupara aproximadamente 1.8 GB de memoria y lo probaron sin conexión en un iPhone 14 con un chip A16 Bionic ejecutándose de forma nativa en un dispositivo. En el artículo, los investigadores muestran capturas de pantalla de Phi-3 Mini escribiendo un poema y sugiriendo cosas que hacer en Houston.
Los investigadores también destacan las desventajas inherentes a centrarse en la comprensión y el razonamiento del lenguaje. “El modelo simplemente no tiene la capacidad de almacenar demasiado 'conocimiento factual'”, algo que puede mitigarse hasta cierto punto ampliándolo con un motor de búsqueda. Sin embargo, eso anularía el objetivo de poder ejecutarlo sin conexión.
Actualmente, el idioma está restringido principalmente al inglés, y los problemas inherentes a la mayoría de los LLM (alucinaciones, amplificación de sesgos y generación de contenido inapropiado) también se pueden encontrar en Phi-3 Mini.
Los investigadores dicen en el artículo: "Queda mucho trabajo por delante para abordar plenamente estos desafíos".
También se han anunciado modelos más grandes, relativamente hablando, en forma de Phi-3 Small y Phi-3 Medium con 7 y 14 mil millones de parámetros respectivamente.
Victor Botev, CTO y cofundador de Iris.ai, nos dijo: “El anuncio de Microsoft del modelo Phi-3 representa una tendencia continua en el desarrollo de la IA. En lugar de perseguir modelos cada vez más grandes, Microsoft está desarrollando herramientas con datos más cuidadosamente seleccionados y capacitación especializada. Esto permite mejorar el rendimiento y las capacidades de razonamiento sin los enormes costos computacionales de los modelos con billones de parámetros. Cumplir esta promesa significaría derribar una enorme barrera de adopción para las empresas que buscan soluciones de IA.
“Microsoft está mirando sabiamente más allá de la mentalidad de 'cuanto más grande, mejor'. Para aplicaciones generalizadas de IA para empresas y consumidores, la viabilidad y la especificidad son más importantes que el recuento masivo de parámetros. Modelos como Phi-3 demuestran claramente que con los datos y el enfoque de capacitación adecuados, las capacidades avanzadas de IA no necesitan construir modelos cada vez más grandes, un factor decisivo para las empresas donde la relación costo-calidad es crítica”. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/