Microsoft утверждает, что последняя версия ее легкой модели Phi-3 Mini AI конкурирует с такими конкурентами, как GPT-3.5, но при этом достаточно мала, чтобы ее можно было использовать на телефоне.
Phi-3 Mini — это языковая модель с 3.8 миллиардами параметров, обученная на 3.3 триллионах токенов. Эта цифра превышает 2.7 миллиарда параметров Фи-2, которые Microsoft выпустили В декабре 2023.
Вместо того, чтобы вкладывать как можно больше в обучающие модели, основное внимание уделялось рассуждениям. Microsoft заявила: «Например, результат игры в Премьер-лиге в определенный день может быть хорошими данными для обучения для пограничных моделей, но нам необходимо удалить такую информацию, чтобы оставить больше возможностей модели для «рассуждений» для моделей мини-размера. ».
Целенаправленный подход означает, что, хотя Phi-3, возможно, и не обладает такой же широтой знаний, как его конкуренты, он по крайней мере так же хорош, если не лучше, когда дело доходит до рассуждений, по крайней мере, так утверждает Microsoft. В статья про исследование [PDF] Microsoft отмечает, что это позволило ее небольшой языковой модели «достичь уровня высокопроизводительных моделей, таких как GPT-3.5 или Mixtral, имея всего 3.8 млрд параметров (в то время как Mixtral имеет, например, 45 млрд параметров)».
В исследовании также отмечается, что использованные данные для обучения состояли из «сильно отфильтрованных веб-данных… из различных открытых интернет-источников» и данных, сгенерированных LLM. Источники данных, используемые для обучения LLM, являются предметом несколько исков.
Нам сообщили, что небольшой размер Phi-3 Mini означает, что он может работать в автономном режиме на смартфоне. Исследователи заявили, что его можно заставить занимать примерно 1.8 ГБ памяти, и опробовали его в автономном режиме на iPhone 14 с чипом A16 Bionic, работающим на устройстве. В статье исследователи показывают скриншоты, на которых Фи-3 Мини пишет стихотворение и предлагает, чем заняться в Хьюстоне.
Исследователи также подчеркивают недостатки, присущие сосредоточению внимания на понимании языка и рассуждении. «Модель просто не способна хранить слишком много «фактических знаний»», и это можно в определенной степени смягчить, дополнив ее поисковой системой. Однако это лишит возможности запускать его в автономном режиме.
В настоящее время язык в основном ограничен английским, и проблемы, присущие большинству LLM – галлюцинации, усиление предвзятости и генерация неподходящего контента – также можно найти в Phi-3 Mini.
Исследователи говорят в статье: «Впереди предстоит значительная работа для полного решения этих проблем».
Более крупные модели, условно говоря, также анонсированы в виде Phi-3 Small и Phi-3 Medium с 7 и 14 миллиардами параметров соответственно.
Виктор Ботев, технический директор и соучредитель компании Ирис.ai, сказал нам: «Объявление Microsoft о модели Phi-3 представляет собой продолжающуюся тенденцию в развитии искусственного интеллекта. Вместо того, чтобы гоняться за все более крупными моделями, Microsoft разрабатывает инструменты с более тщательно подобранными данными и специализированным обучением. Это позволяет повысить производительность и способности к рассуждению без огромных вычислительных затрат на модели с триллионами параметров. Выполнение этого обещания означало бы устранение огромного барьера внедрения для компаний, ищущих решения в области искусственного интеллекта.
«Microsoft мудро выходит за рамки подхода «чем больше, тем лучше». Для широко распространенных бизнес- и потребительских приложений искусственного интеллекта осуществимость и специфичность важнее, чем огромное количество параметров. Такие модели, как Phi-3, ясно демонстрируют, что при наличии правильных данных и подходе к обучению расширенные возможности ИИ не требуют создания все более крупных моделей, что является решающим фактором для предприятий, где соотношение затрат и качества имеет решающее значение». ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/