Компания SiFive, производитель чипов RISC-V, заявляет, что ее процессоры в некоторой степени используются для управления рабочими нагрузками ИИ в центрах обработки данных Google.
Согласно SiFive, рассматриваемый процессор — это его интеллект. X280, многоядерный дизайн RISC-V с векторными расширениями, оптимизированный для приложений AI/ML в центре обработки данных. В сочетании с блоками матричного умножения (MXU), взятыми из блоков тензорной обработки Google (ТПУ), это, как утверждается, обеспечивает большую гибкость для программирования рабочих нагрузок машинного обучения.
По сути, универсальные ядра RV280 X64 в процессоре запускают код, который управляет устройством, и передают вычисления машинного обучения в MXU Google по мере необходимости для выполнения заданий. X280 также включает в себя собственный векторный математический блок, который может выполнять операции, недоступные для блоков ускорителей.
SiFive и Google были немного сдержанны, возможно, по коммерческим причинам, в отношении того, как именно это упаковано и используется, хотя для нас это звучит так, как будто Google разместил свои специальные блоки ускорения в многоядерной системе X280 на кристалле, соединяя Блоки MXU, разработанные Google, напрямую связаны с базовым комплексом RISC-V. Эти чипы используются в центрах обработки данных Google, в «вычислительных хостах ИИ», согласно SiFive, для ускорения работы машинного обучения.
Мы предполагаем, что если они используются в производстве, эти чипы обрабатывают задачи в службах. Мы отмечаем, что вы не можете арендовать это оборудование напрямую в Google Cloud, которое предлагает виртуальные машины, оптимизированные для искусственного интеллекта, на базе традиционных технологий x86, Arm, TPU и GPU.
Подробности были раскрыты на саммите AI Hardware Summit в Силиконовой долине в начале этого месяца, в выступлении соучредителя SiFive и главного архитектора Крсте Асанович и архитектора Google TPU Клиффа Янга, а также в Сообщение в блоге SiFive на этой неделе.
Согласно SiFive, компания заметила, что после появления X280 некоторые клиенты начали использовать его в качестве сопутствующего ядра вместе с ускорителем, чтобы выполнять все служебные и общие задачи обработки, для которых ускоритель не предназначен.
Многие обнаружили, что для управления ускорителем необходим полнофункциональный программный стек, говорят производители чипов, и клиенты поняли, что могут решить эту проблему с помощью комплекса ядер X280 рядом с их большим ускорителем, а ядра ЦП RISC-V берут на себя все обслуживание и обслуживание. код операций, выполняя математические операции, которые не может выполнить большой ускоритель, и предоставляя различные другие функции. По сути, X280 может служить своеобразным узлом управления ускорителем.
Чтобы извлечь из этого выгоду, SiFive работала с такими клиентами, как Google, над разработкой так называемого интерфейса векторного сопроцессора eXtension (VCIX), который позволяет клиентам тесно связать ускоритель непосредственно с файлом векторного регистра X280, обеспечивая повышенную производительность и больший объем данных. пропускная способность.
По словам Асановича, преимущество заключается в том, что клиенты могут использовать свой собственный сопроцессор в экосистеме RISC-V и запускать полный программный стек и среду программирования с возможностью загрузки Linux с полной поддержкой виртуальной памяти и когерентной кэш-памяти на чипе, содержащем сочетание ядер ЦП общего назначения и блоков ускорения.
С точки зрения Google, он хотел сосредоточиться на улучшении своего семейства технологий TPU, а не тратить время на создание собственного процессора приложений с нуля, поэтому объединение этих функций ускорения с готовым процессором общего назначения казалось правильным путем. идти, по словам Янга.
VCIX, по сути, приклеивает MXU к ядрам RISC-V с малой задержкой, избавляя от необходимости тратить много циклов на ожидание передачи данных между ЦП и блоком ускорения через память, кэш-память или PCIe. Вместо этого, как нам говорят, это всего лишь десятки циклов доступа к векторным регистрам. Это также говорит о том, что все — комплекс ЦП RISC-V и специальные ускорители — находятся на одном кристалле, упакованном как система на кристалле.
Код приложения выполняется на ядрах RISC-V общего назначения, и любая работа, которая может быть ускорена с помощью MXU, передается через VCIX. По словам Янга, помимо эффективности у этого подхода есть и другие преимущества. Модель программирования упрощается, в результате чего получается единая программа с чередующимися скалярными, векторными и сопроцессорными инструкциями, что позволяет использовать единую цепочку программных инструментов, в которой разработчики могут кодировать на C/C++ или ассемблере по своему усмотрению.
«Благодаря ядрам общего назначения на базе SiFive VCIX, «гибридизированным» с процессорами Google MXU, вы можете создать машину, которая позволит вам «получить свой пирог и съесть его», в полной мере воспользовавшись всеми преимуществами производительности MXU и программируемостью общего ЦП, а также векторную производительность процессора X280», — сказал Янг.
Возможность сделать собственный чип, подобный этому, вероятно, останется прерогативой гиперскейлеров, таких как Google, или тех, у кого нишевые требования и глубокие карманы, но она демонстрирует, чего можно достичь благодаря гибкости модели открытой экосистемы RISC-V. .
Этой гибкости и открытости, по-видимому, достаточно, чтобы склонить Google — давнего сторонника RISC-V, с ядрами RV, используемыми в некоторых других его продуктах, — к использованию новой архитектуры вместо того, чтобы втискивать свои собственные сопроцессоры в чипы x86 или Arm. -лицензионные конструкции. ®
PS: Помните, когда Google был поигрывая с использованием архитектуры ЦП POWER в своих центрах обработки данных?