RISC-V-chip biz SiFive zegt dat zijn processors worden gebruikt om AI-workloads tot op zekere hoogte in Google-datacenters te beheren.
Volgens SiFive is de processor in kwestie zijn Intelligence X280, een multi-core RISC-V-ontwerp met vectorextensies, geoptimaliseerd voor AI/ML-toepassingen in het datacenter. In combinatie met de matrixvermenigvuldigingseenheden (MXU) van Google's Tensor Processing Units (TPU's), wordt beweerd dat dit meer flexibiliteit biedt voor het programmeren van machine learning-workloads.
In wezen voeren de RV280-kernen voor algemene doeleinden van de X64 in de processor code uit die het apparaat beheert, en voert machine learning-berekeningen in de MXU's van Google in, zoals vereist om taken te voltooien. De X280 bevat ook een eigen vectorwiskundige eenheid die bewerkingen aankan die de versnellereenheden niet kunnen.
SiFive en Google waren een beetje terughoudend, misschien om commerciële redenen, over hoe dit precies is verpakt en gebruikt, hoewel het voor ons klinkt alsof Google zijn aangepaste versnellingseenheden in een multi-core X280-systeem-op-chip heeft geplaatst, waarmee de Door Google ontworpen MXU-blokken rechtstreeks naar het RISC-V-kerncomplex. Deze chips worden gebruikt in de datacenters van Google, in 'AI compute hosts' volgens SiFive, om machine learning te versnellen.
We stellen ons voor dat als deze worden gebruikt in de productie, deze chips taken binnen services uitvoeren. We merken op dat u deze hardware niet rechtstreeks kunt huren op Google Cloud, die AI-geoptimaliseerde virtuele machines biedt die worden aangedreven door traditionele x86-, Arm-, TPU- en GPU-technologie.
De details werden eerder deze maand onthuld op de AI Hardware Summit in Silicon Valley, in een lezing door SiFive mede-oprichter en hoofdarchitect Krste Asanović en Google TPU Architect Cliff Young, en in een SiFive blogpost deze week.
Volgens SiFive merkte het op dat na de introductie van de X280, sommige klanten het gingen gebruiken als een begeleidende kern naast een versneller, om alle huishoudelijke en algemene verwerkingstaken uit te voeren waarvoor de versneller niet was ontworpen.
Velen ontdekten dat er een volledig uitgeruste softwarestack nodig was om de accelerator te beheren, zegt de chipbiz, en klanten realiseerden zich dat ze dit konden oplossen met een X280-kerncomplex naast hun grote accelerator, de RISC-V CPU-kernen die al het onderhoud en de bewerkingscode, het uitvoeren van wiskundige bewerkingen die de grote versneller niet kan, en het bieden van verschillende andere functies. In wezen kan de X280 dienen als een soort beheerknooppunt voor de accelerator.
Om hiervan te profiteren, werkte SiFive samen met klanten zoals Google aan de ontwikkeling van wat het de Vector Coprocessor Interface eXtension (VCIX) noemt, waarmee klanten een versneller rechtstreeks kunnen koppelen aan het vectorregisterbestand van de X280, wat zorgt voor betere prestaties en meer gegevens bandbreedte.
Volgens Asanović is het voordeel dat klanten hun eigen coprocessor in het RISC-V-ecosysteem kunnen brengen en een complete softwarestack en programmeeromgeving kunnen draaien, met de mogelijkheid om Linux op te starten met volledig virtueel geheugen en coherente cache-ondersteuning, op een chip met een mix van universele CPU-cores en acceleratie-eenheden.
Vanuit het oogpunt van Google wilde het zich concentreren op het verbeteren van zijn familie van TPU-technologieën, en geen tijd verspillen aan het helemaal opnieuw maken van zijn eigen applicatieprocessor, en dus leek het de juiste manier om deze versnellingsfuncties te koppelen aan een kant-en-klare processor voor algemeen gebruik. te gaan, volgens Young.
VCIX lijmt de MXU's in wezen aan de RISC-V-kernen met een lage latentie, waardoor de noodzaak om vele cycli te besteden aan het pendelen van gegevens tussen CPU en versnellingseenheid via geheugen, cache of PCIe wordt overgeslagen. In plaats daarvan, zo wordt ons verteld, zijn het slechts tientallen cycli door toegang tot vectorregisters. Dat suggereert ook dat alles – het RISC-V CPU-complex en de aangepaste versnellers – allemaal op dezelfde chip zitten, verpakt als een systeem-op-chip.
De applicatiecode draait op de algemene RISC-V-cores en al het werk dat door de MXU kan worden versneld, wordt doorgegeven via de VCIX. Volgens Young zijn er naast efficiëntie ook andere voordelen van deze aanpak. Het programmeermodel is vereenvoudigd, wat resulteert in een enkel programma met scalaire, vector- en co-processor instructies verweven, en waardoor een enkele software toolchain mogelijk is waar ontwikkelaars naar keuze in C/C++ of assembler kunnen coderen.
"Met op SiFive VCIX gebaseerde cores voor algemeen gebruik 'gehybridiseerd' met Google MXU's, kun je een machine bouwen waarmee je 'je cake kunt eten en het ook kunt eten', waarbij je volledig profiteert van alle prestaties van de MXU en de programmeerbaarheid van een algemene CPU en de vectorprestaties van de X280-processor”, aldus Young.
De mogelijkheid om zo'n aangepaste chip te maken, blijft waarschijnlijk het domein van hyperscalers zoals Google, of die met nichevereisten en diepe zakken, maar het laat wel zien wat er kan worden bereikt dankzij de flexibiliteit van het open ecosysteem RISC-V-model .
Die flexibiliteit en openheid lijken voldoende te zijn om Google – al lang een voorstander van RISC-V, met RV-kernen die in sommige van zijn andere producten worden gebruikt – te verleiden tot het gebruik van de upstart-architectuur in plaats van zijn aangepaste coprocessors in x86-chips of Arm - gelicentieerde ontwerpen. ®
PS: Weet je nog toen Google was speelde met het gebruik van de POWER CPU-architectuur in zijn datacenters?