RISC-V chip biz SiFive sier at deres prosessorer blir brukt til å administrere AI-arbeidsbelastninger til en viss grad i Googles datasentre.
Ifølge SiFive er den aktuelle prosessoren dens Intelligence X280, en flerkjerne RISC-V-design med vektorutvidelser, optimalisert for AI/ML-applikasjoner i datasenteret. Når kombinert med matrisemultiplikasjonsenhetene (MXU) løftet fra Googles Tensor Processing Units (TPUer), hevdes dette å gi større fleksibilitet for programmering av maskinlæringsarbeidsmengder.
I hovedsak er X280s generelle RV64-kjerner i prosessorens kjørekode som administrerer enheten, og mater maskinlæringsberegninger inn i Googles MXU-er etter behov for å fullføre jobber. X280 inkluderer også sin egen vektormatematikkenhet som kan håndtere operasjoner akseleratorenhetene ikke kan.
SiFive og Google var litt forsiktige, kanskje av kommersielle årsaker, med nøyaktig hvordan dette pakkes og brukes, selv om det høres ut for oss som om Google har plassert sine tilpassede akselerasjonsenheter i et multi-core X280-system-på-brikke, som kobler sammen Google-designede MXU-blokker direkte til RISC-V-kjernekomplekset. Disse brikkene brukes i Googles datasentre, i «AI compute hosts» ifølge SiFive, for å få fart på maskinlæringsarbeidet.
Vi ser for oss at dersom disse brukes i produksjon, håndterer disse brikkene oppgaver innenfor tjenester. Vi legger merke til at du ikke kan leie denne maskinvaren direkte på Google Cloud, som tilbyr AI-optimaliserte virtuelle maskiner drevet av tradisjonell x86-, Arm-, TPU- og GPU-teknologi.
Detaljene ble avslørt på AI Hardware Summit i Silicon Valley tidligere denne måneden, i en tale av SiFives medgründer og sjefsarkitekt Krste Asanović og Google TPU Architect Cliff Young, og i en SiFive blogginnlegg denne uken.
I følge SiFive la det merke til at etter introduksjonen av X280 begynte noen kunder å bruke den som en følgekjerne ved siden av en akselerator, for å håndtere alle husholdnings- og generell behandlingsoppgaver som akseleratoren ikke var designet for å utføre.
Mange fant ut at en programvarestabel med alle funksjoner var nødvendig for å administrere akseleratoren, sier chip biz, og kundene innså at de kunne løse dette med et X280-kjernekompleks ved siden av den store akseleratoren deres, RISC-V CPU-kjernene som håndterer alt vedlikehold og operasjonskode, utføre matematiske operasjoner som den store akseleratoren ikke kan, og gi forskjellige andre funksjoner. I hovedsak kan X280 fungere som en slags styringsnode for akseleratoren.
For å utnytte dette, jobbet SiFive med kunder som Google for å utvikle det de kaller Vector Coprocessor Interface eXtension (VCIX), som lar kunder koble en akselerator tett direkte til vektorregisterfilen til X280, noe som gir økt ytelse og større data båndbredde.
I følge Asanović er fordelen at kundene kan ta med sin egen koprosessor inn i RISC-V-økosystemet og kjøre en komplett programvarestabel og programmeringsmiljø, med muligheten til å starte Linux med fullt virtuelt minne og cache-koherent støtte, på en brikke som inneholder en blanding av generelle CPU-kjerner og akselerasjonsenheter.
Fra Googles synspunkt ønsket de å fokusere på å forbedre familien av TPU-teknologier, og ikke kaste bort tid på å lage sin egen applikasjonsprosessor fra bunnen av, og derfor virket det som den rette måten å pare disse akselerasjonsfunksjonene med en ferdiglaget prosessor for generell bruk. å gå, ifølge Young.
VCIX limer i hovedsak MXU-ene til RISC-V-kjernene med lav latens, og hopper over behovet for å bruke mange sykluser på å vente på å overføre data mellom CPU og akselerasjonsenhet via minne, cache eller PCIe. I stedet, blir vi fortalt, er det bare titalls sykluser gjennom vektorregistertilgang. Det tyder også på at alt – RISC-V CPU-komplekset og de tilpassede akseleratorene – alle er på samme die, pakket som en system-on-chip.
Applikasjonskoden kjører på de generelle RISC-V-kjernene, og alt arbeid som kan akselereres av MXU-en overføres via VCIX. Ifølge Young er det andre fordeler med denne tilnærmingen så vel som effektivitet. Programmeringsmodellen er forenklet, noe som resulterer i et enkelt program med skalar-, vektor- og co-prosessorinstruksjoner sammenflettet, og tillater en enkelt programvareverktøykjede der utviklere kan kode i C/C++ eller assembler etter ønske.
"Med SiFive VCIX-baserte kjerner for generell bruk "hybridisert" med Google MXUer, kan du bygge en maskin som lar deg "ha kaken din og spise den også", og dra full nytte av all ytelsen til MXUen og programmerbarheten til en generell CPU så vel som vektorytelsen til X280-prosessoren," sa Young.
Muligheten til å lage en tilpasset brikke som denne vil sannsynligvis forbli domenet til hyperskalere som Google, eller de med nisjekrav og dype lommer, men den viser hva som kan oppnås takket være fleksibiliteten til den åpne økosystemet RISC-V-modellen .
Denne fleksibiliteten og åpenheten ser ut til å være nok til å lokke Google – en langvarig tilhenger av RISC-V, med RV-kjerner brukt i noen av de andre produktene – til å bruke oppkomlingarkitekturen i motsetning til å skohorne sine tilpassede koprosessorer til x86-brikker eller Arm - lisensierte design. ®
PS: Husk da Google var leker med å bruke POWER CPU-arkitekturen i sine datasentre?