RISC-V chip biz SiFive siger, at dets processorer bliver brugt til at styre AI-arbejdsbelastninger til en vis grad i Googles datacentre.
Ifølge SiFive er den pågældende processor dens Intelligence X280, et multi-core RISC-V-design med vektorudvidelser, optimeret til AI/ML-applikationer i datacenteret. Når de kombineres med matrixmultiplikationsenhederne (MXU) løftet fra Googles Tensor Processing Units (TPU'er), dette hævdes at give større fleksibilitet til programmering af maskinlæringsarbejdsbelastninger.
I det væsentlige er X280's generelle RV64-kerner i processorens kørekode, der styrer enheden, og indlæser maskinlæringsberegninger i Googles MXU'er efter behov for at fuldføre opgaver. X280 inkluderer også sin egen vektormatematikenhed, der kan håndtere operationer, som acceleratorenhederne ikke kan.
SiFive og Google var lidt kedelige, måske af kommercielle årsager, med hensyn til præcis, hvordan dette er pakket og brugt, selvom det for os lyder, som om Google har placeret sine tilpassede accelerationsenheder i et multi-core X280-system-på-chip, der forbinder Google-designede MXU-blokke direkte til RISC-V-kernekomplekset. Disse chips bruges i Googles datacentre, i "AI compute hosts" ifølge SiFive, for at fremskynde maskinlæringsarbejdet.
Vi forestiller os, at hvis disse bruges i produktionen, håndterer disse chips opgaver indenfor services. Vi bemærker, at du ikke kan leje denne hardware direkte på Google Cloud, som tilbyder AI-optimerede virtuelle maskiner drevet af traditionel x86, Arm, TPU og GPU-teknologi.
Detaljerne blev afsløret på AI Hardware Summit i Silicon Valley tidligere på måneden, i en tale af SiFives medstifter og chefarkitekt Krste Asanović og Google TPU Architect Cliff Young, og i en SiFive blogindlæg i denne uge.
Ifølge SiFive bemærkede den, at efter introduktionen af X280 begyndte nogle kunder at bruge den som en ledsagerkerne ved siden af en accelerator for at håndtere alle de husholdnings- og generelle behandlingsopgaver, som acceleratoren ikke var designet til at udføre.
Mange fandt ud af, at der var behov for en softwarestabel med alle funktioner til at styre acceleratoren, siger chipbiz'en, og kunderne indså, at de kunne løse dette med et X280-kernekompleks ved siden af deres store accelerator, RISC-V CPU-kernerne håndterer al vedligeholdelse og operationskode, udføre matematiske operationer, som den store accelerator ikke kan, og levere forskellige andre funktioner. I det væsentlige kan X280 fungere som en slags ledelsesknudepunkt for acceleratoren.
For at udnytte dette arbejdede SiFive sammen med kunder som Google om at udvikle, hvad det kalder Vector Coprocessor Interface eXtension (VCIX), som giver kunderne mulighed for tæt at linke en accelerator direkte til vektorregisterfilen på X280, hvilket giver øget ydeevne og større data båndbredde.
Ifølge Asanović er fordelen, at kunderne kan bringe deres egen coprocessor ind i RISC-V-økosystemet og køre en komplet softwarestack og programmeringsmiljø med mulighed for at starte Linux med fuld virtuel hukommelse og cache-kohærent support, på en chip, der indeholder en blanding af generelle CPU-kerner og accelerationsenheder.
Fra Googles synspunkt ønskede det at fokusere på at forbedre sin familie af TPU-teknologier og ikke spilde tid på at lave sin egen applikationsprocessor fra bunden, og så det virkede som den rigtige måde at parre disse accelerationsfunktioner med en færdiglavet processor til generelle formål. at gå, ifølge Young.
VCIX limer i det væsentlige MXU'erne til RISC-V-kernerne med lav latenstid og springer over behovet for at bruge mange cyklusser på at vente på at overføre data mellem CPU og accelerationsenhed via hukommelse, cache eller PCIe. I stedet, får vi at vide, er det kun snesevis af cyklusser gennem vektorregisteradgang. Det tyder også på, at alt - RISC-V CPU-komplekset og de tilpassede acceleratorer - alle er på den samme matrice, pakket som en system-on-chip.
Applikationskoden kører på de generelle RISC-V-kerner, og alt arbejde, der kan accelereres af MXU'en, overføres via VCIX. Ifølge Young er der andre fordele ved denne tilgang såvel som effektivitet. Programmeringsmodellen er forenklet, hvilket resulterer i et enkelt program med skalar-, vektor- og co-processor-instruktioner sammenflettet, og tillader en enkelt softwareværktøjskæde, hvor udviklere kan kode i C/C++ eller assembler efter ønske.
"Med SiFive VCIX-baserede kerner til generelle formål 'hybridiseret' med Google MXU'er kan du bygge en maskine, der lader dig 'få din kage og spise den også', og drage fuld fordel af al MXU'ens ydeevne og programmerbarheden af en generel CPU såvel som vektorydelsen af X280-processoren,” sagde Young.
Evnen til at lave en brugerdefineret chip som denne vil sandsynligvis forblive domænet for hyperskalere som Google, eller dem med nichekrav og dybe lommer, men det viser, hvad der kan opnås takket være fleksibiliteten i det åbne økosystem RISC-V-model .
Denne fleksibilitet og åbenhed ser ud til at være nok til at lokke Google – en langvarig tilhænger af RISC-V, med RV-kerner brugt i nogle af dets andre produkter – til at bruge upstart-arkitekturen i modsætning til at skohorne sine brugerdefinerede coprocessorer til x86-chips eller Arm -licenserede designs. ®
PS: Husk dengang Google var toying med at bruge POWER CPU-arkitekturen i sine datacentre?