TOKIO, 24 april 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) heeft zijn generatieve AI-diensten “NEC cotomi” uitgebreid met de ontwikkeling van “NEC cotomi Pro” en “NEC cotomi Light”, twee nieuwe snelle generatieve AI Large Language Models (LLM) met bijgewerkte trainingsgegevens en architecturen.
Met de snelle ontwikkeling van generatieve AI in de afgelopen jaren heeft een breed scala aan organisaties bedrijfstransformatie met behulp van LLM's overwogen en geverifieerd. Naarmate er specifieke toepassingsscenario's ontstaan, is er behoefte aan modellen en formaten die voldoen aan de behoeften van de klant op het gebied van responstijd, coördinatie van bedrijfsgegevens, informatiebescherming en andere beveiligingsaspecten tijdens de implementatie en exploitatie.
NEC's nieuw ontwikkelde NEC cotomi Pro en NEC cotomi Light zijn snelle, krachtige modellen die dezelfde hoge prestaties leveren als wereldwijde LLM's, maar dan met meer dan tien keer de snelheid.
Om de prestaties van een LLM te verbeteren, moet een model over het algemeen groter worden gemaakt, maar dit vertraagt de werkingssnelheid. NEC is er echter in geslaagd zowel de snelheid als de prestaties te verbeteren met de ontwikkeling van een geavanceerde nieuwe trainingsmethode en architectuur.
“NEC cotomi Pro” behaalt prestaties die vergelijkbaar zijn met mondiale topmodellen zoals “GPT-4” en “Claude 2”, met een responstijd die ongeveer 87% sneller is dan GPT-4 met behulp van een infrastructuur van twee grafische verwerkingseenheden ( GPU). Bovendien heeft de nog snellere “NEC cotomi Light” hetzelfde prestatieniveau als mondiale modellen zoals “GPT-3.5-Turbo”, maar kan hij een groot aantal verzoeken op hoge snelheid verwerken met een infrastructuur van ongeveer 1 tot 2 GPU , waardoor voldoende prestaties worden geleverd voor veel taken.
Met name in een intern systeem voor het ophalen van documenten dat gebruikmaakt van een techniek genaamd RAG, behaalde het systeem een correct responspercentage hoger dan GPT-3.5 zonder fijnafstemming en een correct responspercentage hoger dan GPT-4 na fijnafstemming, met een respons tijd die ongeveer 93% sneller is.
Kenmerken van NEC cotomi Pro en NEC cotomi Light1. Hoge doorvoer voor verschillende taken
Zowel “NEC cotomi Pro” als “NEC cotomi Light” hebben een hoog verwerkingsvermogen dat zich wereldwijd op het hoogste niveau bevindt wat betreft kennis en vermogen om verschillende taken uit te voeren, zoals het samenvatten van documenten, logisch redeneren en het beantwoorden van vragen.
“ELYZA Tasks 100” (bovenste 2 grafieken) en de “Japanese MT-Bench” (onderste grafiek) benchmarkvergelijkingen
Concreet bevestigde NEC topprestaties, niet alleen in Japan maar ook wereldwijd, in twee benchmarks die vaak worden gebruikt om de algehele LLM-prestaties te meten: “ELYZA Tasks 100” en “Japanese MT-Bench.” NEC cotomi Pro leverde resultaten die ruim vijf keer sneller waren dan GPT-4 (*) op een standaardserver met twee GPU's. Bovendien presteerde het beter dan de snelheid van modellen als “Gemini 1.0 Pro” en liet het prestaties zien die vergelijkbaar zijn met Claude 2 en GPT-4. Tegelijkertijd leverde “NEC cotomi Light” resultaten op die meer dan 15 keer sneller zijn dan GPT-4, terwijl het beter presteerde dan grote modellen zoals “LLaMA2-70B” en prestaties demonstreerde die vergelijkbaar zijn met GPT-3.5-Turbo.
2. Hoge snelheid
Naast hoge prestaties bij inferentie is ook de tijd (snelheid) tussen het verzenden van een verzoek en het ontvangen van een antwoord van belang voor de praktische toepassing van LLM. NEC cotomi Pro en NEC cotomi Light hebben een hoge verwerkingssnelheid bereikt die 87% tot 93% sneller is dan GPT-4 met twee standaard GPU's. Dit is bereikt dankzij architecturale innovaties die zowel de prestaties als de snelheid hebben verbeterd, evenals een groot Japans woordenboek (voor tokenisatie) in het model. Deze innovaties verhogen niet alleen de snelheid van gevolgtrekking, maar vergroten ook het aantal gelijktijdige toegangen en verminderen de trainingstijd die nodig is voor fijnafstemming. Bovendien kunnen extra snelheidsverbeteringen worden doorgevoerd door het aantal GPU's te verhogen naar 4 of 8, waardoor een flexibele constructie mogelijk wordt om aan de behoeften van elke toepassing te voldoen.
Door gebruik te maken van een model dat hoge verwerkingskracht bereikt met hoge snelheid en massatoegang, is het mogelijk om de responstijd van bedrijfsapplicaties die gebruik maken van generatieve AI aanzienlijk te verkorten en de gebruikerservaring te verbeteren. Bovendien kan een hoge verwerkingskracht de prestaties aanzienlijk verbeteren na het afstemmen van individuele gegevens voor elk bedrijf. In de toekomst zal NEC de samenwerking met partners blijven versterken en veilige, beveiligde en betrouwbare AI-diensten blijven leveren op basis van de uitgebreide NEC cotomi-reeks, met het doel om klanten te helpen een breed scala aan complexe uitdagingen op te lossen.
(*)Experiment leverde 16-bits rekenprecisie op in een GPU-omgeving uitgerust met twee L40sShare
Over NEC Corporation
NEC Corporation heeft zichzelf gevestigd als leider in de integratie van IT- en netwerktechnologieën en promoot tegelijkertijd de merkverklaring van "Orchestrating a brighter world." NEC stelt bedrijven en gemeenschappen in staat zich aan te passen aan de snelle veranderingen die plaatsvinden in zowel de samenleving als de markt, aangezien het voorziet in de sociale waarden van veiligheid, beveiliging, eerlijkheid en efficiëntie om een duurzamere wereld te bevorderen waarin iedereen de kans heeft om zijn volledige potentieel te bereiken. Ga voor meer informatie naar NEC op https://www.nec.com.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://www.jcnnewswire.com/pressrelease/90452/3/