TOKYO, 24 april 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) har utökat sina "NEC cotomi" generativa AI-tjänster med utvecklingen av "NEC cotomi Pro" och "NEC cotomi Light", två nya höghastighetsgenerativa AI Large Language Models (LLM) med uppdaterade utbildningsdata och arkitekturer.
Med den snabba utvecklingen av generativ AI de senaste åren har ett brett spektrum av organisationer övervägt och verifierat affärstransformation med hjälp av LLM. När specifika tillämpningsscenarier dyker upp finns det ett behov av att tillhandahålla modeller och format som möter kundernas behov vad gäller svarstid, affärsdatakoordinering, informationsskydd och andra säkerhetsaspekter under implementering och drift.
NEC:s nyutvecklade NEC cotomi Pro och NEC cotomi Light är höghastighets- och högpresterande modeller som levererar samma höga prestanda som globala LLM:er, men med mer än tio gånger hastigheten.
Generellt, för att förbättra prestandan för en LLM, måste en modell göras större, men detta saktar ner driftshastigheten. NEC har dock lyckats förbättra både hastighet och prestanda med utvecklingen av en avancerad ny träningsmetod och arkitektur.
"NEC cotomi Pro" uppnår prestanda jämförbar med globala toppmodeller som "GPT-4" och "Claude 2", med en svarstid som är ungefär 87 % snabbare än GPT-4 med en infrastruktur med två grafikprocessorer ( GPU). Dessutom har den ännu snabbare "NEC cotomi Light" samma prestandanivå som globala modeller som "GPT-3.5-Turbo", men kan behandla ett stort antal förfrågningar i hög hastighet med en infrastruktur på cirka 1 till 2 GPU ger tillräcklig prestanda för många uppgifter.
Specifikt, i ett internt dokumenthämtningssystem som använder en teknik som kallas RAG, uppnådde systemet en korrekt svarsfrekvens högre än GPT-3.5 utan finjustering och en korrekt svarsfrekvens högre än GPT-4 efter finjustering, med ett svar tid som är cirka 93 % snabbare.
Funktioner hos NEC cotomi Pro och NEC cotomi Light1. Hög genomströmning för olika uppgifter
Både "NEC cotomi Pro" och "NEC cotomi Light" har höga nivåer av processorkraft som är på toppnivå globalt sett vad gäller kunskap och förmåga att hantera olika uppgifter, såsom dokumentsammanfattning, logiska resonemang och frågesvar.
Jämförelser av "ELYZA Tasks 100" (två översta graferna) och "Japanese MT-Bench" (nedre grafen)
Specifikt bekräftade NEC prestanda på toppnivå, inte bara i Japan utan också globalt, i två riktmärken som vanligtvis används för att mäta övergripande LLM-prestanda: "ELYZA Tasks 100" och "Japanese MT-Bench." NEC cotomi Pro gav resultat mer än fem gånger snabbare än GPT-4 (*) på en standardserver med två GPU:er. Dessutom överträffade den hastigheten för modeller som "Gemini 1.0 Pro" och visade prestanda som är jämförbar med Claude 2 och GPT-4. Samtidigt gav "NEC cotomi Light" resultat som är mer än 15 gånger snabbare än GPT-4 samtidigt som de överträffade stora modeller som "LLaMA2-70B" och visade prestanda som är jämförbar med GPT-3.5-Turbo.
2. Hög hastighet
Förutom hög prestanda under slutledning är tiden (hastigheten) mellan att skicka en förfrågan och ta emot ett svar också viktig för den praktiska tillämpningen av LLM. NEC cotomi Pro och NEC cotomi Light har uppnått höghastighetsbehandling som är 87 % till 93 % snabbare än GPT-4 med två standard-GPU:er. Detta har åstadkommits tack vare arkitektoniska innovationer som har förbättrat både prestanda och hastighet, samt en stor japansk ordbok (för tokenisering) i modellen. Dessa innovationer ökar inte bara hastigheten för slutledning, utan ökar också antalet samtidiga åtkomster och minskar träningstiden som krävs för finjustering. Dessutom kan ytterligare hastighetsförbättringar göras genom att öka antalet GPU:er till 4 eller 8, vilket möjliggör flexibel konstruktion för att möta behoven för varje applikation.
Genom att använda en modell som uppnår hög processorkraft med hög hastighet och massåtkomst är det möjligt att avsevärt förkorta svarstiden för affärsapplikationer som använder generativ AI och förbättra användarupplevelsen. Dessutom kan hög processorkraft förbättra prestandan avsevärt efter finjustering av individuella data för varje företag. Framöver kommer NEC att fortsätta att stärka samarbetet med partners och tillhandahålla säkra, säkra och pålitliga AI-tjänster baserade på den utökade NEC cotomi lineupen, med målet att hjälpa kunder att lösa en lång rad komplexa utmaningar.
(*)Experimentet gav 16-bitars beräkningsprecision i en GPU-miljö utrustad med två L40sShare
Om NEC Corporation
NEC Corporation har etablerat sig som ett ledande företag inom integrationen av IT och nätverksteknik samtidigt som det främjar varumärkesdeklarationen "Orchestrating a lyser world." NEC gör det möjligt för företag och samhällen att anpassa sig till snabba förändringar som sker både i samhället och på marknaden eftersom det ger sociala värden som säkerhet, säkerhet, rättvisa och effektivitet för att främja en mer hållbar värld där alla har chansen att nå sin fulla potential. För mer information, besök NEC på https://www.nec.com.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://www.jcnnewswire.com/pressrelease/90452/3/