Angribere kan udnytte ChatGPT'er forkærlighed for at returnere falsk information for at sprede ondsindede kodepakker, har forskere fundet. Dette udgør en betydelig risiko for softwareforsyningskæden, da det kan tillade ondsindet kode og trojanske heste at glide ind i legitime applikationer og kodelagre som npm, PyPI, GitHub og andre.
Ved at udnytte såkaldte "AI pakke hallucinationer," trusselsaktører kan oprette ChatGPT-anbefalede, men ondsindede kodepakker, som en udvikler utilsigtet kan downloade når du bruger chatbotten, at bygge dem ind i software, der derefter bruges bredt, afslørede forskere fra Vulcan Cybers Voyager18-forskningshold i et blog-indlæg offentliggjort i dag.
Inden for kunstig intelligens er en hallucination et plausibelt svar fra AI, som er utilstrækkeligt, forudindtaget eller fuldstændigt ikke sandt. De opstår, fordi ChatGPT (og andre store sprogmodeller eller LLM'er, der er grundlaget for generative AI-platforme) besvarer spørgsmål, der stilles til dem baseret på de kilder, links, blogs og statistikker, der er tilgængelige for dem i den store udstrækning af internettet, som er ikke altid de mest solide træningsdata.
På grund af denne omfattende træning og eksponering for enorme mængder tekstdata, kan LLM'er som ChatGPT generere "plausibel, men fiktiv information, der ekstrapolerer ud over deres træning og potentielt producerer svar, der virker plausible, men ikke nødvendigvis er nøjagtige," skrev lederforsker Bar Lanyado fra Voyager18. i blogindlægget, der også fortæller Dark Reading, "er det et fænomen, der er blevet observeret før og ser ud til at være et resultat af den måde, store sprogmodeller fungerer på."
Han forklarede i indlægget, at i udviklerverdenen vil AI'er også generere tvivlsomme rettelser til CVE'er og tilbyde links til kodningsbiblioteker, der ikke eksisterer - og sidstnævnte giver mulighed for udnyttelse. I det angrebsscenarie kan angribere bede ChatGPT om kodningshjælp til almindelige opgaver; og ChatGPT kan tilbyde en anbefaling til en upubliceret eller ikke-eksisterende pakke. Angribere kan derefter udgive deres egen ondsindede version af den foreslåede pakke, sagde forskerne, og vente på, at ChatGPT giver lovlige udviklere den samme anbefaling for det.
Sådan udnytter du en AI-hallucination
For at bevise deres koncept oprettede forskerne et scenarie ved hjælp af ChatGPT 3.5, hvor en angriber bad platformen om et spørgsmål for at løse et kodningsproblem, og ChatGPT svarede med flere pakker, hvoraf nogle ikke eksisterede – dvs. de er ikke offentliggjort i en lovligt pakkelager.
"Når angriberen finder en anbefaling til en upubliceret pakke, kan de udgive deres egen ondsindede pakke i stedet for," skrev forskerne. "Næste gang en bruger stiller et lignende spørgsmål, kan de modtage en anbefaling fra ChatGPT om at bruge den nu eksisterende ondsindede pakke."
Hvis ChatGPT fremstiller kodepakker, kan angribere bruge disse hallucinationer til at sprede ondsindede dem uden at bruge velkendte teknikker som typosquatting eller maskering, hvilket skaber en "rigtig" pakke, som en udvikler kan bruge, hvis ChatGPT anbefaler det, sagde forskerne. På denne måde kan den ondsindede kode finde vej til en legitim applikation eller i et legitimt kodelager, hvilket skaber en stor risiko for softwareforsyningskæden.
"En udvikler, der beder en generativ AI som ChatGPT om hjælp med deres kode, kan ende med at installere et ondsindet bibliotek, fordi AI'en troede, det var ægte, og en angriber gjorde det virkeligt," siger Lanyado. "En klog angriber kan endda lave et fungerende bibliotek, som en slags trojaner, som kunne ende med at blive brugt af flere mennesker, før de indså, at det var ondsindet."
Sådan finder du dårlige kodebiblioteker
Det kan være svært at sige, om en pakke er ondsindet, hvis en trusselaktør effektivt slører deres arbejde eller bruger yderligere teknikker, såsom at lave en trojansk pakke, der faktisk er funktionel, bemærkede forskerne. Der er dog måder at fange dårlig kode, før den bliver indbygget i en applikation eller udgivet til et kodelager.
For at gøre dette skal udviklere validere de biblioteker, de downloader, og sikre sig, at de ikke kun gør, hvad de siger, de gør, men også "ikke er en klog trojaner, der forklæder sig som en legitim pakke," siger Lanyado.
"Det er især vigtigt, når anbefalingen kommer fra en AI i stedet for en kollega eller folk, de har tillid til i samfundet," siger han.
Der er mange måder en udvikler kan gøre dette på, såsom at tjekke oprettelsesdatoen; antal downloads og kommentarer, eller mangel på kommentarer og stjerner; og have et kig på nogen af bibliotekets vedhæftede noter, sagde forskerne. "Hvis noget ser mistænkeligt ud, så tænk to gange, før du installerer det," anbefalede Lanyado i indlægget.
ChatGPT: Risici og belønninger
Dette angrebsscenarie er blot det seneste i rækken af sikkerhedsrisici, som ChatGPT kan præsentere. Og teknologien fangede hurtigt siden den blev udgivet i november sidste år – ikke kun hos brugere, men også hos trusselsaktører, der er ivrige efter at udnytte den til cyberangreb og ondsindede kampagner.
Alene i første halvdel af 2023 har der været svindlere efterligner ChatGPT for at stjæle brugernes forretningsoplysninger; angribere stjæle Google Chrome-cookies gennem ondsindede ChatGPT-udvidelser; og phishing-trusler, der bruger ChatGPT som lokkemiddel for ondsindede websteder.
Mens nogle eksperter mener sikkerhedsrisikoen ved ChatGPT bliver potentielt overhypet, det eksisterer bestemt på grund af, hvor hurtigt folk har omfavnet generative AI-platforme for at understøtte deres professionelle aktivitet og lette byrderne ved den daglige arbejdsbelastning, sagde forskerne.
"Medmindre du skal leve under en sten, vil du være udmærket klar over den generative AI-dille," med millioner af mennesker, der omfavner ChatGPT på arbejdet, skrev Lanyado i indlægget.
Udviklere er heller ikke immune over for charmen ved ChatGPT og vender sig væk fra onlinekilder såsom Stack Overflow til kodningsløsninger og til AI-platformen for svar, "skaber en stor mulighed for angribere," skrev han.
Og som historien har vist, tiltrækker enhver ny teknologi, der hurtigt tiltrækker en solid brugerbase, også lige så hurtigt dårlige aktører, der sigter på at udnytte den til deres egen mulighed, med ChatGPT som et realtidseksempel på dette scenarie.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
- Udmøntning af fremtiden med Adryenn Ashley. Adgang her.
- Køb og sælg aktier i PRE-IPO-virksomheder med PREIPO®. Adgang her.
- Kilde: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
ChatGPT Hallucinations åbner udviklere for Supply-Chain Malware-angreb
Genudgivet af Platon
Angribere kan udnytte ChatGPT'er forkærlighed for at returnere falsk information for at sprede ondsindede kodepakker, har forskere fundet. Dette udgør en betydelig risiko for softwareforsyningskæden, da det kan tillade ondsindet kode og trojanske heste at glide ind i legitime applikationer og kodelagre som npm, PyPI, GitHub og andre.
Ved at udnytte såkaldte "AI pakke hallucinationer," trusselsaktører kan oprette ChatGPT-anbefalede, men ondsindede kodepakker, som en udvikler utilsigtet kan downloade når du bruger chatbotten, at bygge dem ind i software, der derefter bruges bredt, afslørede forskere fra Vulcan Cybers Voyager18-forskningshold i et blog-indlæg offentliggjort i dag.
Inden for kunstig intelligens er en hallucination et plausibelt svar fra AI, som er utilstrækkeligt, forudindtaget eller fuldstændigt ikke sandt. De opstår, fordi ChatGPT (og andre store sprogmodeller eller LLM'er, der er grundlaget for generative AI-platforme) besvarer spørgsmål, der stilles til dem baseret på de kilder, links, blogs og statistikker, der er tilgængelige for dem i den store udstrækning af internettet, som er ikke altid de mest solide træningsdata.
På grund af denne omfattende træning og eksponering for enorme mængder tekstdata, kan LLM'er som ChatGPT generere "plausibel, men fiktiv information, der ekstrapolerer ud over deres træning og potentielt producerer svar, der virker plausible, men ikke nødvendigvis er nøjagtige," skrev lederforsker Bar Lanyado fra Voyager18. i blogindlægget, der også fortæller Dark Reading, "er det et fænomen, der er blevet observeret før og ser ud til at være et resultat af den måde, store sprogmodeller fungerer på."
Han forklarede i indlægget, at i udviklerverdenen vil AI'er også generere tvivlsomme rettelser til CVE'er og tilbyde links til kodningsbiblioteker, der ikke eksisterer - og sidstnævnte giver mulighed for udnyttelse. I det angrebsscenarie kan angribere bede ChatGPT om kodningshjælp til almindelige opgaver; og ChatGPT kan tilbyde en anbefaling til en upubliceret eller ikke-eksisterende pakke. Angribere kan derefter udgive deres egen ondsindede version af den foreslåede pakke, sagde forskerne, og vente på, at ChatGPT giver lovlige udviklere den samme anbefaling for det.
Sådan udnytter du en AI-hallucination
For at bevise deres koncept oprettede forskerne et scenarie ved hjælp af ChatGPT 3.5, hvor en angriber bad platformen om et spørgsmål for at løse et kodningsproblem, og ChatGPT svarede med flere pakker, hvoraf nogle ikke eksisterede – dvs. de er ikke offentliggjort i en lovligt pakkelager.
"Når angriberen finder en anbefaling til en upubliceret pakke, kan de udgive deres egen ondsindede pakke i stedet for," skrev forskerne. "Næste gang en bruger stiller et lignende spørgsmål, kan de modtage en anbefaling fra ChatGPT om at bruge den nu eksisterende ondsindede pakke."
Hvis ChatGPT fremstiller kodepakker, kan angribere bruge disse hallucinationer til at sprede ondsindede dem uden at bruge velkendte teknikker som typosquatting eller maskering, hvilket skaber en "rigtig" pakke, som en udvikler kan bruge, hvis ChatGPT anbefaler det, sagde forskerne. På denne måde kan den ondsindede kode finde vej til en legitim applikation eller i et legitimt kodelager, hvilket skaber en stor risiko for softwareforsyningskæden.
"En udvikler, der beder en generativ AI som ChatGPT om hjælp med deres kode, kan ende med at installere et ondsindet bibliotek, fordi AI'en troede, det var ægte, og en angriber gjorde det virkeligt," siger Lanyado. "En klog angriber kan endda lave et fungerende bibliotek, som en slags trojaner, som kunne ende med at blive brugt af flere mennesker, før de indså, at det var ondsindet."
Sådan finder du dårlige kodebiblioteker
Det kan være svært at sige, om en pakke er ondsindet, hvis en trusselaktør effektivt slører deres arbejde eller bruger yderligere teknikker, såsom at lave en trojansk pakke, der faktisk er funktionel, bemærkede forskerne. Der er dog måder at fange dårlig kode, før den bliver indbygget i en applikation eller udgivet til et kodelager.
For at gøre dette skal udviklere validere de biblioteker, de downloader, og sikre sig, at de ikke kun gør, hvad de siger, de gør, men også "ikke er en klog trojaner, der forklæder sig som en legitim pakke," siger Lanyado.
"Det er især vigtigt, når anbefalingen kommer fra en AI i stedet for en kollega eller folk, de har tillid til i samfundet," siger han.
Der er mange måder en udvikler kan gøre dette på, såsom at tjekke oprettelsesdatoen; antal downloads og kommentarer, eller mangel på kommentarer og stjerner; og have et kig på nogen af bibliotekets vedhæftede noter, sagde forskerne. "Hvis noget ser mistænkeligt ud, så tænk to gange, før du installerer det," anbefalede Lanyado i indlægget.
ChatGPT: Risici og belønninger
Dette angrebsscenarie er blot det seneste i rækken af sikkerhedsrisici, som ChatGPT kan præsentere. Og teknologien fangede hurtigt siden den blev udgivet i november sidste år – ikke kun hos brugere, men også hos trusselsaktører, der er ivrige efter at udnytte den til cyberangreb og ondsindede kampagner.
Alene i første halvdel af 2023 har der været svindlere efterligner ChatGPT for at stjæle brugernes forretningsoplysninger; angribere stjæle Google Chrome-cookies gennem ondsindede ChatGPT-udvidelser; og phishing-trusler, der bruger ChatGPT som lokkemiddel for ondsindede websteder.
Mens nogle eksperter mener sikkerhedsrisikoen ved ChatGPT bliver potentielt overhypet, det eksisterer bestemt på grund af, hvor hurtigt folk har omfavnet generative AI-platforme for at understøtte deres professionelle aktivitet og lette byrderne ved den daglige arbejdsbelastning, sagde forskerne.
"Medmindre du skal leve under en sten, vil du være udmærket klar over den generative AI-dille," med millioner af mennesker, der omfavner ChatGPT på arbejdet, skrev Lanyado i indlægget.
Udviklere er heller ikke immune over for charmen ved ChatGPT og vender sig væk fra onlinekilder såsom Stack Overflow til kodningsløsninger og til AI-platformen for svar, "skaber en stor mulighed for angribere," skrev han.
Og som historien har vist, tiltrækker enhver ny teknologi, der hurtigt tiltrækker en solid brugerbase, også lige så hurtigt dårlige aktører, der sigter på at udnytte den til deres egen mulighed, med ChatGPT som et realtidseksempel på dette scenarie.
NASA-astronauter ankommer til Kennedy Space Center forud for Boeing Starliner Crew Flight Test
Space startup True Anomaly skærer arbejdsstyrken ned
ESL Challenger Melbourne 2024: Resultater, stillinger og mere – Snowball Esports
Meta enorme AI-udgifter overskygger solid indtjening i 1. kvartal
Mercedes G 580 med EQ-teknologi er en G Wagon først, en EV anden – Autoblog
Frygtløse kryptohvaler udnytter Ripples XRP-turbulens med køb på flere millioner dollar
Crypto Trader afslører strategi for at identificere altcoins, der er klar til en 100-fold stigning - CryptoInfoNet
Consensys sagsøger SEC for at 'forsvare Ethereum' – The Defiant
Stripe bringer kryptobetalinger tilbage via USDC Stablecoin
SEC forventede at nægte Ethereum ETF'er: Reuters