Angripere kan utnytte ChatGPT-er forkjærlighet for å returnere falsk informasjon for å spre ondsinnede kodepakker, har forskere funnet. Dette utgjør en betydelig risiko for programvareforsyningskjeden, siden det kan tillate skadelig kode og trojanere å gli inn i legitime applikasjoner og kodelagre som npm, PyPI, GitHub og andre.
Ved å utnytte såkalte "AI-pakkehallusinasjoner," trusselaktører kan lage ChatGPT-anbefalte, men ondsinnede kodepakker som en utvikler utilsiktet kan laste ned når du bruker chatbot, bygge dem inn i programvare som deretter brukes mye, avslørte forskere fra Vulcan Cybers Voyager18-forskningsteam i et blogginnlegg publisert i dag.
Innenfor kunstig intelligens er en hallusinasjon en plausibel respons fra AI som er utilstrekkelig, partisk eller rett og slett ikke sann. De oppstår fordi ChatGPT (og andre store språkmodeller eller LLM-er som er grunnlaget for generative AI-plattformer) svarer på spørsmål som stilles til dem basert på kildene, lenkene, bloggene og statistikken som er tilgjengelig for dem i det store området av Internett, som er ikke alltid de mest solide treningsdataene.
På grunn av denne omfattende opplæringen og eksponeringen for store mengder tekstdata, kan LLM-er som ChatGPT generere "plausibel, men fiktiv informasjon, ekstrapolere utover treningen og potensielt produsere svar som virker plausible, men som ikke nødvendigvis er nøyaktige," skrev hovedforsker Bar Lanyado fra Voyager18. i blogginnlegget, som også forteller Dark Reading, "er det et fenomen som har blitt observert før og ser ut til å være et resultat av måten store språkmodeller fungerer på."
Han forklarte i innlegget at i utviklerverdenen vil AI-er også generere tvilsomme rettelser til CVE-er og tilby lenker til kodebiblioteker som ikke eksisterer - og sistnevnte gir en mulighet for utnyttelse. I det angrepsscenarioet kan angripere be ChatGPT om kodehjelp for vanlige oppgaver; og ChatGPT kan tilby en anbefaling for en upublisert eller ikke-eksisterende pakke. Angripere kan deretter publisere sin egen ondsinnede versjon av den foreslåtte pakken, sa forskerne, og vente på at ChatGPT gir legitime utviklere samme anbefaling for det.
Hvordan utnytte en AI-hallusinasjon
For å bevise konseptet sitt opprettet forskerne et scenario ved hjelp av ChatGPT 3.5 der en angriper spurte plattformen om et spørsmål for å løse et kodeproblem, og ChatGPT svarte med flere pakker, hvorav noen ikke eksisterte – dvs. de er ikke publisert i en legitimt pakkelager.
"Når angriperen finner en anbefaling for en upublisert pakke, kan de publisere sin egen ondsinnede pakke i stedet," skrev forskerne. "Neste gang en bruker stiller et lignende spørsmål, kan de motta en anbefaling fra ChatGPT om å bruke den nå eksisterende ondsinnede pakken."
Hvis ChatGPT lager kodepakker, kan angripere bruke disse hallusinasjonene til å spre ondsinnede uten å bruke kjente teknikker som typosquatting eller maskering, og lage en "ekte" pakke som en utvikler kan bruke hvis ChatGPT anbefaler det, sa forskerne. På denne måten kan den ondsinnede koden finne veien inn i en legitim applikasjon eller i et legitimt kodelager, noe som skaper en stor risiko for programvareforsyningskjeden.
"En utvikler som ber en generativ AI som ChatGPT om hjelp med koden sin, kan ende opp med å installere et ondsinnet bibliotek fordi AI-en trodde det var ekte og en angriper gjorde det virkelig," sier Lanyado. "En smart angriper kan til og med lage et fungerende bibliotek, som en slags trojaner, som kan ende opp med å bli brukt av flere personer før de innså at det var ondsinnet."
Hvordan oppdage dårlige kodebiblioteker
Det kan være vanskelig å si om en pakke er ondsinnet hvis en trusselaktør effektivt tilslører arbeidet deres, eller bruker tilleggsteknikker som å lage en trojanerpakke som faktisk er funksjonell, bemerket forskerne. Det finnes imidlertid måter å fange opp dårlig kode før den blir bakt inn i en applikasjon eller publisert til et kodelager.
For å gjøre dette, må utviklere validere bibliotekene de laster ned og sørge for at de ikke bare gjør det de sier de gjør, men at de også "ikke er en smart trojaner som er maskert som en legitim pakke," sier Lanyado.
"Det er spesielt viktig når anbefalingen kommer fra en kunstig intelligens i stedet for en kollega eller personer de stoler på i samfunnet," sier han.
Det er mange måter en utvikler kan gjøre dette på, for eksempel å sjekke opprettelsesdatoen; antall nedlastinger og kommentarer, eller mangel på kommentarer og stjerner; og ta en titt på noen av bibliotekets vedlagte notater, sa forskerne. "Hvis noe ser mistenkelig ut, tenk to ganger før du installerer det," anbefalte Lanyado i innlegget.
ChatGPT: Risikoer og belønninger
Dette angrepsscenarioet er bare det siste i rekken av sikkerhetsrisikoer som ChatGPT kan presentere. Og teknologien fanget raskt opp siden den ble lansert i november i fjor – ikke bare hos brukere, men også hos trusselaktører som ønsker å utnytte den for nettangrep og ondsinnede kampanjer.
Bare i første halvdel av 2023 har det vært svindlere etterligner ChatGPT for å stjele brukerbedriftslegitimasjon; angripere stjele Google Chrome-informasjonskapsler gjennom ondsinnede ChatGPT-utvidelser; og phishing-trusselaktører som bruker ChatGPT som lokkemiddel for ondsinnede nettsteder.
Mens noen eksperter mener sikkerhetsrisikoen ved ChatGPT er potensielt overhypet, det eksisterer absolutt på grunn av hvor raskt folk har omfavnet generative AI-plattformer for å støtte deres profesjonelle aktivitet og lette byrdene ved daglige arbeidsbelastninger, sa forskerne.
"Med mindre du må leve under en stein, vil du være godt klar over den generative AI-mani," med millioner av mennesker som omfavner ChatGPT på jobben, skrev Lanyado i innlegget.
Utviklere er heller ikke immune mot sjarmen til ChatGPT, og vender seg bort fra nettkilder som Stack Overflow for kodeløsninger og til AI-plattformen for svar, "skaper en stor mulighet for angripere," skrev han.
Og som historien har vist, trekker enhver ny teknologi som raskt tiltrekker seg en solid brukerbase like raskt dårlige aktører som tar sikte på å utnytte den for sin egen mulighet, med ChatGPT som gir et sanntidseksempel på dette scenariet.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoAiStream. Web3 Data Intelligence. Kunnskap forsterket. Tilgang her.
- Minting the Future med Adryenn Ashley. Tilgang her.
- Kjøp og selg aksjer i PRE-IPO-selskaper med PREIPO®. Tilgang her.
- kilde: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
ChatGPT Hallusinasjoner åpner utviklere for forsyningskjede-malware-angrep
Publisert av Platon
Angripere kan utnytte ChatGPT-er forkjærlighet for å returnere falsk informasjon for å spre ondsinnede kodepakker, har forskere funnet. Dette utgjør en betydelig risiko for programvareforsyningskjeden, siden det kan tillate skadelig kode og trojanere å gli inn i legitime applikasjoner og kodelagre som npm, PyPI, GitHub og andre.
Ved å utnytte såkalte "AI-pakkehallusinasjoner," trusselaktører kan lage ChatGPT-anbefalte, men ondsinnede kodepakker som en utvikler utilsiktet kan laste ned når du bruker chatbot, bygge dem inn i programvare som deretter brukes mye, avslørte forskere fra Vulcan Cybers Voyager18-forskningsteam i et blogginnlegg publisert i dag.
Innenfor kunstig intelligens er en hallusinasjon en plausibel respons fra AI som er utilstrekkelig, partisk eller rett og slett ikke sann. De oppstår fordi ChatGPT (og andre store språkmodeller eller LLM-er som er grunnlaget for generative AI-plattformer) svarer på spørsmål som stilles til dem basert på kildene, lenkene, bloggene og statistikken som er tilgjengelig for dem i det store området av Internett, som er ikke alltid de mest solide treningsdataene.
På grunn av denne omfattende opplæringen og eksponeringen for store mengder tekstdata, kan LLM-er som ChatGPT generere "plausibel, men fiktiv informasjon, ekstrapolere utover treningen og potensielt produsere svar som virker plausible, men som ikke nødvendigvis er nøyaktige," skrev hovedforsker Bar Lanyado fra Voyager18. i blogginnlegget, som også forteller Dark Reading, "er det et fenomen som har blitt observert før og ser ut til å være et resultat av måten store språkmodeller fungerer på."
Han forklarte i innlegget at i utviklerverdenen vil AI-er også generere tvilsomme rettelser til CVE-er og tilby lenker til kodebiblioteker som ikke eksisterer - og sistnevnte gir en mulighet for utnyttelse. I det angrepsscenarioet kan angripere be ChatGPT om kodehjelp for vanlige oppgaver; og ChatGPT kan tilby en anbefaling for en upublisert eller ikke-eksisterende pakke. Angripere kan deretter publisere sin egen ondsinnede versjon av den foreslåtte pakken, sa forskerne, og vente på at ChatGPT gir legitime utviklere samme anbefaling for det.
Hvordan utnytte en AI-hallusinasjon
For å bevise konseptet sitt opprettet forskerne et scenario ved hjelp av ChatGPT 3.5 der en angriper spurte plattformen om et spørsmål for å løse et kodeproblem, og ChatGPT svarte med flere pakker, hvorav noen ikke eksisterte – dvs. de er ikke publisert i en legitimt pakkelager.
"Når angriperen finner en anbefaling for en upublisert pakke, kan de publisere sin egen ondsinnede pakke i stedet," skrev forskerne. "Neste gang en bruker stiller et lignende spørsmål, kan de motta en anbefaling fra ChatGPT om å bruke den nå eksisterende ondsinnede pakken."
Hvis ChatGPT lager kodepakker, kan angripere bruke disse hallusinasjonene til å spre ondsinnede uten å bruke kjente teknikker som typosquatting eller maskering, og lage en "ekte" pakke som en utvikler kan bruke hvis ChatGPT anbefaler det, sa forskerne. På denne måten kan den ondsinnede koden finne veien inn i en legitim applikasjon eller i et legitimt kodelager, noe som skaper en stor risiko for programvareforsyningskjeden.
"En utvikler som ber en generativ AI som ChatGPT om hjelp med koden sin, kan ende opp med å installere et ondsinnet bibliotek fordi AI-en trodde det var ekte og en angriper gjorde det virkelig," sier Lanyado. "En smart angriper kan til og med lage et fungerende bibliotek, som en slags trojaner, som kan ende opp med å bli brukt av flere personer før de innså at det var ondsinnet."
Hvordan oppdage dårlige kodebiblioteker
Det kan være vanskelig å si om en pakke er ondsinnet hvis en trusselaktør effektivt tilslører arbeidet deres, eller bruker tilleggsteknikker som å lage en trojanerpakke som faktisk er funksjonell, bemerket forskerne. Det finnes imidlertid måter å fange opp dårlig kode før den blir bakt inn i en applikasjon eller publisert til et kodelager.
For å gjøre dette, må utviklere validere bibliotekene de laster ned og sørge for at de ikke bare gjør det de sier de gjør, men at de også "ikke er en smart trojaner som er maskert som en legitim pakke," sier Lanyado.
"Det er spesielt viktig når anbefalingen kommer fra en kunstig intelligens i stedet for en kollega eller personer de stoler på i samfunnet," sier han.
Det er mange måter en utvikler kan gjøre dette på, for eksempel å sjekke opprettelsesdatoen; antall nedlastinger og kommentarer, eller mangel på kommentarer og stjerner; og ta en titt på noen av bibliotekets vedlagte notater, sa forskerne. "Hvis noe ser mistenkelig ut, tenk to ganger før du installerer det," anbefalte Lanyado i innlegget.
ChatGPT: Risikoer og belønninger
Dette angrepsscenarioet er bare det siste i rekken av sikkerhetsrisikoer som ChatGPT kan presentere. Og teknologien fanget raskt opp siden den ble lansert i november i fjor – ikke bare hos brukere, men også hos trusselaktører som ønsker å utnytte den for nettangrep og ondsinnede kampanjer.
Bare i første halvdel av 2023 har det vært svindlere etterligner ChatGPT for å stjele brukerbedriftslegitimasjon; angripere stjele Google Chrome-informasjonskapsler gjennom ondsinnede ChatGPT-utvidelser; og phishing-trusselaktører som bruker ChatGPT som lokkemiddel for ondsinnede nettsteder.
Mens noen eksperter mener sikkerhetsrisikoen ved ChatGPT er potensielt overhypet, det eksisterer absolutt på grunn av hvor raskt folk har omfavnet generative AI-plattformer for å støtte deres profesjonelle aktivitet og lette byrdene ved daglige arbeidsbelastninger, sa forskerne.
"Med mindre du må leve under en stein, vil du være godt klar over den generative AI-mani," med millioner av mennesker som omfavner ChatGPT på jobben, skrev Lanyado i innlegget.
Utviklere er heller ikke immune mot sjarmen til ChatGPT, og vender seg bort fra nettkilder som Stack Overflow for kodeløsninger og til AI-plattformen for svar, "skaper en stor mulighet for angripere," skrev han.
Og som historien har vist, trekker enhver ny teknologi som raskt tiltrekker seg en solid brukerbase like raskt dårlige aktører som tar sikte på å utnytte den for sin egen mulighet, med ChatGPT som gir et sanntidseksempel på dette scenariet.
🔴 Bitcoin blir topp 10 | Denne uken i Crypto – 4. mars 2024
Moment Factory utnytter Spheres neste generasjons teknologier for å gjenskape konsertopplevelsen
Lando Norris tar F1 Chinese Grand Prix sprintstang fra Hamilton – Autoblog
«Portugal har allerede begynt overgangen til F-35», sier den portugisiske flyvåpensjefen
Kryptovalutahandler dømt for svindel for 110 millioner dollar utnyttelse av mangomarkeder – CryptoInfoNet
Bitcoin-pioner Hal Finney vinner posthumt ny pris oppkalt etter ham
RWDG Webinar: Metadata Management's Impact on Data Governance – DATAVERSITY
Ledende Cryptocurrency Exchange Bitalplus, Inheriting Trust and Progress