Cybersäkerhet

ChatGPT Hallucinations öppnar utvecklare för attacker med skadlig programvara i Supply Chain

Tidsstämpel: 6 juni 2023 8: 00 AM
Källnod: 2543224

Återutgiven av Platon

Angripare kan utnyttja ChatGPT:s förkärlek för att returnera falsk information för att sprida skadliga kodpaket, har forskare funnit. Detta utgör en betydande risk för mjukvaruförsörjningskedjan, eftersom det kan tillåta skadlig kod och trojaner att glida in i legitima applikationer och kodlager som npm, PyPI, GitHub och andra.

Genom att utnyttja sk "AI-paket hallucinationer," hotaktörer kan skapa ChatGPT-rekommenderade, men skadliga kodpaket som en utvecklare oavsiktligt kan ladda ner när du använder chatbot, bygga in dem till mjukvara som sedan används flitigt, avslöjade forskare från Vulcan Cybers forskargrupp Voyager18 i ett blogginlägg publicerad idag.

Inom artificiell intelligens är en hallucination ett rimligt svar från AI:n som är otillräckligt, partiskt eller helt och hållet inte sant. De uppstår eftersom ChatGPT (och andra stora språkmodeller eller LLMs som är grunden för generativa AI-plattformar) svarar på frågor som ställs till dem baserat på de källor, länkar, bloggar och statistik som är tillgängliga för dem i den stora vidden av Internet, som är inte alltid de mest solida träningsdata.

På grund av denna omfattande utbildning och exponering för stora mängder textdata, kan LLM:er som ChatGPT generera "plausibel men fiktiv information, extrapolera utöver sin utbildning och potentiellt producera svar som verkar rimliga men inte nödvändigtvis är korrekta", skrev forskaren Bar Lanyado från Voyager18. i blogginlägget, som också berättade för Dark Reading, "är det ett fenomen som har observerats tidigare och som verkar vara ett resultat av hur stora språkmodeller fungerar."

Han förklarade i inlägget att i utvecklarvärlden kommer AI:er också att generera tvivelaktiga korrigeringar till CVE: er och erbjuda länkar till kodningsbibliotek som inte existerar - och det senare ger en möjlighet till exploatering. I det attackscenariot kan angripare be ChatGPT om kodningshjälp för vanliga uppgifter; och ChatGPT kan erbjuda en rekommendation för ett opublicerat eller icke-existerande paket. Angripare kan sedan publicera sin egen skadliga version av det föreslagna paketet, sa forskarna, och vänta på att ChatGPT ger legitima utvecklare samma rekommendation för det.

Hur man utnyttjar en AI-hallucination

För att bevisa sitt koncept skapade forskarna ett scenario med ChatGPT 3.5 där en angripare bad plattformen om en fråga för att lösa ett kodningsproblem, och ChatGPT svarade med flera paket, av vilka några inte existerade – dvs inte publiceras i en legitimt paketförråd.

"När angriparen hittar en rekommendation för ett opublicerat paket kan de publicera sitt eget skadliga paket i dess ställe", skrev forskarna. "Nästa gång en användare ställer en liknande fråga kan de få en rekommendation från ChatGPT att använda det nu existerande skadliga paketet."

Om ChatGPT tillverkar kodpaket kan angripare använda dessa hallucinationer för att sprida skadliga sådana utan att använda välbekanta tekniker som typosquatting eller maskerad, skapa ett "riktigt" paket som en utvecklare kan använda om ChatGPT rekommenderar det, sa forskarna. På så sätt kan den skadliga koden hitta sin väg in i en legitim applikation eller i ett legitimt kodlager, vilket skapar en stor risk för programvarans leveranskedja.

"En utvecklare som ber en generativ AI som ChatGPT om hjälp med sin kod kan sluta installera ett skadligt bibliotek eftersom AI:n trodde att det var på riktigt och en angripare gjorde det på riktigt," säger Lanyado. "En smart angripare kan till och med skapa ett fungerande bibliotek, som en slags trojan, som kan sluta användas av flera personer innan de insåg att det var skadligt."

Hur man upptäcker dåliga kodbibliotek

Det kan vara svårt att avgöra om ett paket är skadligt om en hotaktör effektivt fördunklar deras arbete, eller använder ytterligare tekniker som att göra ett trojanskt paket som faktiskt är funktionellt, noterade forskarna. Det finns dock sätt att fånga dålig kod innan den bakas in i en applikation eller publiceras i ett kodlager.

För att göra detta måste utvecklare validera biblioteken de laddar ner och se till att de inte bara gör vad de säger att de gör, utan också "inte är en smart trojan som maskerar sig som ett legitimt paket", säger Lanyado.

"Det är särskilt viktigt när rekommendationen kommer från en AI snarare än en kollega eller personer som de litar på i samhället", säger han.

Det finns många sätt som en utvecklare kan göra detta på, som att kontrollera skapelsedatumet; antal nedladdningar och kommentarer, eller brist på kommentarer och stjärnor; och ta en titt på någon av bibliotekets bifogade anteckningar, sa forskarna. "Om något ser misstänkt ut, tänk två gånger innan du installerar det," rekommenderade Lanyado i inlägget.

ChatGPT: Risker och belöningar

Detta attackscenario är bara det senaste i raden av säkerhetsrisker som ChatGPT kan presentera. Och tekniken har slagit fast snabbt sedan den släpptes i november förra året – inte bara hos användare utan även hos hotaktörer som vill utnyttja den för cyberattacker och skadliga kampanjer.

Bara under första halvåret 2023 har det funnits bedragare som härmar ChatGPT för att stjäla användaruppgifter; angripare stjäla Google Chrome-cookies genom skadliga ChatGPT-tillägg; och nätfiskehotaktörer som använder ChatGPT som ett lockbete för skadliga webbplatser.

Medan vissa experter tror att säkerhetsrisken med ChatGPT är potentiellt överhypad, det existerar verkligen på grund av hur snabbt människor har anammat generativa AI-plattformar för att stödja deras professionella aktivitet och lätta på bördorna med den dagliga arbetsbelastningen, sa forskarna.

"Om du inte måste leva under en sten, kommer du att vara väl medveten om den generativa AI-ville," med miljontals människor som omfamnar ChatGPT på jobbet, skrev Lanyado i inlägget.

Utvecklare är inte heller immuna mot charmen med ChatGPT och vänder sig bort från onlinekällor som Stack Overflow för kodningslösningar och till AI-plattformen för svar, "skapar en stor möjlighet för angripare", skrev han.

Och som historien har visat, lockar all ny teknik som snabbt attraherar en solid användarbas lika snabbt dåliga aktörer som siktar på att utnyttja den för sin egen möjlighet, med ChatGPT som ett realtidsexempel på detta scenario.