Gli aggressori possono sfruttare ChatGPT propensione a restituire informazioni false per diffondere pacchetti di codice dannoso, hanno scoperto i ricercatori. Ciò rappresenta un rischio significativo per la catena di fornitura del software, in quanto può consentire a codice dannoso e trojan di scivolare in applicazioni legittime e repository di codice come npm, PyPI, GitHub e altri.
Sfruttando i cosiddetti "Allucinazioni del pacchetto AI", gli attori delle minacce possono creare pacchetti di codice consigliati da ChatGPT, ma dannosi, che uno sviluppatore potrebbe scaricare inavvertitamente quando si utilizza il chatbot, incorporandoli in un software che viene poi ampiamente utilizzato, hanno rivelato i ricercatori del team di ricerca Voyager18 di Vulcan Cyber un post sul blog Pubblicato oggi.
Nell'intelligenza artificiale, un'allucinazione è una risposta plausibile dell'intelligenza artificiale che è insufficiente, parziale o assolutamente non vera. Sorgono perché ChatGPT (e altri modelli linguistici di grandi dimensioni o LLM che sono la base per piattaforme di intelligenza artificiale generativa) rispondono alle domande poste loro sulla base di fonti, collegamenti, blog e statistiche a loro disposizione nella vasta distesa di Internet, che sono non sempre i dati di allenamento più solidi.
A causa di questa vasta formazione e dell'esposizione a grandi quantità di dati testuali, LLM come ChatGPT possono generare "informazioni plausibili ma fittizie, estrapolando oltre la loro formazione e potenzialmente producendo risposte che sembrano plausibili ma non sono necessariamente accurate", ha scritto il ricercatore capo Bar Lanyado di Voyager18 nel post sul blog, raccontando anche Dark Reading, "è un fenomeno che è stato osservato in precedenza e sembra essere il risultato del modo in cui funzionano i modelli di linguaggio di grandi dimensioni".
Ha spiegato nel post che nel mondo degli sviluppatori, anche le IA genereranno correzioni discutibili ai CVE e offriranno collegamenti a librerie di codifica che non esistono, e quest'ultima rappresenta un'opportunità di sfruttamento. In quello scenario di attacco, gli aggressori potrebbero chiedere a ChatGPT aiuto per la codifica per attività comuni; e ChatGPT potrebbe offrire una raccomandazione per un pacchetto non pubblicato o inesistente. Gli aggressori possono quindi pubblicare la propria versione dannosa del pacchetto suggerito, hanno affermato i ricercatori, e attendere che ChatGPT fornisca agli sviluppatori legittimi la stessa raccomandazione.
Come sfruttare un'allucinazione dell'IA
Per dimostrare il loro concetto, i ricercatori hanno creato uno scenario utilizzando ChatGPT 3.5 in cui un utente malintenzionato ha posto alla piattaforma una domanda per risolvere un problema di codifica e ChatGPT ha risposto con più pacchetti, alcuni dei quali non esistevano, ovvero non sono pubblicati in un repository di pacchetti legittimo.
"Quando l'attaccante trova una raccomandazione per un pacchetto non pubblicato, può pubblicare il proprio pacchetto dannoso al suo posto", hanno scritto i ricercatori. "La prossima volta che un utente pone una domanda simile, potrebbe ricevere una raccomandazione da ChatGPT per utilizzare il pacchetto dannoso ora esistente."
Se ChatGPT sta fabbricando pacchetti di codice, gli aggressori possono utilizzare queste allucinazioni per diffondere quelli dannosi senza utilizzare tecniche familiari come typosquatting o masquerading, creando un pacchetto "reale" che uno sviluppatore potrebbe utilizzare se ChatGPT lo consiglia, hanno affermato i ricercatori. In questo modo, quel codice dannoso può penetrare in un'applicazione legittima o in un repository di codice legittimo, creando un grave rischio per la catena di fornitura del software.
"Uno sviluppatore che chiede aiuto a un'IA generativa come ChatGPT con il proprio codice potrebbe finire per installare una libreria dannosa perché l'IA pensava che fosse reale e un utente malintenzionato l'ha resa reale", afferma Lanyado. "Un utente malintenzionato intelligente potrebbe persino creare una libreria funzionante, come una specie di trojan, che potrebbe finire per essere utilizzata da più persone prima che si rendano conto che è dannosa."
Come individuare librerie di codici errati
Può essere difficile stabilire se un pacchetto è dannoso se un attore di minacce offusca efficacemente il proprio lavoro o utilizza tecniche aggiuntive come creare un pacchetto trojan che sia effettivamente funzionante, hanno osservato i ricercatori. Tuttavia, ci sono modi per rilevare il codice errato prima che venga integrato in un'applicazione o pubblicato in un repository di codice.
Per fare ciò, gli sviluppatori devono convalidare le librerie che scaricano e assicurarsi che non solo facciano ciò che dicono di fare, ma anche che "non siano un trojan intelligente mascherato da pacchetto legittimo", afferma Lanyado.
"È particolarmente importante quando la raccomandazione proviene da un'intelligenza artificiale piuttosto che da un collega o da persone di cui si fidano nella comunità", afferma.
Ci sono molti modi in cui uno sviluppatore può farlo, come controllare la data di creazione; numero di download e commenti o mancanza di commenti e stelle; e dando un'occhiata a una qualsiasi delle note allegate della biblioteca, hanno detto i ricercatori. "Se qualcosa sembra sospetto, pensaci due volte prima di installarlo", ha raccomandato Lanyado nel post.
ChatGPT: Rischi e Premi
Questo scenario di attacco è solo l'ultimo di una serie di rischi per la sicurezza che ChatGPT può presentare. Inoltre, la tecnologia ha preso piede rapidamente dal suo rilascio lo scorso novembre, non solo tra gli utenti, ma anche tra gli attori delle minacce desiderosi di sfruttarla per attacchi informatici e campagne dannose.
Solo nella prima metà del 2023 ci sono stati truffatori che imitano ChatGPT per rubare le credenziali aziendali degli utenti; aggressori rubare i cookie di Google Chrome tramite estensioni ChatGPT dannose; e attori di minacce di phishing che utilizzano ChatGPT come esca per siti Web dannosi.
Mentre alcuni esperti pensano che il rischio per la sicurezza di ChatGPT è potenzialmente sovrastimato, esiste certamente a causa della rapidità con cui le persone hanno adottato piattaforme di intelligenza artificiale generativa per supportare la loro attività professionale e alleggerire i carichi di lavoro quotidiani, hanno affermato i ricercatori.
"A meno che tu non debba vivere sotto una roccia, sarai ben consapevole della mania generativa dell'IA", con milioni di persone che abbracciano ChatGPT al lavoro, ha scritto Lanyado nel post.
Anche gli sviluppatori non sono immuni al fascino di ChatGPT, allontanandosi da esso fonti online come Stack Overflow per le soluzioni di codifica e alla piattaforma AI per le risposte, "creando una grande opportunità per gli aggressori", ha scritto.
E come la storia ha dimostrato, qualsiasi nuova tecnologia che attiri rapidamente una solida base di utenti attira altrettanto rapidamente i cattivi attori che mirano a sfruttarla per la propria opportunità, con ChatGPT che fornisce un esempio in tempo reale di questo scenario.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoAiStream. Intelligenza dei dati Web3. Conoscenza amplificata. Accedi qui.
- Coniare il futuro con Adryenn Ashley. Accedi qui.
- Acquista e vendi azioni in società PRE-IPO con PREIPO®. Accedi qui.
- Fonte: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
Le allucinazioni di ChatGPT espongono gli sviluppatori agli attacchi malware della supply chain
Ripubblicato da Platone
Gli aggressori possono sfruttare ChatGPT propensione a restituire informazioni false per diffondere pacchetti di codice dannoso, hanno scoperto i ricercatori. Ciò rappresenta un rischio significativo per la catena di fornitura del software, in quanto può consentire a codice dannoso e trojan di scivolare in applicazioni legittime e repository di codice come npm, PyPI, GitHub e altri.
Sfruttando i cosiddetti "Allucinazioni del pacchetto AI", gli attori delle minacce possono creare pacchetti di codice consigliati da ChatGPT, ma dannosi, che uno sviluppatore potrebbe scaricare inavvertitamente quando si utilizza il chatbot, incorporandoli in un software che viene poi ampiamente utilizzato, hanno rivelato i ricercatori del team di ricerca Voyager18 di Vulcan Cyber un post sul blog Pubblicato oggi.
Nell'intelligenza artificiale, un'allucinazione è una risposta plausibile dell'intelligenza artificiale che è insufficiente, parziale o assolutamente non vera. Sorgono perché ChatGPT (e altri modelli linguistici di grandi dimensioni o LLM che sono la base per piattaforme di intelligenza artificiale generativa) rispondono alle domande poste loro sulla base di fonti, collegamenti, blog e statistiche a loro disposizione nella vasta distesa di Internet, che sono non sempre i dati di allenamento più solidi.
A causa di questa vasta formazione e dell'esposizione a grandi quantità di dati testuali, LLM come ChatGPT possono generare "informazioni plausibili ma fittizie, estrapolando oltre la loro formazione e potenzialmente producendo risposte che sembrano plausibili ma non sono necessariamente accurate", ha scritto il ricercatore capo Bar Lanyado di Voyager18 nel post sul blog, raccontando anche Dark Reading, "è un fenomeno che è stato osservato in precedenza e sembra essere il risultato del modo in cui funzionano i modelli di linguaggio di grandi dimensioni".
Ha spiegato nel post che nel mondo degli sviluppatori, anche le IA genereranno correzioni discutibili ai CVE e offriranno collegamenti a librerie di codifica che non esistono, e quest'ultima rappresenta un'opportunità di sfruttamento. In quello scenario di attacco, gli aggressori potrebbero chiedere a ChatGPT aiuto per la codifica per attività comuni; e ChatGPT potrebbe offrire una raccomandazione per un pacchetto non pubblicato o inesistente. Gli aggressori possono quindi pubblicare la propria versione dannosa del pacchetto suggerito, hanno affermato i ricercatori, e attendere che ChatGPT fornisca agli sviluppatori legittimi la stessa raccomandazione.
Come sfruttare un'allucinazione dell'IA
Per dimostrare il loro concetto, i ricercatori hanno creato uno scenario utilizzando ChatGPT 3.5 in cui un utente malintenzionato ha posto alla piattaforma una domanda per risolvere un problema di codifica e ChatGPT ha risposto con più pacchetti, alcuni dei quali non esistevano, ovvero non sono pubblicati in un repository di pacchetti legittimo.
"Quando l'attaccante trova una raccomandazione per un pacchetto non pubblicato, può pubblicare il proprio pacchetto dannoso al suo posto", hanno scritto i ricercatori. "La prossima volta che un utente pone una domanda simile, potrebbe ricevere una raccomandazione da ChatGPT per utilizzare il pacchetto dannoso ora esistente."
Se ChatGPT sta fabbricando pacchetti di codice, gli aggressori possono utilizzare queste allucinazioni per diffondere quelli dannosi senza utilizzare tecniche familiari come typosquatting o masquerading, creando un pacchetto "reale" che uno sviluppatore potrebbe utilizzare se ChatGPT lo consiglia, hanno affermato i ricercatori. In questo modo, quel codice dannoso può penetrare in un'applicazione legittima o in un repository di codice legittimo, creando un grave rischio per la catena di fornitura del software.
"Uno sviluppatore che chiede aiuto a un'IA generativa come ChatGPT con il proprio codice potrebbe finire per installare una libreria dannosa perché l'IA pensava che fosse reale e un utente malintenzionato l'ha resa reale", afferma Lanyado. "Un utente malintenzionato intelligente potrebbe persino creare una libreria funzionante, come una specie di trojan, che potrebbe finire per essere utilizzata da più persone prima che si rendano conto che è dannosa."
Come individuare librerie di codici errati
Può essere difficile stabilire se un pacchetto è dannoso se un attore di minacce offusca efficacemente il proprio lavoro o utilizza tecniche aggiuntive come creare un pacchetto trojan che sia effettivamente funzionante, hanno osservato i ricercatori. Tuttavia, ci sono modi per rilevare il codice errato prima che venga integrato in un'applicazione o pubblicato in un repository di codice.
Per fare ciò, gli sviluppatori devono convalidare le librerie che scaricano e assicurarsi che non solo facciano ciò che dicono di fare, ma anche che "non siano un trojan intelligente mascherato da pacchetto legittimo", afferma Lanyado.
"È particolarmente importante quando la raccomandazione proviene da un'intelligenza artificiale piuttosto che da un collega o da persone di cui si fidano nella comunità", afferma.
Ci sono molti modi in cui uno sviluppatore può farlo, come controllare la data di creazione; numero di download e commenti o mancanza di commenti e stelle; e dando un'occhiata a una qualsiasi delle note allegate della biblioteca, hanno detto i ricercatori. "Se qualcosa sembra sospetto, pensaci due volte prima di installarlo", ha raccomandato Lanyado nel post.
ChatGPT: Rischi e Premi
Questo scenario di attacco è solo l'ultimo di una serie di rischi per la sicurezza che ChatGPT può presentare. Inoltre, la tecnologia ha preso piede rapidamente dal suo rilascio lo scorso novembre, non solo tra gli utenti, ma anche tra gli attori delle minacce desiderosi di sfruttarla per attacchi informatici e campagne dannose.
Solo nella prima metà del 2023 ci sono stati truffatori che imitano ChatGPT per rubare le credenziali aziendali degli utenti; aggressori rubare i cookie di Google Chrome tramite estensioni ChatGPT dannose; e attori di minacce di phishing che utilizzano ChatGPT come esca per siti Web dannosi.
Mentre alcuni esperti pensano che il rischio per la sicurezza di ChatGPT è potenzialmente sovrastimato, esiste certamente a causa della rapidità con cui le persone hanno adottato piattaforme di intelligenza artificiale generativa per supportare la loro attività professionale e alleggerire i carichi di lavoro quotidiani, hanno affermato i ricercatori.
"A meno che tu non debba vivere sotto una roccia, sarai ben consapevole della mania generativa dell'IA", con milioni di persone che abbracciano ChatGPT al lavoro, ha scritto Lanyado nel post.
Anche gli sviluppatori non sono immuni al fascino di ChatGPT, allontanandosi da esso fonti online come Stack Overflow per le soluzioni di codifica e alla piattaforma AI per le risposte, "creando una grande opportunità per gli aggressori", ha scritto.
E come la storia ha dimostrato, qualsiasi nuova tecnologia che attiri rapidamente una solida base di utenti attira altrettanto rapidamente i cattivi attori che mirano a sfruttarla per la propria opportunità, con ChatGPT che fornisce un esempio in tempo reale di questo scenario.
Gli astronauti della NASA arrivano al Kennedy Space Center prima del test di volo dell'equipaggio del Boeing Starliner
La startup spaziale True Anomaly taglia la forza lavoro
ESL Challenger Melbourne 2024: punteggi, classifiche e altro – Snowball Esports
Meta L'enorme spesa per l'intelligenza artificiale mette in ombra i solidi guadagni del primo trimestre
La Mercedes G 580 con tecnologia EQ è prima una G Wagon, poi una EV – Autoblog
Le impavide balene crittografiche sfruttano la turbolenza dell'XRP di Ripple con acquisti multimilionari
Un trader di criptovalute rivela la strategia per identificare le altcoin destinate a crescere di 100 volte - CryptoInfoNet
Consensys fa causa alla SEC nel tentativo di "difendere Ethereum" - The Defiant
Stripe ripristina i pagamenti crittografici tramite la stablecoin USDC
La SEC prevede di negare gli ETF su Ethereum: Reuters