Les attaquants peuvent exploiter ChatGPT penchant pour renvoyer de fausses informations pour diffuser des packages de code malveillant, ont découvert des chercheurs. Cela pose un risque important pour la chaîne d'approvisionnement des logiciels, car cela peut permettre à du code malveillant et à des chevaux de Troie de se glisser dans des applications et des référentiels de code légitimes comme npm, PyPI, GitHub et autres.
En s'appuyant sur ce que l'on appelle « Hallucinations du paquet AI », les pirates peuvent créer des packages de code recommandés par ChatGPT, mais malveillants, qu'un développeur pourrait télécharger par inadvertance lors de l'utilisation du chatbot, en les intégrant dans des logiciels qui sont ensuite largement utilisés, ont révélé des chercheurs de l'équipe de recherche Voyager18 de Vulcan Cyber dans un blog Publié aujourd'hui.
En intelligence artificielle, une hallucination est une réponse plausible de l'IA qui est insuffisante, biaisée ou carrément fausse. Ils surviennent parce que ChatGPT (et d'autres grands modèles de langage ou LLM qui sont à la base des plates-formes d'IA génératives) répondent aux questions qui leur sont posées en fonction des sources, des liens, des blogs et des statistiques à leur disposition dans la vaste étendue d'Internet, qui sont pas toujours les données d'entraînement les plus solides.
En raison de cette formation approfondie et de l'exposition à de grandes quantités de données textuelles, les LLM comme ChatGPT peuvent générer "des informations plausibles mais fictives, extrapolant au-delà de leur formation et produisant potentiellement des réponses qui semblent plausibles mais ne sont pas nécessairement exactes", a écrit le chercheur principal Bar Lanyado de Voyager18. dans le billet de blog, racontant également Dark Reading, "c'est un phénomène qui a déjà été observé et qui semble être le résultat du fonctionnement des grands modèles de langage".
Il a expliqué dans le post que dans le monde des développeurs, les IA généreront également des correctifs douteux pour les CVE et offriront des liens vers des bibliothèques de codage qui n'existent pas - et cette dernière présente une opportunité d'exploitation. Dans ce scénario d'attaque, les attaquants peuvent demander à ChatGPT de l'aide pour le codage des tâches courantes ; et ChatGPT peut proposer une recommandation pour un package non publié ou inexistant. Les attaquants peuvent ensuite publier leur propre version malveillante du package suggéré, ont déclaré les chercheurs, et attendre que ChatGPT donne aux développeurs légitimes la même recommandation.
Comment exploiter une hallucination de l'IA
Pour prouver leur concept, les chercheurs ont créé un scénario utilisant ChatGPT 3.5 dans lequel un attaquant a posé une question à la plate-forme pour résoudre un problème de codage, et ChatGPT a répondu avec plusieurs packages, dont certains n'existaient pas, c'est-à-dire, ne sont pas publiés dans un référentiel de packages légitimes.
"Lorsque l'attaquant trouve une recommandation pour un package non publié, il peut publier son propre package malveillant à sa place", ont écrit les chercheurs. "La prochaine fois qu'un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT pour utiliser le package malveillant maintenant existant."
Si ChatGPT fabrique des packages de code, les attaquants peuvent utiliser ces hallucinations pour en propager des malveillants sans utiliser de techniques familières telles que le typosquattage ou le masquage, créant ainsi un "vrai" package qu'un développeur pourrait utiliser si ChatGPT le recommande, ont déclaré les chercheurs. De cette manière, ce code malveillant peut se retrouver dans une application légitime ou dans un référentiel de code légitime, créant un risque majeur pour la chaîne d'approvisionnement logicielle.
"Un développeur qui demande de l'aide à une IA générative comme ChatGPT pour son code pourrait finir par installer une bibliothèque malveillante parce que l'IA pensait qu'elle était réelle et qu'un attaquant l'a rendue réelle", explique Lanyado. "Un attaquant intelligent pourrait même créer une bibliothèque de travail, comme une sorte de cheval de Troie, qui pourrait finir par être utilisée par plusieurs personnes avant qu'elles ne réalisent qu'elle était malveillante."
Comment repérer les bibliothèques de codes erronés
Il peut être difficile de dire si un paquet est malveillant si un acteur malveillant obscurcit efficacement son travail ou utilise des techniques supplémentaires telles que la création d'un paquet de chevaux de Troie qui est réellement fonctionnel, ont noté les chercheurs. Cependant, il existe des moyens d'attraper le mauvais code avant qu'il ne soit intégré dans une application ou publié dans un référentiel de code.
Pour ce faire, les développeurs doivent valider les bibliothèques qu'ils téléchargent et s'assurer non seulement qu'ils font ce qu'ils disent qu'ils font, mais aussi "qu'ils ne sont pas un cheval de Troie intelligent se faisant passer pour un package légitime", déclare Lanyado.
"C'est particulièrement important lorsque la recommandation vient d'une IA plutôt que d'un collègue ou de personnes de confiance dans la communauté", dit-il.
Un développeur peut le faire de plusieurs façons, comme vérifier la date de création ; nombre de téléchargements et de commentaires, ou manque de commentaires et d'étoiles ; et jeter un œil à l'une des notes jointes de la bibliothèque, ont déclaré les chercheurs. "Si quelque chose semble suspect, réfléchissez-y à deux fois avant de l'installer", a recommandé Lanyado dans le post.
ChatGPT : risques et avantages
Ce scénario d'attaque n'est que le dernier d'une série de risques de sécurité que ChatGPT peut présenter. Et, la technologie s'est rapidement propagée depuis sa sortie en novembre dernier, non seulement auprès des utilisateurs, mais également auprès des acteurs de la menace désireux de l'exploiter pour les cyberattaques et les campagnes malveillantes.
Au cours du seul premier semestre de 2023, il y a eu escrocs imitant ChatGPT pour voler les informations d'identification professionnelles des utilisateurs ; attaquants voler les cookies de Google Chrome via des extensions ChatGPT malveillantes ; et les acteurs de la menace de phishing utilisant ChatGPT comme leurre pour les sites Web malveillants.
Alors que certains experts pensent que le risque de sécurité de ChatGPT est potentiellement surestimé, il existe certainement en raison de la rapidité avec laquelle les gens ont adopté les plates-formes d'IA génératives pour soutenir leur activité professionnelle et alléger le fardeau des charges de travail quotidiennes, ont déclaré les chercheurs.
"À moins que vous ne deviez vivre sous un rocher, vous serez bien conscient de l'engouement pour l'IA générative", avec des millions de personnes adoptant ChatGPT au travail, a écrit Lanyado dans le post.
Les développeurs, eux aussi, ne sont pas à l'abri des charmes de ChatGPT, se détournant de sources en ligne telles que Stack Overflow pour les solutions de codage et à la plate-forme d'IA pour les réponses, "créant une opportunité majeure pour les attaquants", a-t-il écrit.
Et comme l'histoire l'a démontré, toute nouvelle technologie qui attire rapidement une base d'utilisateurs solide attire aussi rapidement de mauvais acteurs visant à l'exploiter pour leur propre opportunité, ChatGPT fournissant un exemple en temps réel de ce scénario.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
- Frapper l'avenir avec Adryenn Ashley. Accéder ici.
- Achetez et vendez des actions de sociétés PRE-IPO avec PREIPO®. Accéder ici.
- La source: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
Les hallucinations de ChatGPT ouvrent les développeurs aux attaques de logiciels malveillants de la chaîne d'approvisionnement
Republié par Platon
Les attaquants peuvent exploiter ChatGPT penchant pour renvoyer de fausses informations pour diffuser des packages de code malveillant, ont découvert des chercheurs. Cela pose un risque important pour la chaîne d'approvisionnement des logiciels, car cela peut permettre à du code malveillant et à des chevaux de Troie de se glisser dans des applications et des référentiels de code légitimes comme npm, PyPI, GitHub et autres.
En s'appuyant sur ce que l'on appelle « Hallucinations du paquet AI », les pirates peuvent créer des packages de code recommandés par ChatGPT, mais malveillants, qu'un développeur pourrait télécharger par inadvertance lors de l'utilisation du chatbot, en les intégrant dans des logiciels qui sont ensuite largement utilisés, ont révélé des chercheurs de l'équipe de recherche Voyager18 de Vulcan Cyber dans un blog Publié aujourd'hui.
En intelligence artificielle, une hallucination est une réponse plausible de l'IA qui est insuffisante, biaisée ou carrément fausse. Ils surviennent parce que ChatGPT (et d'autres grands modèles de langage ou LLM qui sont à la base des plates-formes d'IA génératives) répondent aux questions qui leur sont posées en fonction des sources, des liens, des blogs et des statistiques à leur disposition dans la vaste étendue d'Internet, qui sont pas toujours les données d'entraînement les plus solides.
En raison de cette formation approfondie et de l'exposition à de grandes quantités de données textuelles, les LLM comme ChatGPT peuvent générer "des informations plausibles mais fictives, extrapolant au-delà de leur formation et produisant potentiellement des réponses qui semblent plausibles mais ne sont pas nécessairement exactes", a écrit le chercheur principal Bar Lanyado de Voyager18. dans le billet de blog, racontant également Dark Reading, "c'est un phénomène qui a déjà été observé et qui semble être le résultat du fonctionnement des grands modèles de langage".
Il a expliqué dans le post que dans le monde des développeurs, les IA généreront également des correctifs douteux pour les CVE et offriront des liens vers des bibliothèques de codage qui n'existent pas - et cette dernière présente une opportunité d'exploitation. Dans ce scénario d'attaque, les attaquants peuvent demander à ChatGPT de l'aide pour le codage des tâches courantes ; et ChatGPT peut proposer une recommandation pour un package non publié ou inexistant. Les attaquants peuvent ensuite publier leur propre version malveillante du package suggéré, ont déclaré les chercheurs, et attendre que ChatGPT donne aux développeurs légitimes la même recommandation.
Comment exploiter une hallucination de l'IA
Pour prouver leur concept, les chercheurs ont créé un scénario utilisant ChatGPT 3.5 dans lequel un attaquant a posé une question à la plate-forme pour résoudre un problème de codage, et ChatGPT a répondu avec plusieurs packages, dont certains n'existaient pas, c'est-à-dire, ne sont pas publiés dans un référentiel de packages légitimes.
"Lorsque l'attaquant trouve une recommandation pour un package non publié, il peut publier son propre package malveillant à sa place", ont écrit les chercheurs. "La prochaine fois qu'un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT pour utiliser le package malveillant maintenant existant."
Si ChatGPT fabrique des packages de code, les attaquants peuvent utiliser ces hallucinations pour en propager des malveillants sans utiliser de techniques familières telles que le typosquattage ou le masquage, créant ainsi un "vrai" package qu'un développeur pourrait utiliser si ChatGPT le recommande, ont déclaré les chercheurs. De cette manière, ce code malveillant peut se retrouver dans une application légitime ou dans un référentiel de code légitime, créant un risque majeur pour la chaîne d'approvisionnement logicielle.
"Un développeur qui demande de l'aide à une IA générative comme ChatGPT pour son code pourrait finir par installer une bibliothèque malveillante parce que l'IA pensait qu'elle était réelle et qu'un attaquant l'a rendue réelle", explique Lanyado. "Un attaquant intelligent pourrait même créer une bibliothèque de travail, comme une sorte de cheval de Troie, qui pourrait finir par être utilisée par plusieurs personnes avant qu'elles ne réalisent qu'elle était malveillante."
Comment repérer les bibliothèques de codes erronés
Il peut être difficile de dire si un paquet est malveillant si un acteur malveillant obscurcit efficacement son travail ou utilise des techniques supplémentaires telles que la création d'un paquet de chevaux de Troie qui est réellement fonctionnel, ont noté les chercheurs. Cependant, il existe des moyens d'attraper le mauvais code avant qu'il ne soit intégré dans une application ou publié dans un référentiel de code.
Pour ce faire, les développeurs doivent valider les bibliothèques qu'ils téléchargent et s'assurer non seulement qu'ils font ce qu'ils disent qu'ils font, mais aussi "qu'ils ne sont pas un cheval de Troie intelligent se faisant passer pour un package légitime", déclare Lanyado.
"C'est particulièrement important lorsque la recommandation vient d'une IA plutôt que d'un collègue ou de personnes de confiance dans la communauté", dit-il.
Un développeur peut le faire de plusieurs façons, comme vérifier la date de création ; nombre de téléchargements et de commentaires, ou manque de commentaires et d'étoiles ; et jeter un œil à l'une des notes jointes de la bibliothèque, ont déclaré les chercheurs. "Si quelque chose semble suspect, réfléchissez-y à deux fois avant de l'installer", a recommandé Lanyado dans le post.
ChatGPT : risques et avantages
Ce scénario d'attaque n'est que le dernier d'une série de risques de sécurité que ChatGPT peut présenter. Et, la technologie s'est rapidement propagée depuis sa sortie en novembre dernier, non seulement auprès des utilisateurs, mais également auprès des acteurs de la menace désireux de l'exploiter pour les cyberattaques et les campagnes malveillantes.
Au cours du seul premier semestre de 2023, il y a eu escrocs imitant ChatGPT pour voler les informations d'identification professionnelles des utilisateurs ; attaquants voler les cookies de Google Chrome via des extensions ChatGPT malveillantes ; et les acteurs de la menace de phishing utilisant ChatGPT comme leurre pour les sites Web malveillants.
Alors que certains experts pensent que le risque de sécurité de ChatGPT est potentiellement surestimé, il existe certainement en raison de la rapidité avec laquelle les gens ont adopté les plates-formes d'IA génératives pour soutenir leur activité professionnelle et alléger le fardeau des charges de travail quotidiennes, ont déclaré les chercheurs.
"À moins que vous ne deviez vivre sous un rocher, vous serez bien conscient de l'engouement pour l'IA générative", avec des millions de personnes adoptant ChatGPT au travail, a écrit Lanyado dans le post.
Les développeurs, eux aussi, ne sont pas à l'abri des charmes de ChatGPT, se détournant de sources en ligne telles que Stack Overflow pour les solutions de codage et à la plate-forme d'IA pour les réponses, "créant une opportunité majeure pour les attaquants", a-t-il écrit.
Et comme l'histoire l'a démontré, toute nouvelle technologie qui attire rapidement une base d'utilisateurs solide attire aussi rapidement de mauvais acteurs visant à l'exploiter pour leur propre opportunité, ChatGPT fournissant un exemple en temps réel de ce scénario.
Les crypto-baleines intrépides capitalisent sur les turbulences XRP de Ripple avec des achats de plusieurs millions de dollars
Crypto Trader révèle une stratégie d'identification des Altcoins prête à être multipliée par 100 – CryptoInfoNet
Consensys poursuit la SEC dans le but de « défendre Ethereum » – The Defiant
Stripe ramène les paiements cryptographiques via USDC Stablecoin
La SEC devrait refuser les ETF Ethereum: Reuters
Top Solana DEX Jupiter envisage le trading mobile avec l'acquisition de l'application DeFi Wallet – The Daily Hodl
1,503 13 fois le bénéfice : Memecoin Trader a gagné XNUMX millions de dollars avec PEPE
Le groupe de 160 partisans de l'ancien PDG de Binance, Zhao, implorant la clémence du tribunal, éclipse les défenseurs du SBF - Unchained
Principaux gagnants de crypto aujourd'hui 25 avril – EOS, Alchemy Pay, XDC Network, jeton Rollbit
Les pièces Meme causent des « dommages » à la cryptographie, déclare Andreessen Horowitz Exec – Décrypter