Las alucinaciones de ChatGPT abren a los desarrolladores a ataques de malware en la cadena de suministro

Los atacantes pueden explotar ChatGPT tendencia a devolver información falsa para difundir paquetes de códigos maliciosos, según han descubierto los investigadores. Esto representa un riesgo significativo para la cadena de suministro de software, ya que puede permitir que códigos maliciosos y troyanos se deslicen hacia aplicaciones legítimas y repositorios de códigos como npm, PyPI, GitHub y otros. 

Aprovechando los llamados "Alucinaciones del paquete de IA" los actores de amenazas pueden crear paquetes de código maliciosos recomendados por ChatGPT que un desarrollador podría descargar sin darse cuenta al usar el chatbot, construyéndolos en un software que luego se usa ampliamente, revelaron los investigadores del equipo de investigación Voyager18 de Vulcan Cyber ​​en una entrada de blog Publicado hoy. 

En inteligencia artificial, una alucinación es una respuesta plausible de la IA que es insuficiente, sesgada o completamente falsa. Surgen porque ChatGPT (y otros grandes modelos de lenguaje o LLM que son la base de las plataformas de IA generativa) responden a las preguntas que se les plantean en función de las fuentes, los enlaces, los blogs y las estadísticas disponibles en la vasta extensión de Internet, que son no siempre los datos de entrenamiento más sólidos. 

Debido a esta amplia capacitación y exposición a grandes cantidades de datos textuales, los LLM como ChatGPT pueden generar "información plausible pero ficticia, extrapolando más allá de su capacitación y potencialmente produciendo respuestas que parecen plausibles pero no necesariamente precisas", escribió el investigador principal Bar Lanyado de Voyager18. en la publicación del blog, que también le dice a Dark Reading, "es un fenómeno que se ha observado antes y parece ser el resultado de la forma en que funcionan los grandes modelos de lenguaje".

Explicó en la publicación que en el mundo de los desarrolladores, las IA también generarán correcciones cuestionables para CVE y ofrecerán enlaces a bibliotecas de codificación que no existen, y esto último presenta una oportunidad para la explotación. En ese escenario de ataque, los atacantes podrían solicitar a ChatGPT ayuda de codificación para tareas comunes; y ChatGPT podría ofrecer una recomendación para un paquete no publicado o inexistente. Luego, los atacantes pueden publicar su propia versión maliciosa del paquete sugerido, dijeron los investigadores, y esperar a que ChatGPT les brinde a los desarrolladores legítimos la misma recomendación.

Cómo explotar una alucinación de IA

Para probar su concepto, los investigadores crearon un escenario utilizando ChatGPT 3.5 en el que un atacante le hizo una pregunta a la plataforma para resolver un problema de codificación, y ChatGPT respondió con varios paquetes, algunos de los cuales no existían, es decir, no están publicados en un repositorio de paquetes legítimo.

“Cuando el atacante encuentra una recomendación para un paquete no publicado, puede publicar su propio paquete malicioso en su lugar”, escribieron los investigadores. “La próxima vez que un usuario haga una pregunta similar, puede recibir una recomendación de ChatGPT para usar el paquete malicioso que existe ahora”.

Si ChatGPT está fabricando paquetes de código, los atacantes pueden usar estas alucinaciones para propagar paquetes maliciosos sin usar técnicas familiares como la errata o el enmascaramiento, creando un paquete "real" que un desarrollador podría usar si ChatGPT lo recomienda, dijeron los investigadores. De esta manera, ese código malicioso puede llegar a una aplicación legítima o a un repositorio de código legítimo, creando un riesgo importante para la cadena de suministro de software.

“Un desarrollador que le pide ayuda a una IA generativa como ChatGPT con su código podría terminar instalando una biblioteca maliciosa porque la IA pensó que era real y un atacante la hizo real”, dice Lanyado. “Un atacante inteligente podría incluso crear una biblioteca de trabajo, como una especie de troyano, que podría terminar siendo utilizado por varias personas antes de darse cuenta de que es malicioso”.

Cómo detectar bibliotecas de códigos incorrectos

Puede ser difícil saber si un paquete es malicioso si un actor de amenazas ofusca efectivamente su trabajo o utiliza técnicas adicionales, como crear un paquete troyano que sea realmente funcional, anotaron los investigadores. Sin embargo, hay formas de detectar el código incorrecto antes de que se incluya en una aplicación o se publique en un repositorio de código.

Para hacer esto, los desarrolladores deben validar las bibliotecas que descargan y asegurarse de que no solo hacen lo que dicen que hacen, sino que también “no son un troyano inteligente que se hace pasar por un paquete legítimo”, dice Lanyado.

“Es especialmente importante cuando la recomendación proviene de una IA en lugar de un colega o personas de confianza en la comunidad”, dice.

Hay muchas formas en que un desarrollador puede hacer esto, como verificar la fecha de creación; número de descargas y comentarios, o falta de comentarios y estrellas; y echar un vistazo a cualquiera de las notas adjuntas de la biblioteca, dijeron los investigadores. “Si algo parece sospechoso, piénselo dos veces antes de instalarlo”, recomendó Lanyado en la publicación.

ChatGPT: riesgos y recompensas

Este escenario de ataque es solo el último de una serie de riesgos de seguridad que puede presentar ChatGPT. Y la tecnología se popularizó rápidamente desde su lanzamiento en noviembre pasado, no solo entre los usuarios, sino también entre los actores de amenazas deseosos de aprovecharla para ataques cibernéticos y campañas maliciosas.

Solo en la primera mitad de 2023, ha habido estafadores imitando ChatGPT para robar las credenciales comerciales de los usuarios; atacantes robar las cookies de Google Chrome a través de extensiones ChatGPT maliciosas; y actores de amenazas de phishing que usan ChatGPT como señuelo para sitios web maliciosos.

Mientras que algunos expertos piensan que el riesgo de seguridad de ChatGPT está siendo potencialmente sobrevalorado, ciertamente existe debido a la rapidez con la que las personas adoptaron las plataformas de IA generativa para respaldar su actividad profesional y aliviar las cargas de trabajo diarias, dijeron los investigadores.

“A menos que tengas que vivir bajo una roca, estarás muy al tanto de la moda de la IA generativa”, con millones de personas adoptando ChatGPT en el trabajo, escribió Lanyado en la publicación.

Los desarrolladores tampoco son inmunes a los encantos de ChatGPT, alejándose de fuentes en línea como Stack Overflow para soluciones de codificación y a la plataforma de inteligencia artificial para obtener respuestas, "creando una gran oportunidad para los atacantes", escribió.

Y como ha demostrado la historia, cualquier nueva tecnología que atrae rápidamente a una base sólida de usuarios también atrae rápidamente a los malos que buscan explotarla para su propia oportunidad, con ChatGPT brindando un ejemplo en tiempo real de este escenario.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
• Acuñando el futuro con Adryenn Ashley. Accede Aquí.
• Compra y Vende Acciones en Empresas PRE-IPO con PREIPO®. Accede Aquí.
• Fuente: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks