COMENTARIO
OWASP lanzó recientemente su Lista de los 10 principales para aplicaciones de modelos de lenguaje grandes (LLM), en un esfuerzo por educar a la industria sobre posibles amenazas a la seguridad que se deben tener en cuenta al implementar y administrar LLM. Este lanzamiento es un paso notable en la dirección correcta para la comunidad de seguridad, ya que los desarrolladores, diseñadores, arquitectos y administradores ahora tienen 10 áreas en las que centrarse claramente.
Similar a la Marco del Instituto Nacional de Estándares y Tecnología (NIST) y Directrices de la Agencia de Seguridad de Infraestructura y Ciberseguridad (CISA) proporcionada para la industria de la seguridad, la lista de OWSAP crea una oportunidad para una mejor alineación dentro de las organizaciones. Con este conocimiento, los directores de seguridad de la información (CISO) y los líderes de seguridad pueden garantizar que se implementen las mejores precauciones de seguridad en torno al uso de tecnologías LLM que están evolucionando rápidamente. Los LLM son solo código. Necesitamos aplicar lo que hemos aprendido sobre la autenticación y autorización de código para evitar el uso indebido y el compromiso. Es por eso que la identidad proporciona el interruptor de apagado para la IA, que es la capacidad de autenticar y autorizar cada modelo y sus acciones, y detenerlo cuando se produce un uso indebido, un compromiso o errores.
Los adversarios están aprovechando las brechas en las organizaciones
Como profesionales de la seguridad, hemos hablado durante mucho tiempo lo que están haciendo los adversarios, como el envenenamiento de datos, las vulnerabilidades de la cadena de suministro, el exceso de agencia y el robo, y más. Esta lista de OWASP para LLM es una prueba de que la industria está reconociendo dónde están los riesgos. Para proteger nuestras organizaciones, debemos corregir el rumbo rápidamente y ser proactivos.
La inteligencia artificial generativa (GenAI) está poniendo de relieve una nueva ola de riesgos de software que tienen su origen en la mismas capacidades eso lo hizo poderoso en primer lugar. Cada vez que un usuario hace una pregunta a un LLM, este rastrea innumerables ubicaciones web en un intento de proporcionar una respuesta o resultado generado por IA. Si bien cada nueva tecnología conlleva nuevos riesgos, los LLM son especialmente preocupantes porque son muy diferentes de las herramientas a las que estamos acostumbrados.
Casi todas las 10 amenazas principales de LLM se centran en comprometer la autenticación de las identidades utilizadas en los modelos. Los diferentes métodos de ataque abarcan toda una gama, afectando no sólo las identidades de las entradas del modelo sino también las identidades de los propios modelos, así como sus salidas y acciones. Esto tiene un efecto en cadena y requiere autenticación en los procesos de creación y firma de código para detener la vulnerabilidad en la fuente.
Autenticar capacitación y modelos para prevenir el envenenamiento y el uso indebido
Con más máquinas hablando entre sí que nunca, debe haber capacitación y autenticación sobre la forma en que se utilizarán las identidades para enviar información y datos de una máquina a otra. El modelo necesita autenticar el código para que pueda reflejar esa autenticación en otras máquinas. Si hay un problema con la entrada o el modelo inicial (porque los modelos son vulnerables y hay que vigilarlos de cerca), habrá un efecto dominó. Los modelos y sus entradas deben estar autenticados. Si no es así, los miembros del equipo de seguridad se preguntarán si este es el modelo correcto que entrenaron o si está utilizando los complementos que aprobaron. Cuando los modelos pueden usar API y la autenticación de otros modelos, la autorización debe estar bien definida y administrada. Cada modelo debe estar autenticado con una identidad única.
Vimos esto desarrollarse recientemente con El colapso de AT&T, que fue denominado "error de configuración de software", dejando a miles de personas sin servicio de telefonía celular durante su viaje matutino. La misma semana, Google experimentó un error muy diferente pero igualmente preocupante. El generador de imágenes Gemini de Google tergiversado imágenes históricas, lo que genera preocupaciones sobre la diversidad y el sesgo debido a la IA. En ambos casos, los datos utilizados para entrenar modelos GenAI y LLM, así como la falta de barreras de seguridad a su alrededor, fueron la raíz del problema. Para evitar problemas como este en el futuro, las empresas de IA deben invertir más tiempo y dinero para entrenar adecuadamente los modelos e informar mejor los datos.
Para diseñar un sistema seguro y a prueba de balas, los CISO y los líderes de seguridad deben diseñar un sistema en el que el modelo funcione con otros modelos. De esta manera, un adversario que roba un modelo no colapsa todo el sistema y permite un enfoque de interrupción. Puede cerrar un modelo y seguir trabajando y protegiendo la propiedad intelectual de la empresa. Esto posiciona a los equipos de seguridad de una manera mucho más fuerte y evita daños mayores.
Actuar sobre las lecciones de la lista
Para los líderes de seguridad, recomiendo seguir la guía de OWASP y preguntar a su CISO o ejecutivos de nivel C cómo califica la organización en estas vulnerabilidades en general. Este marco nos hace a todos más responsables de ofrecer conocimientos y soluciones de seguridad a nivel de mercado. Es alentador que tengamos algo que mostrarle a nuestro director ejecutivo y a la junta directiva para ilustrar cómo lo estamos haciendo en lo que respecta a la preparación contra riesgos.
A medida que seguimos viendo que surgen riesgos con los LLM y las herramientas de servicio al cliente de IA, como acabamos de hacer con El chatbot de Air Canada reembolsa a un viajero, las empresas serán responsables de los errores. Es hora de comenzar a regular los LLM para garantizar que estén capacitados con precisión y listos para manejar acuerdos comerciales que podrían afectar los resultados.
En conclusión, esta lista sirve como un excelente marco para las crecientes vulnerabilidades web y los riesgos a los que debemos prestar atención cuando utilizamos LLM. Si bien más de la mitad de los 10 riesgos principales son esencialmente mitigados y exigen el interruptor de apagado de la IA, las empresas deberán evaluar sus opciones al implementar nuevos LLM. Si existen las herramientas adecuadas para autenticar las entradas y los modelos, así como las acciones de los modelos, las empresas estarán mejor equipadas para aprovechar la idea del interruptor de apagado de la IA y evitar una mayor destrucción. Si bien esto puede parecer desalentador, existen formas de proteger su organización en medio de la infiltración de IA y LLM en su red.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10