Lessen voor CISO's uit de LLM Top 10 van OWASP

COMMENTAAR

OWASP heeft onlangs zijn top 10-lijst voor toepassingen voor grote taalmodellen (LLM)., in een poging om de industrie voor te lichten over potentiële veiligheidsbedreigingen waar ze zich bewust van moeten zijn bij het inzetten en beheren van LLM's. Deze release is een opmerkelijke stap in de goede richting voor de beveiligingsgemeenschap, aangezien ontwikkelaars, ontwerpers, architecten en managers nu tien gebieden hebben waarop ze zich duidelijk moeten concentreren. 

Vergelijkbaar met de Raamwerk van het National Institute of Standards and Technology (NIST). en Richtlijnen voor Cybersecurity en Infrastructure Security Agency (CISA). De lijst van OWSAP, bedoeld voor de beveiligingsindustrie, creëert kansen voor een betere afstemming binnen organisaties. Met deze kennis kunnen Chief Information Security Officers (CISO's) en beveiligingsleiders ervoor zorgen dat de beste beveiligingsmaatregelen worden genomen rond het gebruik van LLM-technologieën die zich snel ontwikkelen. LLM's zijn slechts code. We moeten toepassen wat we hebben geleerd over het authenticeren en autoriseren van code om misbruik en compromissen te voorkomen. Dit is de reden waarom identiteit de ‘kill switch’ biedt voor AI, namelijk de mogelijkheid om elk model en zijn acties te authenticeren en autoriseren, en deze te stoppen wanneer misbruik, compromissen of fouten optreden.

Tegenstanders profiteren van gaten in organisaties

Als beveiligingsprofessionals hebben we dat gedaan lang over gesproken wat tegenstanders doen, zoals gegevensvergiftiging, kwetsbaarheden in de toeleveringsketen, buitensporige keuzevrijheid en diefstal, en meer. Deze OWASP-lijst voor LLM's is het bewijs dat de sector onderkent waar risico's zitten. Om onze organisaties te beschermen, moeten we snel koers corrigeren en proactief zijn. 

Genatieve kunstmatige intelligentie (GenAI) zet een nieuwe golf van softwarerisico’s in de schijnwerpers die hun oorsprong vinden in de dezelfde capaciteiten dat maakte het in de eerste plaats krachtig. Elke keer dat een gebruiker een LLM een vraag stelt, doorzoekt deze talloze weblocaties in een poging een door AI gegenereerd antwoord of resultaat te bieden. Hoewel elke nieuwe technologie nieuwe risico's met zich meebrengt, zijn LLM's vooral zorgwekkend omdat ze zo anders zijn dan de tools die we gewend zijn.

Bijna alle top 10 LLM-bedreigingen draaien rond een compromis in de authenticatie van de identiteiten die in de modellen worden gebruikt. De verschillende aanvalsmethoden lopen uiteen en beïnvloeden niet alleen de identiteit van de modelinputs, maar ook de identiteiten van de modellen zelf, evenals hun outputs en acties. Dit heeft een domino-effect en vraagt ​​om authenticatie bij het ondertekenen en creëren van codes om de kwetsbaarheid bij de bron te stoppen.

Authenticatie van trainingen en modellen om vergiftiging en misbruik te voorkomen

Nu meer machines met elkaar praten dan ooit tevoren, moet er training en authenticatie plaatsvinden over de manier waarop identiteiten zullen worden gebruikt om informatie en gegevens van de ene machine naar de andere te verzenden. Het model moet de code authenticeren, zodat het model die authenticatie naar andere machines kan spiegelen. Als er een probleem is met de initiële invoer of het model – omdat modellen kwetsbaar zijn en iets om goed in de gaten te houden – zal er een domino-effect optreden. Modellen en hun invoer moeten worden geverifieerd. Als dat niet het geval is, zullen leden van het beveiligingsteam zich afvragen of dit het juiste model is dat ze hebben getraind of dat het de plug-ins gebruikt die ze hebben goedgekeurd. Wanneer modellen API's en de authenticatie van andere modellen kunnen gebruiken, moet de autorisatie goed worden gedefinieerd en beheerd. Elk model moet worden geverifieerd met een unieke identiteit.

We zagen dit onlangs spelen met De ineenstorting van AT&T, wat een ‘softwareconfiguratiefout’ werd genoemd, waardoor duizenden mensen tijdens hun ochtendrit zonder mobiele telefoonverbinding achterbleven. Diezelfde week ondervond Google een bug die heel anders was, maar even zorgwekkend. De Gemini-afbeeldingsgenerator van Google geeft een verkeerde voorstelling van zaken historische beelden, waardoor zorgen over diversiteit en vooroordelen ontstaan ​​als gevolg van AI. In beide gevallen waren de gegevens die werden gebruikt om GenAI-modellen en LLM’s te trainen – en het gebrek aan vangrails eromheen – de oorzaak van het probleem. Om dit soort problemen in de toekomst te voorkomen, moeten AI-bedrijven meer tijd en geld besteden aan het adequaat trainen van de modellen en het beter informeren van de gegevens. 

Om een ​​kogelvrij en veilig systeem te ontwerpen, moeten CISO's en beveiligingsleiders een systeem ontwerpen waarin het model samenwerkt met andere modellen. Op deze manier laat een tegenstander die één model steelt niet het hele systeem instorten en is een ‘kill-switch’-aanpak mogelijk. U kunt een model uitschakelen en blijven werken en het intellectuele eigendom van het bedrijf beschermen. Dit positioneert beveiligingsteams veel sterker en voorkomt verdere schade. 

Handelen op basis van lessen uit de lijst 

Beveiligingsleiders raad ik aan de begeleiding van OWASP te volgen en uw CISO- of C-level-managers te vragen hoe de organisatie in het algemeen scoort op deze kwetsbaarheden. Dit raamwerk houdt ons allemaal meer verantwoordelijk voor het leveren van beveiligingsinzichten en -oplossingen op marktniveau. Het is bemoedigend dat we onze CEO en het bestuur iets kunnen laten zien om te illustreren hoe we het doen als het gaat om risicoparaatheid. 

Terwijl we risico's blijven zien ontstaan ​​met LLM's en AI-klantenservicetools, zoals we zojuist deden De chatbot van Air Canada geeft een terugbetaling aan een reizigerzullen bedrijven verantwoordelijk worden gehouden voor fouten. Het is tijd om LLM's te gaan reguleren om ervoor te zorgen dat ze nauwkeurig zijn opgeleid en klaar zijn om zakelijke deals af te handelen die van invloed kunnen zijn op het bedrijfsresultaat. 

Kortom, deze lijst dient als een geweldig raamwerk voor de toenemende kwetsbaarheden op het web en de risico's waar we op moeten letten bij het gebruik van LLM's. Hoewel meer dan de helft van de top 10 risico's in wezen beperkt zijn en een 'kill switch' voor AI vereisen, zullen bedrijven hun opties moeten evalueren bij het inzetten van nieuwe LLM's. Als de juiste tools aanwezig zijn om de input en modellen te authenticeren, evenals de acties van de modellen, zullen bedrijven beter toegerust zijn om het AI-kill-switch-idee te benutten en verdere vernietiging te voorkomen. Hoewel dit misschien intimiderend lijkt, zijn er manieren om uw organisatie te beschermen te midden van de infiltratie van AI en LLM's in uw netwerk.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10