COMENTARIU
OWASP și-a lansat recent lista de top 10 pentru aplicații de model de limbă mare (LLM)., într-un efort de a educa industria cu privire la potențialele amenințări de securitate de care trebuie să fie conștient atunci când implementați și gestionați LLM-uri. Această versiune este un pas notabil în direcția corectă pentru comunitatea de securitate, deoarece dezvoltatorii, designerii, arhitecții și managerii au acum 10 domenii pe care să se concentreze în mod clar.
În mod similar cu Cadrul Institutului Național de Standarde și Tehnologie (NIST). și Ghidurile Agenției pentru Securitate Cibernetică și Securitate a Infrastructurii (CISA). furnizată pentru industria de securitate, lista OWSAP creează o oportunitate pentru o mai bună aliniere în cadrul organizațiilor. Cu aceste cunoștințe, ofițerii șefi de securitate a informațiilor (CISO) și liderii de securitate se pot asigura că există cele mai bune măsuri de siguranță în ceea ce privește utilizarea tehnologiilor LLM care evoluează rapid. LLM-urile sunt doar cod. Trebuie să aplicăm ceea ce am învățat despre autentificarea și autorizarea codului pentru a preveni utilizarea greșită și compromisul. Acesta este motivul pentru care identitatea oferă comutatorul de oprire pentru AI, care este capacitatea de a autentifica și autoriza fiecare model și acțiunile acestuia și de a-l opri atunci când apar o utilizare greșită, compromis sau erori.
Adversarii valorifică golurile din organizații
În calitate de practicieni în securitate, am făcut-o s-a vorbit mult timp ceea ce fac adversarii, cum ar fi otrăvirea datelor, vulnerabilitățile lanțului de aprovizionare, agenția excesivă și furtul și multe altele. Această listă OWASP pentru LLM este dovada că industria recunoaște unde sunt riscurile. Pentru a ne proteja organizațiile, trebuie să corectăm rapid cursul și să fim proactivi.
Inteligența artificială generativă (GenAI) pune în lumină un nou val de riscuri software care sunt înrădăcinate în aceleași capacități care a făcut-o puternică în primul rând. De fiecare dată când un utilizator pune o întrebare unui LLM, acesta accesează cu crawlere nenumărate locații Web în încercarea de a oferi un răspuns sau o ieșire generată de AI. În timp ce fiecare tehnologie nouă vine cu noi riscuri, LLM-urile sunt deosebit de îngrijorătoare, deoarece sunt atât de diferite de instrumentele cu care ne-am obișnuit.
Aproape toate primele 10 amenințări LLM se concentrează în jurul unui compromis de autentificare pentru identitățile utilizate în modele. Diferitele metode de atac parcurg gama, afectând nu numai identitățile intrărilor modelului, ci și identitățile modelelor în sine, precum și ieșirile și acțiunile acestora. Acest lucru are un efect secundar și necesită autentificare în procesul de semnare și creare a codului pentru a opri vulnerabilitatea la sursă.
Formarea și modelele de autentificare pentru a preveni otrăvirea și utilizarea greșită
Cu mai multe mașini care vorbesc între ele decât oricând, trebuie să existe instruire și autentificare a modului în care identitățile vor fi folosite pentru a trimite informații și date de la o mașină la alta. Modelul trebuie să autentifice codul, astfel încât modelul să poată oglindi acea autentificare pe alte mașini. Dacă există o problemă cu intrarea sau modelul inițial - deoarece modelele sunt vulnerabile și ceva pe care trebuie să-l urmăriți cu atenție - va exista un efect de domino. Modelele și intrările lor trebuie să fie autentificate. Dacă nu sunt, membrii echipei de securitate se vor întreba dacă acesta este modelul potrivit pe care l-au antrenat sau dacă folosește pluginurile pe care le-au aprobat. Când modelele pot folosi API-uri și autentificarea altor modele, autorizarea trebuie să fie bine definită și gestionată. Fiecare model trebuie să fie autentificat cu o identitate unică.
Am văzut acest joc recent cu Defecțiunea AT&T, care a fost numită „eroare de configurare a software-ului”, lăsând mii de oameni fără servicii de telefonie mobilă în timpul navetei lor de dimineață. În aceeași săptămână, Google a experimentat o eroare foarte diferită, dar la fel de îngrijorătoare. Generatorul de imagini Gemini de la Google a fost denaturat imagini istorice, provocând îngrijorări de diversitate și părtinire din cauza AI. În ambele cazuri, datele folosite pentru antrenarea modelelor GenAI și a LLM-urilor - precum și lipsa de balustrade în jurul lor - au fost rădăcina problemei. Pentru a preveni astfel de probleme în viitor, firmele de inteligență artificială trebuie să cheltuiască mai mult timp și bani pentru a instrui în mod adecvat modelele și a informa mai bine datele.
Pentru a proiecta un sistem antiglonț și sigur, CISO și liderii de securitate ar trebui să proiecteze un sistem în care modelul funcționează cu alte modele. În acest fel, un adversar care fură un model nu prăbușește întregul sistem și permite o abordare kill-switch. Puteți opri un model și puteți continua să lucrați și să protejați proprietatea intelectuală a companiei. Acest lucru poziționează echipele de securitate într-un mod mult mai puternic și previne orice alte daune.
Acționând pe baza lecțiilor din listă
Pentru liderii de securitate, recomand să luați îndrumarea OWASP și să întrebați directorii dvs. CISO sau C-level care este scorul organizației pentru aceste vulnerabilități în general. Acest cadru ne face pe toți mai responsabili pentru furnizarea de informații și soluții de securitate la nivel de piață. Este încurajator faptul că avem ceva de arătat CEO-ului și consiliului nostru de administrație pentru a ilustra cum ne descurcăm când vine vorba de pregătirea pentru riscuri.
Pe măsură ce continuăm să vedem că apar riscuri cu LLM-urile și instrumentele de servicii pentru clienți AI, așa cum tocmai am făcut-o Chatbot-ul Air Canada oferă o rambursare unui călător, companiile vor fi trase la răspundere pentru greșeli. Este timpul să începeți să reglementați LLM-urile pentru a vă asigura că sunt instruiți cu precizie și gata să gestioneze tranzacțiile de afaceri care ar putea afecta rezultatul final.
În concluzie, această listă servește ca un cadru excelent pentru vulnerabilitățile în creștere ale Web-ului și riscurile cărora trebuie să fim atenți atunci când folosim LLM-uri. În timp ce mai mult de jumătate din primele 10 riscuri sunt cele care sunt în esență atenuate și necesită comutatorul de ucidere pentru AI, companiile vor trebui să își evalueze opțiunile atunci când implementează noi LLM-uri. Dacă instrumentele potrivite sunt disponibile pentru a autentifica intrările și modelele, precum și acțiunile modelelor, companiile vor fi mai bine echipate pentru a valorifica ideea kill-switch-ului AI și a preveni distrugerea ulterioară. Deși acest lucru poate părea descurajant, există modalități de a vă proteja organizația pe fondul infiltrării AI și LLM-urilor în rețeaua dvs.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10