Lekcje dla CISO z 10 najlepszych LLM OWASP

KOMENTARZ

OWASP niedawno wydał swój lista 10 najlepszych aplikacji z dużym modelem językowym (LLM)., aby edukować branżę w zakresie potencjalnych zagrożeń bezpieczeństwa, o których należy pamiętać podczas wdrażania rozwiązań LLM i zarządzania nimi. To wydanie jest znaczącym krokiem we właściwym kierunku dla społeczności zajmującej się bezpieczeństwem, ponieważ programiści, projektanci, architekci i menedżerowie mają teraz 10 obszarów, na których muszą się wyraźnie skoncentrować. 

Podobnego do Ramy Narodowego Instytutu Standardów i Technologii (NIST). i Wytyczne Agencji ds. Cyberbezpieczeństwa i Bezpieczeństwa Infrastruktury (CISA). przeznaczona dla branży zabezpieczeń lista OWSAP stwarza szansę na lepsze dostosowanie się w organizacjach. Dzięki tej wiedzy dyrektorzy ds. bezpieczeństwa informacji (CISO) i liderzy ds. bezpieczeństwa mogą zapewnić najlepsze środki ostrożności w zakresie korzystania z szybko rozwijających się technologii LLM. LLM to tylko kod. Musimy zastosować to, czego się nauczyliśmy na temat uwierzytelniania i autoryzacji kodu, aby zapobiec niewłaściwemu użyciu i kompromisom. Właśnie dlatego tożsamość zapewnia wyłącznik awaryjny dla sztucznej inteligencji, czyli zdolność do uwierzytelniania i autoryzacji każdego modelu i jego działań oraz zatrzymywania go w przypadku niewłaściwego użycia, naruszenia bezpieczeństwa lub błędów.

Przeciwnicy wykorzystują luki w organizacjach

Jako praktycy zajmujący się bezpieczeństwem tak właśnie robimy długo omawiane co robią przeciwnicy, na przykład zatruwanie danych, luki w łańcuchu dostaw, nadmierna agencja i kradzież i nie tylko. Ta lista OWASP dla LLM jest dowodem na to, że branża rozpoznaje, gdzie występują zagrożenia. Aby chronić nasze organizacje, musimy szybko korygować kurs i działać proaktywnie. 

Generacyjna sztuczna inteligencja (GenAI) rzuca światło na nową falę zagrożeń dla oprogramowania, których korzenie tkwią w same możliwości to przede wszystkim uczyniło go potężnym. Za każdym razem, gdy użytkownik zadaje pytanie LLM, przeszukuje on niezliczone lokalizacje internetowe, próbując dostarczyć odpowiedź lub wynik wygenerowany przez sztuczną inteligencję. Chociaż każda nowa technologia wiąże się z nowymi zagrożeniami, LLM są szczególnie niepokojące, ponieważ tak bardzo różnią się od narzędzi, do których jesteśmy przyzwyczajeni.

Prawie wszystkie z 10 najważniejszych zagrożeń LLM skupiają się wokół naruszenia uwierzytelnienia tożsamości używanych w modelach. Różne metody ataków obejmują całą gamę, wpływając nie tylko na tożsamość danych wejściowych modelu, ale także na tożsamość samych modeli, a także na ich wyniki i działania. Wywołuje to efekt domina i wymaga uwierzytelnienia w procesach podpisywania kodu i tworzenia, aby zatrzymać lukę u źródła.

Szkolenia i modele uwierzytelniania w celu zapobiegania zatruciom i niewłaściwemu użyciu

Ponieważ więcej maszyn rozmawia ze sobą niż kiedykolwiek wcześniej, konieczne jest szkolenie i uwierzytelnianie w zakresie sposobu, w jaki tożsamości będą wykorzystywane do przesyłania informacji i danych z jednej maszyny do drugiej. Model musi uwierzytelnić kod, aby model mógł odzwierciedlić to uwierzytelnienie na innych komputerach. Jeśli wystąpi problem z początkowymi danymi wejściowymi lub modelem – ponieważ modele są podatne na zagrożenia i należy na nie zwracać szczególną uwagę – wystąpi efekt domina. Modele i ich dane wejściowe muszą zostać uwierzytelnione. Jeśli tak nie jest, członkowie zespołu ds. bezpieczeństwa będą pytać, czy jest to właściwy model, który przeszkolili, czy też korzysta z zatwierdzonych przez nich wtyczek. Jeśli modele mogą korzystać z interfejsów API i uwierzytelniania innych modeli, autoryzacja musi być dobrze zdefiniowana i zarządzana. Każdy model musi być uwierzytelniony unikalną tożsamością.

Ostatnio widzieliśmy tę zabawę z Awaria AT&T, który nazwano „błędem konfiguracji oprogramowania”, przez co tysiące ludzi podczas porannych dojazdów do pracy pozostawało bez dostępu do telefonu komórkowego. W tym samym tygodniu Google napotkał błąd, który był zupełnie inny, ale równie niepokojący. Generator obrazów Gemini firmy Google został błędnie przedstawiony obrazy historyczne, co powoduje obawy dotyczące różnorodności i uprzedzeń ze względu na sztuczną inteligencję. W obu przypadkach przyczyną problemu były dane wykorzystane do uczenia modeli GenAI i LLM, a także brak wokół nich barier ochronnych. Aby zapobiec takim problemom w przyszłości, firmy zajmujące się sztuczną inteligencją muszą poświęcać więcej czasu i pieniędzy na odpowiednie szkolenie modeli i lepsze informowanie o danych. 

Aby zaprojektować kuloodporny i bezpieczny system, CISO i liderzy bezpieczeństwa powinni zaprojektować system, w którym model będzie współdziałał z innymi modelami. W ten sposób przeciwnik kradnący jeden model nie załamuje całego systemu i pozwala na podejście typu „kill-switch”. Możesz wyłączyć model i pracować dalej, chroniąc własność intelektualną firmy. Pozycjonuje to zespoły bezpieczeństwa w znacznie silniejszej pozycji i zapobiega dalszym szkodom. 

Działając na podstawie lekcji z listy 

Liderom bezpieczeństwa polecam skorzystanie ze wskazówek OWASP i zapytanie swoich CISO lub kierowników wyższego szczebla, jak organizacja ogólnie ocenia te luki. Ramy te nakładają na nas wszystkich większą odpowiedzialność za dostarczanie wiedzy i rozwiązań w zakresie bezpieczeństwa na poziomie rynkowym. To budujące, że mamy coś, co możemy pokazać naszemu dyrektorowi generalnemu i zarządowi, aby zilustrować, jak sobie radzimy, jeśli chodzi o gotowość na ryzyko. 

W miarę jak nadal widzimy ryzyko związane z narzędziami obsługi klienta LLM i sztuczną inteligencją, tak jak to właśnie miało miejsce w przypadku tych rozwiązań Chatbot linii Air Canada zwraca podróżnemu pieniądzeprzedsiębiorstwa zostaną pociągnięte do odpowiedzialności za błędy. Czas zacząć regulować LLM, aby upewnić się, że są dokładnie przeszkoleni i gotowi do obsługi transakcji biznesowych, które mogą mieć wpływ na wyniki finansowe. 

Podsumowując, lista ta stanowi doskonałe ramy dla rosnących luk w zabezpieczeniach sieci Web i zagrożeń, na które musimy zwracać uwagę podczas korzystania z LLM. Chociaż ponad połowa z 10 największych zagrożeń to zagrożenia, które zostały zasadniczo złagodzone i wymagają wyłącznika awaryjnego dla sztucznej inteligencji, firmy będą musiały ocenić dostępne opcje podczas wdrażania nowych rozwiązań LLM. Jeśli dostępne będą odpowiednie narzędzia do uwierzytelniania danych wejściowych i modeli, a także działań modeli, firmy będą lepiej przygotowane do wykorzystania koncepcji wyłącznika awaryjnego AI i zapobiegania dalszym zniszczeniom. Choć może się to wydawać zniechęcające, istnieją sposoby na ochronę organizacji przed infiltracją sztucznej inteligencji i LLM w Twojej sieci.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10