Галюцинації ChatGPT відкривають розробників для атак зловмисного програмного забезпечення в ланцюгу поставок

Зловмисники можуть використовувати ChatGPT Дослідники виявили схильність повертати неправдиву інформацію для поширення пакетів шкідливого коду. Це становить значний ризик для ланцюга постачання програмного забезпечення, оскільки може дозволити шкідливому коду та троянам проникнути в законні програми та сховища коду, такі як npm, PyPI, GitHub та інші. 

За допомогою важелів т. зв «Галюцинації пакунків штучного інтелекту» суб’єкти загрози можуть створювати рекомендовані ChatGPT, але шкідливі пакети коду, які розробник міг би ненавмисно завантажити при використанні чат-бота, вбудовуючи їх у програмне забезпечення, яке потім широко використовується, показали дослідники з дослідницької групи Voyager18 компанії Vulcan Cyber ​​у блог опубліковано сьогодні. 

У штучному інтелекті галюцинація — це правдоподібна реакція ШІ, яка є недостатньою, упередженою або явно не відповідає дійсності. Вони виникають через те, що ChatGPT (та інші великі мовні моделі або LLM, які є основою для генеративних платформ ШІ) відповідають на запитання, поставлені їм на основі джерел, посилань, блогів і статистичних даних, доступних їм у величезному просторі Інтернету, які є не завжди найдостовірніші тренувальні дані. 

Завдяки цьому тривалому навчанню та контакту з величезною кількістю текстових даних, LLMs, такі як ChatGPT, можуть генерувати «правдоподібну, але вигадану інформацію, екстраполюючи за межі їх навчання та потенційно створюючи відповіді, які здаються правдоподібними, але не обов’язково точними», – написав провідний дослідник Бар Ланьядо з Voyager18. у дописі в блозі, також розповідаючи Dark Reading, «це явище, яке спостерігалося раніше і, здається, є результатом того, як працюють великі мовні моделі».

У дописі він пояснив, що у світі розробників штучний інтелект також генеруватиме сумнівні виправлення для CVE і пропонуватиме посилання на бібліотеки кодування, яких не існує — і останнє створює можливість для експлуатації. У цьому сценарії атаки зловмисники можуть запитати у ChatGPT допомогу з кодування для типових завдань; і ChatGPT може запропонувати рекомендацію щодо неопублікованого або неіснуючого пакета. Потім зловмисники можуть опублікувати власну шкідливу версію запропонованого пакета, кажуть дослідники, і чекати, поки ChatGPT дасть законним розробникам таку саму рекомендацію щодо нього.

Як використовувати галюцинацію ШІ

Щоб підтвердити свою концепцію, дослідники створили сценарій із використанням ChatGPT 3.5, у якому зловмисник запитав у платформи запитання щодо вирішення проблеми кодування, а ChatGPT відповів кількома пакетами, деякі з яких не існували, тобто не опубліковані в законне сховище пакунків.

«Коли зловмисник знаходить рекомендацію щодо неопублікованого пакета, він може опублікувати власний шкідливий пакет замість нього», — пишуть дослідники. «Наступного разу, коли користувач задасть подібне запитання, він може отримати рекомендацію від ChatGPT використовувати існуючий шкідливий пакет».

Якщо ChatGPT виготовляє пакети коду, зловмисники можуть використовувати ці галюцинації для поширення зловмисних, не використовуючи такі звичні прийоми, як друкарський набір або маскарад, створюючи «справжній» пакет, який розробник може використовувати, якщо ChatGPT рекомендує це, кажуть дослідники. Таким чином шкідливий код може потрапити в законну програму або в законне сховище коду, створюючи великий ризик для ланцюга постачання програмного забезпечення.

«Розробник, який просить генеративний штучний інтелект, як-от ChatGPT, про допомогу зі своїм кодом, може закінчитися встановленням шкідливої ​​бібліотеки, тому що штучний інтелект вважав її реальною, а зловмисник зробив її реальною», — каже Ланьядо. «Розумний зловмисник може навіть створити робочу бібліотеку, на зразок трояна, який може використовуватися кількома людьми, перш ніж вони зрозуміють, що він шкідливий».

Як виявити погані бібліотеки коду

Дослідники зазначили, що буває важко визначити, чи є пакет зловмисним, якщо загрозливий суб’єкт ефективно маскує їхню роботу або використовує додаткові методи, такі як створення троянського пакета, який дійсно працює. Однак є способи виявити несправний код до того, як він буде запечений у програмі чи опублікований у сховищі коду.

Для цього розробникам потрібно перевірити бібліотеки, які вони завантажують, і переконатися, що вони не тільки виконують те, що кажуть, але й «не є хитрим трояном, який маскується під законний пакет», — каже Ланьядо.

«Це особливо важливо, коли рекомендація надходить від штучного інтелекту, а не від колеги чи людей у ​​спільноті, яким вони довіряють», — каже він.

Розробник може зробити це багатьма способами, наприклад, перевірити дату створення; кількість завантажень і коментарів або відсутність коментарів і зірочок; і переглянувши будь-яку з прикріплених приміток бібліотеки, сказали дослідники. «Якщо щось виглядає підозріло, двічі подумайте, перш ніж встановлювати це», — рекомендував Ланьядо в дописі.

ChatGPT: ризики та винагороди

Цей сценарій атаки є лише останнім із ряду загроз безпеці, які може представляти ChatGPT. І ця технологія швидко набула популярності з моменту її випуску в листопаді минулого року — не тільки серед користувачів, але й серед загрозливих акторів, які бажають використовувати її для кібератак і зловмисних кампаній.

Лише за перше півріччя 2023 року їх було шахраї імітують ChatGPT для викрадення облікових даних користувача; нападники викрадення файлів cookie Google Chrome через шкідливі розширення ChatGPT; і суб’єкти фішингових загроз за допомогою ChatGPT як приманка для шкідливих веб-сайтів.

Хоча деякі експерти вважають загрозу безпеці ChatGPT потенційно розкручений, це, безумовно, існує через те, як швидко люди обрали генеративні платформи штучного інтелекту для підтримки своєї професійної діяльності та полегшення тягаря повсякденних робочих навантажень, кажуть дослідники.

«Якщо вам не доведеться жити під каменем, ви добре знаєте про генеративне божевілля штучного інтелекту», — написав Ланьядо в дописі, коли мільйони людей використовують ChatGPT.

Розробники теж не застраховані від принад ChatGPT, відвернувшись від нього онлайн-джерела, такі як Stack Overflow для рішень кодування та до платформи ШІ для відповідей, «створюючи великі можливості для зловмисників», – написав він.

І як показала історія, будь-яка нова технологія, яка швидко залучає солідну базу користувачів, також швидко залучає зловмисників, які прагнуть використати її для власних можливостей, і ChatGPT надає приклад цього сценарію в реальному часі.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
• Карбування майбутнього з Адріенн Ешлі. Доступ тут.
• Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
• джерело: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks