Галлюцинации ChatGPT открывают разработчиков для атак вредоносных программ в цепочке поставок

Злоумышленники могут использовать ChatGPT Исследователи обнаружили склонность возвращать ложную информацию для распространения пакетов вредоносного кода. Это создает значительный риск для цепочки поставок программного обеспечения, поскольку может позволить вредоносному коду и троянам проникнуть в законные приложения и репозитории кода, такие как npm, PyPI, GitHub и другие. 

С помощью так называемого «Пакетные галлюцинации ИИ», злоумышленники могут создавать рекомендованные ChatGPT, но вредоносные пакеты кода, которые разработчик может непреднамеренно загрузить. при использовании чат-бота, превращая их в программное обеспечение, которое затем широко используется, сообщили исследователи из исследовательской группы Vulcan Cyber ​​Voyager18 в блог Опубликованном сегодня. 

В искусственном интеллекте галлюцинация — это правдоподобная реакция ИИ, которая недостаточна, предвзята или явно не соответствует действительности. Они возникают потому, что ChatGPT (и другие большие языковые модели или LLM, являющиеся основой для генеративных платформ ИИ) отвечают на поставленные им вопросы на основе источников, ссылок, блогов и статистических данных, доступных им на огромном пространстве Интернета, которые не всегда самые надежные тренировочные данные. 

Благодаря этому обширному обучению и воздействию огромного количества текстовых данных LLM, такие как ChatGPT, могут генерировать «правдоподобную, но вымышленную информацию, экстраполируя ее за пределы своего обучения и потенциально давая ответы, которые кажутся правдоподобными, но не обязательно точными», — пишет ведущий исследователь Бар Ланьядо из Voyager18. в сообщении в блоге, в котором также говорится о Dark Reading, «это явление, которое наблюдалось раньше и, по-видимому, является результатом того, как работают большие языковые модели».

В своем посте он объяснил, что в мире разработчиков ИИ также будут генерировать сомнительные исправления для CVE и предлагать ссылки на несуществующие библиотеки кодирования, а последнее дает возможность для эксплуатации. В этом сценарии атаки злоумышленники могут обратиться к ChatGPT за помощью в кодировании для общих задач; и ChatGPT может предложить рекомендацию для неопубликованного или несуществующего пакета. По словам исследователей, злоумышленники могут затем опубликовать свою собственную вредоносную версию предложенного пакета и дождаться, пока ChatGPT даст законным разработчикам ту же рекомендацию для него.

Как использовать галлюцинацию ИИ

Чтобы доказать свою концепцию, исследователи создали сценарий с использованием ChatGPT 3.5, в котором злоумышленник задавал платформе вопрос для решения проблемы с кодированием, а ChatGPT отвечал несколькими пакетами, некоторые из которых не существовали, т. е. не были опубликованы в законный репозиторий пакетов.

«Когда злоумышленник находит рекомендацию для неопубликованного пакета, он может опубликовать вместо него свой собственный вредоносный пакет», — пишут исследователи. «В следующий раз, когда пользователь задаст аналогичный вопрос, он может получить от ChatGPT рекомендацию использовать уже существующий вредоносный пакет».

Исследователи говорят, что если ChatGPT создает пакеты кода, злоумышленники могут использовать эти галлюцинации для распространения вредоносных программ без использования знакомых методов, таких как опечатка или маскировка, создавая «настоящий» пакет, который разработчик может использовать, если ChatGPT рекомендует его. Таким образом, этот вредоносный код может проникнуть в законное приложение или в репозиторий законного кода, что создает серьезный риск для цепочки поставок программного обеспечения.

«Разработчик, который обращается за помощью к генеративному ИИ, такому как ChatGPT, может установить вредоносную библиотеку, потому что ИИ думал, что это реально, а злоумышленник сделал это реальным», — говорит Ланьядо. «Умный злоумышленник может даже создать работающую библиотеку, своего рода троянскую программу, которую могут использовать несколько человек, прежде чем они поймут, что она вредоносная».

Как обнаружить библиотеки с плохим кодом

Исследователи отмечают, что может быть трудно определить, является ли пакет вредоносным, если субъект угрозы эффективно запутывает свою работу или использует дополнительные методы, такие как создание троянского пакета, который действительно работает. Однако есть способы отловить плохой код до того, как он будет встроен в приложение или опубликован в репозитории кода.

Для этого разработчики должны проверять библиотеки, которые они загружают, и удостовериться, что они не только делают то, о чем говорят, но и «не являются хитрым трояном, маскирующимся под законный пакет», — говорит Ланьядо.

«Особенно важно, когда рекомендация исходит от ИИ, а не от коллеги или людей, которым они доверяют в сообществе», — говорит он.

Разработчик может сделать это разными способами, например, проверить дату создания; количество загрузок и комментариев или отсутствие комментариев и звездочек; Исследователи сказали, что просмотрели все прикрепленные к библиотеке заметки. «Если что-то выглядит подозрительно, подумайте дважды, прежде чем устанавливать это», — рекомендовал Ланьядо в посте.

ChatGPT: риски и выгоды

Этот сценарий атаки является лишь последним из ряда угроз безопасности, которые может представлять ChatGPT. И эта технология быстро завоевала популярность с момента ее выпуска в ноябре прошлого года — не только среди пользователей, но и среди злоумышленников, стремящихся использовать ее для кибератак и вредоносных кампаний.

Только за первое полугодие 2023 г. мошенники имитируют ChatGPT для кражи учетных данных пользователей; злоумышленники кража файлов cookie Google Chrome через вредоносные расширения ChatGPT; и субъекты фишинговых угроз, использующие ChatGPT как приманка для вредоносных веб-сайтов.

Хотя некоторые эксперты считают, что угроза безопасности ChatGPT потенциально переоценивается, оно, безусловно, существует из-за того, как быстро люди освоили генеративные платформы искусственного интеллекта для поддержки своей профессиональной деятельности и облегчения бремени повседневных рабочих нагрузок, говорят исследователи.

«Если вам не придется жить под скалой, вы будете хорошо осведомлены о повальном увлечении генеративным ИИ», — написал Ланьядо в своем посте, когда миллионы людей используют ChatGPT на работе.

Разработчики тоже не застрахованы от чар ChatGPT, отворачиваясь от онлайн-источники, такие как Stack Overflow для решений для кодирования и для платформы ИИ для ответов, «создавая большие возможности для злоумышленников», — написал он.

И, как показала история, любая новая технология, которая быстро привлекает солидную пользовательскую базу, также быстро привлекает злоумышленников, стремящихся использовать ее в своих собственных целях, и ChatGPT предоставляет пример этого сценария в реальном времени.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
• Чеканка будущего с Эдриенн Эшли. Доступ здесь.
• Покупайте и продавайте акции компаний PREIPO® с помощью PREIPO®. Доступ здесь.
• Источник: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks