ChatGPT の幻覚により開発者はサプライチェーンのマルウェア攻撃にさらされる

攻撃者が悪用する可能性がある ChatGPTの 研究者らは、悪意のあるコードパッケージを拡散させるために虚偽の情報を返す傾向があることを発見した。 これは、悪意のあるコードやトロイの木馬が npm、PyPI、GitHub などの正規のアプリケーションやコード リポジトリに侵入できる可能性があるため、ソフトウェア サプライ チェーンに重大なリスクをもたらします。 

いわゆる 「AIパッケージ幻覚」 脅威アクターは、開発者が誤ってダウンロードする可能性がある、ChatGPT 推奨の悪意のあるコード パッケージを作成する可能性があります。 チャットボットを使用する場合、その後広く使用されるソフトウェアにそれらを組み込むことを、Vulcan Cyber​​ の Voyager18 研究チームの研究者が明らかにしました。 ブログ投稿 今日出版された。 

人工知能における幻覚は、AI によるもっともらしい反応ですが、不十分、偏りがある、または完全に真実ではありません。 これらは、ChatGPT (および生成 AI プラットフォームの基礎となる他の大規模な言語モデルまたは LLM) が、インターネットの広大な範囲で利用可能なソース、リンク、ブログ、統計に基づいて、提示された質問に答えるために発生します。必ずしも最も確実なトレーニング データであるとは限りません。 

この広範なトレーニングと膨大な量のテキスト データへの曝露により、ChatGPT のような LLM は「もっともらしいが架空の情報を生成し、トレーニングを超えて外挿し、もっともらしいが必ずしも正確ではない応答を生成する可能性がある」と Voyager18 の主任研究員 Bar Lanyado は書いています。このブログ投稿でも Dark Reading に対し、「これは以前にも観察された現象であり、大規模な言語モデルの動作の結果であると思われる」と述べています。

同氏は投稿の中で、開発者の世界では、AI が CVE に対する疑わしい修正を生成したり、存在しないコーディング ライブラリへのリンクを提供したりすることもあり、後者が悪用の機会をもたらすと説明しました。 この攻撃シナリオでは、攻撃者は ChatGPT に一般的なタスクのコーディングのヘルプを求める可能性があります。 ChatGPT は、未公開または存在しないパッケージに対する推奨を提供する場合があります。 研究者らによると、攻撃者は、提案されたパッケージの独自の悪意のあるバージョンを公開し、ChatGPT が正規の開発者に同じ推奨事項を与えるのを待つ可能性があるという。

AI の幻覚を悪用する方法

彼らの概念を証明するために、研究者らは ChatGPT 3.5 を使用してシナリオを作成しました。このシナリオでは、攻撃者がコーディングの問題を解決するためにプラットフォームに質問をし、ChatGPT が複数のパッケージで応答しました。そのうちのいくつかは存在しませんでした。つまり、正規のパッケージリポジトリ。

研究者らは、「攻撃者が未公開パッケージの推奨を見つけると、代わりに独自の悪意のあるパッケージを公開する可能性がある」と述べている。 「次回ユーザーが同様の質問をしたとき、ChatGPT から既存の悪意のあるパッケージを使用するよう推奨される可能性があります。」

ChatGPTがコードパッケージを捏造している場合、攻撃者はタイポスクワッティングやマスカレードなどのよく知られた手法を使用せずに、これらの幻覚を利用して悪意のあるパッケージを拡散し、ChatGPTが推奨する場合に開発者が使用する可能性のある「本物の」パッケージを作成できると研究者らは述べた。 このようにして、悪意のあるコードが正規のアプリケーションまたは正規のコード リポジトリに侵入し、ソフトウェア サプライ チェーンに大きなリスクを引き起こす可能性があります。

「ChatGPT のような生成 AI にコードのサポートを求める開発者は、AI がそれを本物だと思い込んで、攻撃者がそれを本物にしてしまうため、悪意のあるライブラリをインストールしてしまう可能性があります」と Lanyado 氏は言います。 「賢い攻撃者は、トロイの木馬のような機能するライブラリを作成することさえあり、それが悪意のあるものであることに気づく前に、複数の人々によって使用されてしまう可能性があります。」

不正なコード ライブラリを特定する方法

攻撃者がその作業を効果的に難読化したり、実際に機能するトロイの木馬パッケージを作成するなどの追加技術を使用したりした場合、そのパッケージが悪意のあるものであるかどうかを判断するのは困難になる可能性があると研究者らは指摘しています。 ただし、不正なコードがアプリケーションに組み込まれる前、またはコード リポジトリに公開される前に、不正なコードを検出する方法があります。

これを行うには、開発者はダウンロードしたライブラリを検証し、そのライブラリが宣言どおりに動作するだけでなく、「正規のパッケージを装った巧妙なトロイの木馬ではない」ことを確認する必要があると Lanyado 氏は言います。

「同僚やコミュニティ内で信頼できる人ではなく、AI からの推奨事項が特に重要です」と彼は言います。

開発者がこれを行うには、作成日を確認するなど、さまざまな方法があります。 ダウンロード数とコメント数、またはコメントとスターの不足。 研究者らは、図書館の添付メモのいずれかを見たところ、と述べた。 Lanyado氏は投稿の中で「何か疑わしいものがある場合は、インストールする前によく考えてください」と勧めている。

ChatGPT: リスクと報酬

この攻撃シナリオは、ChatGPT が引き起こす一連のセキュリティ リスクの最新のものにすぎません。 そして、このテクノロジーは昨年 XNUMX 月のリリース以来、ユーザーだけでなく、サイバー攻撃や悪意のあるキャンペーンにこのテクノロジーを利用しようとする攻撃者にも急速に普及しました。

2023 年上半期だけでも、 真似をする詐欺師 ChatGPT はユーザーのビジネス資格情報を盗みます。 攻撃者 Google ChromeのCookieを盗む 悪意のある ChatGPT 拡張機能を介して。 ChatGPT を使用したフィッシング攻撃者 ルアーとして 悪意のあるウェブサイトの場合。

一部の専門家はChatGPTのセキュリティリスクを考えています 過剰に誇張されている可能性がある人々が職業上の活動をサポートし、日々の作業負荷の負担を軽減するために生成型 AI プラットフォームを急速に受け入れてきたため、それは確かに存在していると研究者らは述べています。

「岩の下で生活する必要がない限り、生成型 AI の流行はよくわかるでしょう」と Lanyado 氏は投稿で書き、何百万人もの人々が職場で ChatGPT を採用しています。

開発者も ChatGPT の魅力に無縁ではなく、ChatGPT から目を背けています。 Stack Overflow などのオンライン ソース ソリューションをコーディングするために、そして答えを AI プラットフォームに求めることは、「攻撃者にとって大きな機会を生み出す」と彼は書いています。

そして、歴史が証明しているように、強固なユーザー ベースをすぐに引き付ける新しいテクノロジーは、自分の機会のためにそれを悪用しようとする悪意のある攻撃者もすぐに引き寄せます。ChatGPT は、このシナリオのリアルタイムの例を提供します。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• プラトアイストリーム。 Web3 データ インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• 未来を鋳造する w エイドリエン・アシュリー。 こちらからアクセスしてください。
• PREIPO® を使用して PRE-IPO 企業の株式を売買します。 こちらからアクセスしてください。
• 情報源： https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks