解説
OWASP は最近リリースしました 大規模言語モデル (LLM) アプリケーションのトップ 10 リスト、LLM の導入と管理の際に注意すべき潜在的なセキュリティ脅威について業界を教育する取り組みです。このリリースは、開発者、設計者、アーキテクト、およびマネージャーが明確に焦点を当てるべき 10 の領域を抱えているため、セキュリティ コミュニティにとって正しい方向への注目に値する一歩です。
に似て 米国国立標準技術研究所 (NIST) のフレームワーク & サイバーセキュリティ・インフラセキュリティ庁 (CISA) のガイドライン OWSAP のリストはセキュリティ業界向けに提供されており、組織内の連携を強化する機会を生み出します。この知識があれば、最高情報セキュリティ責任者 (CISO) やセキュリティ リーダーは、急速に進化する LLM テクノロジの使用に関して最善のセキュリティ予防措置を確実に講じることができます。 LLM は単なるコードです。コードの認証と認可について学んだことを応用して、悪用や侵害を防ぐ必要があります。これが、アイデンティティが AI のキル スイッチを提供する理由です。これは、各モデルとそのアクションを認証および承認し、誤用、侵害、またはエラーが発生したときに停止する機能です。
敵対者は組織内のギャップにつけ込んでいる
セキュリティ専門家として、私たちはこれまで、 長く話された データポイズニング、サプライチェーンの脆弱性、過剰な代理店や窃盗など、敵が何をしているのか。 LLM のこの OWASP リストは、業界がリスクの所在を認識していることの証拠です。組織を守るためには、迅速に軌道修正し、積極的に行動する必要があります。
生成人工知能 (GenAI) は、 同じ機能 それがそもそも強力になったのです。ユーザーが LLM に質問するたびに、LLM は無数の Web ロケーションをクロールして、AI によって生成された応答または出力を提供しようとします。新しいテクノロジーには必ず新たなリスクが伴いますが、LLM は私たちが使い慣れたツールとは大きく異なるため、特に懸念されています。
LLM の上位 10 件の脅威のほぼすべては、モデルで使用される ID の認証の侵害を中心としています。さまざまな攻撃手法はあらゆる範囲に及んでおり、モデルの入力のアイデンティティだけでなく、モデル自体のアイデンティティや、その出力やアクションにも影響を与えます。これは波及効果をもたらし、ソースでの脆弱性を阻止するためにコード署名および作成プロセスでの認証が必要になります。
中毒と悪用を防ぐためのトレーニングとモデルの認証
これまで以上に多くのマシンが相互に通信するようになったため、あるマシンから別のマシンに情報やデータを送信するために ID を使用する方法のトレーニングと認証が必要になります。モデルは、その認証を他のマシンにミラーリングできるように、コードを認証する必要があります。最初の入力またはモデルに問題がある場合、モデルは脆弱であり、注意深く監視する必要があるため、ドミノ効果が発生します。モデルとその入力は認証される必要があります。そうでない場合、セキュリティ チームのメンバーは、これが自分たちがトレーニングした正しいモデルなのか、承認したプラグインを使用しているのか疑問を持つことになります。モデルが API や他のモデルの認証を使用できる場合、認可は適切に定義され、管理される必要があります。各モデルは一意の ID で認証される必要があります。
私たちは最近この展開を目撃しました AT&Tの内訳これは「ソフトウェア構成エラー」と呼ばれ、何千人もの人々が朝の通勤中に携帯電話を利用できなくなった。同じ週に、Google はまったく異なるバグを経験しましたが、同様に懸念されました。 GoogleのGemini画像ジェネレーターが誤って伝えられる 歴史的イメージ、AIによる多様性と偏見の懸念を引き起こしています。どちらの場合も、GenAI モデルと LLM のトレーニングに使用されたデータと、その周囲にガードレールがないことが問題の根源でした。将来このような問題を防ぐために、AI企業はモデルを適切にトレーニングし、データをより良く伝えるために、より多くの時間と資金を費やす必要があります。
防弾で安全なシステムを設計するために、CISO とセキュリティ リーダーは、モデルが他のモデルと連携して動作するシステムを設計する必要があります。このようにして、攻撃者が 1 つのモデルを盗んでもシステム全体が崩壊することはなく、キルスイッチアプローチが可能になります。モデルを停止しても、作業を続けて会社の知的財産を保護できます。これにより、セキュリティ チームがより強力な立場に置かれ、さらなる被害が防止されます。
リストから得た教訓に基づいて行動する
セキュリティ リーダーの皆様には、OWASP のガイダンスに従い、CISO または経営幹部レベルの幹部に、組織がこれらの脆弱性全体についてどのようにスコアリングしているかを尋ねることをお勧めします。このフレームワークにより、市場レベルのセキュリティに関する洞察とソリューションを提供する責任が私たち全員に高まります。リスクへの備えに関して当社がどのように取り組んでいるかを説明するために、CEO と取締役会に何かを提示できることは心強いことです。
私たちが先ほど行ったように、LLM と AI カスタマー サービス ツールでリスクが発生するのを目にし続けると、 旅行者に払い戻しを行うエア・カナダのチャットボット、企業はミスの責任を問われます。 LLM が正確にトレーニングを受け、収益に影響を与える可能性のあるビジネス取引を処理できるようにするために、LLM の規制を開始する時期が来ています。
結論として、このリストは、増加する Web の脆弱性と、LLM を使用する際に注意を払う必要があるリスクに対する優れたフレームワークとして機能します。トップ 10 のリスクの半分以上は本質的に軽減されるリスクであり、AI のキル スイッチが必要ですが、企業は新しい LLM を導入する際に選択肢を評価する必要があります。入力とモデル、およびモデルのアクションを認証するための適切なツールが導入されていれば、企業は AI キルスイッチのアイデアを活用し、さらなる破壊を防ぐための準備が整います。これは困難に思えるかもしれませんが、ネットワークへの AI や LLM の侵入から組織を保護する方法はあります。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10