ChatGPT-Halluzinationen machen Entwickler für Malware-Angriffe in der Lieferkette angreifbar

Angreifer können ausnutzen ChatGPTs Forscher haben herausgefunden, dass sie dazu neigen, falsche Informationen zurückzugeben, um bösartige Codepakete zu verbreiten. Dies stellt ein erhebliches Risiko für die Software-Lieferkette dar, da bösartiger Code und Trojaner dadurch in legitime Anwendungen und Code-Repositorys wie npm, PyPI, GitHub und andere gelangen können. 

Durch die Nutzung sogenannter „KI-Paket-Halluzinationen“ Bedrohungsakteure können von ChatGPT empfohlene, aber bösartige Codepakete erstellen, die ein Entwickler versehentlich herunterladen könnte bei Nutzung des ChatbotsForscher des Voyager18-Forschungsteams von Vulcan Cyber ​​enthüllten in , dass sie in Software eingebaut werden, die dann weit verbreitet ist a blog post Heute veröffentlicht 

In der künstlichen Intelligenz ist eine Halluzination eine plausible Reaktion der KI, die unzureichend, voreingenommen oder völlig unwahr ist. Sie entstehen, weil ChatGPT (und andere große Sprachmodelle oder LLMs, die die Grundlage für generative KI-Plattformen bilden) die ihnen gestellten Fragen auf der Grundlage der Quellen, Links, Blogs und Statistiken beantworten, die ihnen in den riesigen Weiten des Internets zur Verfügung stehen nicht immer die solidesten Trainingsdaten. 

Aufgrund dieser umfassenden Schulung und des Umgangs mit riesigen Textdatenmengen können LLMs wie ChatGPT „plausible, aber fiktive Informationen generieren, die über ihr Training hinaus extrapolieren und möglicherweise Antworten hervorbringen, die plausibel erscheinen, aber nicht unbedingt korrekt sind“, schrieb der leitende Forscher Bar Lanyado von Voyager18 In dem Blogbeitrag heißt es auch gegenüber Dark Reading: „Es handelt sich um ein Phänomen, das schon früher beobachtet wurde und ein Ergebnis der Funktionsweise großer Sprachmodelle zu sein scheint.“

Er erklärte in dem Beitrag, dass KIs in der Entwicklerwelt auch fragwürdige Korrekturen für CVEs generieren und Links zu nicht existierenden Codierungsbibliotheken anbieten – und letzteres bietet eine Möglichkeit zur Ausnutzung. In diesem Angriffsszenario könnten Angreifer ChatGPT um Codierungshilfe für häufige Aufgaben bitten; und ChatGPT bietet möglicherweise eine Empfehlung für ein unveröffentlichtes oder nicht vorhandenes Paket an. Angreifer können dann ihre eigene bösartige Version des vorgeschlagenen Pakets veröffentlichen, so die Forscher, und darauf warten, dass ChatGPT legitimen Entwicklern die gleiche Empfehlung dafür gibt.

Wie man eine KI-Halluzination ausnutzt

Um ihr Konzept zu beweisen, erstellten die Forscher ein Szenario mit ChatGPT 3.5, in dem ein Angreifer der Plattform eine Frage zur Lösung eines Codierungsproblems stellte und ChatGPT mit mehreren Paketen antwortete, von denen einige nicht existierten, also nicht in einem veröffentlicht wurden legitimes Paket-Repository.

„Wenn der Angreifer eine Empfehlung für ein unveröffentlichtes Paket findet, kann er an dessen Stelle sein eigenes Schadpaket veröffentlichen“, schreiben die Forscher. „Wenn ein Benutzer das nächste Mal eine ähnliche Frage stellt, erhält er möglicherweise eine Empfehlung von ChatGPT, das jetzt vorhandene Schadpaket zu verwenden.“

Wenn ChatGPT Codepakete erstellt, können Angreifer diese Halluzinationen nutzen, um bösartige Pakete zu verbreiten, ohne bekannte Techniken wie Typosquatting oder Masquerading anzuwenden, und so ein „echtes“ Paket erstellen, das ein Entwickler verwenden könnte, wenn ChatGPT dies empfiehlt, so die Forscher. Auf diese Weise kann dieser Schadcode in eine legitime Anwendung oder in ein legitimes Code-Repository gelangen und ein großes Risiko für die Software-Lieferkette darstellen.

„Ein Entwickler, der eine generative KI wie ChatGPT um Hilfe bei seinem Code bittet, könnte am Ende eine bösartige Bibliothek installieren, weil die KI dachte, sie sei real und ein Angreifer sie real machte“, sagt Lanyado. „Ein cleverer Angreifer könnte sogar eine funktionierende Bibliothek als eine Art Trojaner erstellen, die von mehreren Personen genutzt werden könnte, bevor sie erkennen, dass sie bösartig ist.“

So erkennen Sie fehlerhafte Codebibliotheken

Es könne schwierig sein, zu sagen, ob ein Paket bösartig sei, wenn ein Bedrohungsakteur seine Arbeit effektiv verschleiere oder zusätzliche Techniken verwende, etwa die Erstellung eines Trojaner-Pakets, das tatsächlich funktionsfähig sei, stellten die Forscher fest. Es gibt jedoch Möglichkeiten, fehlerhaften Code abzufangen, bevor er in eine Anwendung integriert oder in einem Code-Repository veröffentlicht wird.

Dazu müssen Entwickler die von ihnen heruntergeladenen Bibliotheken validieren und sicherstellen, dass sie nicht nur das tun, was sie sagen, sondern auch „kein cleverer Trojaner sind, der sich als legitimes Paket ausgibt“, sagt Lanyado.

„Das ist besonders wichtig, wenn die Empfehlung von einer KI kommt und nicht von einem Kollegen oder einer Person, der man in der Community vertraut“, sagt er.

Es gibt viele Möglichkeiten, wie ein Entwickler dies tun kann, z. B. die Überprüfung des Erstellungsdatums; Anzahl der Downloads und Kommentare oder fehlende Kommentare und Sterne; und einen Blick auf die beigefügten Notizen der Bibliothek werfen, sagten die Forscher. „Wenn etwas verdächtig aussieht, denken Sie zweimal darüber nach, bevor Sie es installieren“, empfahl Lanyado in dem Beitrag.

ChatGPT: Risiken und Chancen

Dieses Angriffsszenario ist nur das jüngste in einer Reihe von Sicherheitsrisiken, die ChatGPT mit sich bringen kann. Und seit ihrer Veröffentlichung im vergangenen November hat sich die Technologie schnell durchgesetzt – nicht nur bei Benutzern, sondern auch bei Bedrohungsakteuren, die sie gerne für Cyberangriffe und böswillige Kampagnen nutzen möchten.

Allein im ersten Halbjahr 2023 gab es solche Betrüger imitieren ChatGPT zum Diebstahl der Geschäftsanmeldeinformationen von Benutzern; Angreifer Diebstahl von Google Chrome-Cookies durch bösartige ChatGPT-Erweiterungen; und Phishing-Bedrohungsakteure, die ChatGPT verwenden als Lockmittel für bösartige Websites.

Während einige Experten das Sicherheitsrisiko von ChatGPT befürchten wird möglicherweise überbewertetDies liegt sicherlich daran, wie schnell die Menschen generative KI-Plattformen angenommen haben, um ihre berufliche Tätigkeit zu unterstützen und die Belastung durch die tägliche Arbeitsbelastung zu verringern, sagten die Forscher.

„Wenn Sie nicht unter einem Felsen leben müssen, werden Sie sich der generativen KI-Begeisterung durchaus bewusst sein“, schrieb Lanyado in dem Beitrag, da Millionen von Menschen ChatGPT bei der Arbeit nutzen.

Auch Entwickler sind vor den Reizen von ChatGPT nicht gefeit und wenden sich davon ab Online-Quellen wie Stack Overflow für Codierungslösungen und an die KI-Plattform für Antworten, „was eine große Chance für Angreifer schafft“, schrieb er.

Und wie die Geschichte gezeigt hat, zieht jede neue Technologie, die schnell eine solide Nutzerbasis anzieht, auch schnell Bösewichte an, die sie für ihre eigenen Chancen ausnutzen wollen. ChatGPT liefert ein Echtzeitbeispiel für dieses Szenario.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
• Die Zukunft prägen mit Adryenn Ashley. Hier zugreifen.
• Kaufen und verkaufen Sie Anteile an PRE-IPO-Unternehmen mit PREIPO®. Hier zugreifen.
• Quelle: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks