A támadók kihasználhatják ChatGPT-k A kutatók megállapították, hogy hajlamosak hamis információk visszaküldésére rosszindulatú kódcsomagok terjesztésére. Ez jelentős kockázatot jelent a szoftverellátási lánc számára, mivel lehetővé teheti, hogy rosszindulatú kódok és trójaiak becsúszjanak a legális alkalmazásokba és kódtárakba, mint például az npm, PyPI, GitHub és mások.
A tőkeáttétellel ún „AI csomag hallucinációk” a fenyegetés szereplői ChatGPT által ajánlott, de rosszindulatú kódcsomagokat hozhatnak létre, amelyeket a fejlesztő véletlenül letölthet chatbot használatakorA Vulcan Cyber Voyager18 kutatócsoportjának kutatói felfedték egy blogbejegyzés ma megjelent.
A mesterséges intelligenciában a hallucináció a mesterséges intelligencia elfogadható reakciója, amely elégtelen, elfogult vagy teljesen nem igaz. Azért merülnek fel, mert a ChatGPT (és más nagy nyelvi modellek vagy LLM-ek, amelyek a generatív AI-platformok alapját képezik) válaszolnak a nekik feltett kérdésekre az internet hatalmas terjedelmében elérhető források, linkek, blogok és statisztikák alapján, amelyek nem mindig a legmegbízhatóbb képzési adatok.
Ennek a kiterjedt képzésnek és a hatalmas mennyiségű szöveges adatnak való kitettségnek köszönhetően az LLM-ek, mint például a ChatGPT, „valószínű, de kitalált információkat generálhatnak, extrapolálva a képzésükön túl, és potenciálisan olyan válaszokat adnak, amelyek hihetőnek tűnnek, de nem feltétlenül pontosak” – írta Bar Lanyado, a Voyager18 kutatója a blogbejegyzésben, és azt is elmondja a Dark Readingnek, hogy „úgy tűnik, hogy ez egy olyan jelenség, amelyet korábban megfigyeltek, és ez egy olyan jelenség, amely korábban megfigyelhető volt.
A bejegyzésben kifejtette, hogy a fejlesztői világban az AI-k is megkérdőjelezhető javításokat generálnak a CVE-kben, és hivatkozásokat kínálnak nem létező kódoló könyvtárakhoz – ez utóbbi pedig lehetőséget kínál a kiaknázásra. Ebben a támadási forgatókönyvben a támadók kódolási segítséget kérhetnek a ChatGPT-től a gyakori feladatokhoz; és a ChatGPT ajánlhat egy még nem publikált vagy nem létező csomagot. A támadók ezután közzétehetik a javasolt csomag saját rosszindulatú verzióját, mondták a kutatók, és megvárhatják, míg a ChatGPT a törvényes fejlesztőknek ugyanezt ajánlja.
Hogyan lehet kihasználni az AI-hallucinációt
Elképzelésük bizonyítására a kutatók a ChatGPT 3.5 használatával létrehoztak egy forgatókönyvet, amelyben egy támadó kérdést tett fel a platformnak egy kódolási probléma megoldására, és a ChatGPT több csomaggal válaszolt, amelyek közül néhány nem létezett – azaz nem publikálták törvényes csomagtároló.
"Amikor a támadó ajánlást talál egy nem publikált csomagra, közzéteheti a saját rosszindulatú csomagját a helyén" - írták a kutatók. "Amikor egy felhasználó legközelebb hasonló kérdést tesz fel, javaslatot kaphat a ChatGPT-től a már meglévő rosszindulatú csomag használatára."
Ha a ChatGPT kódcsomagokat gyárt, a támadók ezeket a hallucinációkat felhasználhatják rosszindulatúak terjesztésére, anélkül, hogy olyan ismert technikákat alkalmaznának, mint a gépelés vagy az álarcoskodás, így létrehozva egy „igazi” csomagot, amelyet a fejlesztő használhat, ha a ChatGPT javasolja. Ily módon a rosszindulatú kód bejuthat egy legitim alkalmazásba vagy egy törvényes kódtárba, ami komoly kockázatot jelent a szoftverellátási lánc számára.
„Az a fejlesztő, aki egy generatív MI-től, például a ChatGPT-től kér segítséget a kódjához, egy rosszindulatú könyvtár telepítését végezheti el, mert az AI valódinak hitte, és egy támadó valósággá tette” – mondja Lanyado. "Egy okos támadó akár működő könyvtárat is készíthet, mint egy trójai programot, amelyet többen is használhatnak, mielőtt rájönnének, hogy rosszindulatú."
Hogyan lehet észrevenni a rossz kódkönyvtárakat
A kutatók megjegyezték, hogy nehéz lehet megállapítani, hogy egy csomag rosszindulatú-e, ha egy fenyegetőző hatékonyan elhomályosítja a munkáját, vagy további technikákat használ, például olyan trójai csomagot készít, amely valóban működőképes. Vannak azonban módok a rossz kód elkapására, mielőtt az alkalmazásba kerülne, vagy megjelenne egy kódtárban.
Ehhez a fejlesztőknek ellenőrizniük kell a letöltött könyvtárakat, és meg kell győződniük arról, hogy nem csak azt teszik, amit mondanak, hanem „nem okos trójaiak, akik legitim csomagnak álcázzák magukat” – mondja Lanyado.
„Különösen fontos, ha az ajánlás egy MI-től származik, nem pedig egy kollégától vagy olyan személytől, akiben megbíznak a közösségben” – mondja.
A fejlesztő számos módon megteheti ezt, például ellenőrizheti a létrehozás dátumát; letöltések és megjegyzések száma, vagy a megjegyzések és a csillagok hiánya; A kutatók elmondták, hogy megnézik a könyvtár bármely mellékelt feljegyzését. „Ha valami gyanúsnak tűnik, gondolja át kétszer, mielőtt telepíti” – ajánlotta Lanyado a bejegyzésben.
ChatGPT: kockázatok és előnyök
Ez a támadási forgatókönyv csak a legújabb a ChatGPT által jelentett biztonsági kockázatok sorában. A technológia pedig a tavaly novemberi megjelenése óta gyorsan elterjedt – nem csak a felhasználók körében, hanem a fenyegetésekkel foglalkozó szereplők körében is, akik kibertámadásokhoz és rosszindulatú kampányokhoz kívánják felhasználni.
Csak 2023 első felében voltak ilyenek csalók utánozva ChatGPT a felhasználói üzleti hitelesítő adatok ellopásához; támadók a Google Chrome cookie-k ellopása rosszindulatú ChatGPT-bővítményeken keresztül; és adathalász fenyegetés szereplői a ChatGPT használatával csaliként rosszindulatú webhelyekhez.
Míg egyes szakértők szerint a ChatGPT biztonsági kockázata potenciálisan túlzásba esik, minden bizonnyal azért létezik, mert az emberek milyen gyorsan alkalmazzák a generatív mesterséges intelligencia platformokat, hogy támogassák szakmai tevékenységüket és könnyítsék a napi munkaterhelést – mondták a kutatók.
„Hacsak nem egy szikla alatt kell élned, akkor jól ismered a generatív mesterséges intelligencia őrületet” – írta Lanyado a bejegyzésben, amikor emberek milliói fogadják a ChatGPT-t munka közben.
A fejlesztők sem mentesek a ChatGPT varázsától, és elfordulnak tőle online források, például a Stack Overflow a kódolási megoldásokért és az AI-platformhoz a válaszokért, „nagy lehetőséget teremtve a támadók számára” – írta.
És ahogy a történelem bebizonyította, minden új technológia, amely gyorsan vonzza a szilárd felhasználói bázist, egyúttal rossz szereplőket is vonz, akik saját lehetőségük kihasználására törekszenek, és a ChatGPT valós idejű példája ennek a forgatókönyvnek.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
A ChatGPT hallucinációi megnyitják a fejlesztőket az ellátási lánc rosszindulatú támadásai előtt
Újra kiadta Platón
A támadók kihasználhatják ChatGPT-k A kutatók megállapították, hogy hajlamosak hamis információk visszaküldésére rosszindulatú kódcsomagok terjesztésére. Ez jelentős kockázatot jelent a szoftverellátási lánc számára, mivel lehetővé teheti, hogy rosszindulatú kódok és trójaiak becsúszjanak a legális alkalmazásokba és kódtárakba, mint például az npm, PyPI, GitHub és mások.
A tőkeáttétellel ún „AI csomag hallucinációk” a fenyegetés szereplői ChatGPT által ajánlott, de rosszindulatú kódcsomagokat hozhatnak létre, amelyeket a fejlesztő véletlenül letölthet chatbot használatakorA Vulcan Cyber Voyager18 kutatócsoportjának kutatói felfedték egy blogbejegyzés ma megjelent.
A mesterséges intelligenciában a hallucináció a mesterséges intelligencia elfogadható reakciója, amely elégtelen, elfogult vagy teljesen nem igaz. Azért merülnek fel, mert a ChatGPT (és más nagy nyelvi modellek vagy LLM-ek, amelyek a generatív AI-platformok alapját képezik) válaszolnak a nekik feltett kérdésekre az internet hatalmas terjedelmében elérhető források, linkek, blogok és statisztikák alapján, amelyek nem mindig a legmegbízhatóbb képzési adatok.
Ennek a kiterjedt képzésnek és a hatalmas mennyiségű szöveges adatnak való kitettségnek köszönhetően az LLM-ek, mint például a ChatGPT, „valószínű, de kitalált információkat generálhatnak, extrapolálva a képzésükön túl, és potenciálisan olyan válaszokat adnak, amelyek hihetőnek tűnnek, de nem feltétlenül pontosak” – írta Bar Lanyado, a Voyager18 kutatója a blogbejegyzésben, és azt is elmondja a Dark Readingnek, hogy „úgy tűnik, hogy ez egy olyan jelenség, amelyet korábban megfigyeltek, és ez egy olyan jelenség, amely korábban megfigyelhető volt.
A bejegyzésben kifejtette, hogy a fejlesztői világban az AI-k is megkérdőjelezhető javításokat generálnak a CVE-kben, és hivatkozásokat kínálnak nem létező kódoló könyvtárakhoz – ez utóbbi pedig lehetőséget kínál a kiaknázásra. Ebben a támadási forgatókönyvben a támadók kódolási segítséget kérhetnek a ChatGPT-től a gyakori feladatokhoz; és a ChatGPT ajánlhat egy még nem publikált vagy nem létező csomagot. A támadók ezután közzétehetik a javasolt csomag saját rosszindulatú verzióját, mondták a kutatók, és megvárhatják, míg a ChatGPT a törvényes fejlesztőknek ugyanezt ajánlja.
Hogyan lehet kihasználni az AI-hallucinációt
Elképzelésük bizonyítására a kutatók a ChatGPT 3.5 használatával létrehoztak egy forgatókönyvet, amelyben egy támadó kérdést tett fel a platformnak egy kódolási probléma megoldására, és a ChatGPT több csomaggal válaszolt, amelyek közül néhány nem létezett – azaz nem publikálták törvényes csomagtároló.
"Amikor a támadó ajánlást talál egy nem publikált csomagra, közzéteheti a saját rosszindulatú csomagját a helyén" - írták a kutatók. "Amikor egy felhasználó legközelebb hasonló kérdést tesz fel, javaslatot kaphat a ChatGPT-től a már meglévő rosszindulatú csomag használatára."
Ha a ChatGPT kódcsomagokat gyárt, a támadók ezeket a hallucinációkat felhasználhatják rosszindulatúak terjesztésére, anélkül, hogy olyan ismert technikákat alkalmaznának, mint a gépelés vagy az álarcoskodás, így létrehozva egy „igazi” csomagot, amelyet a fejlesztő használhat, ha a ChatGPT javasolja. Ily módon a rosszindulatú kód bejuthat egy legitim alkalmazásba vagy egy törvényes kódtárba, ami komoly kockázatot jelent a szoftverellátási lánc számára.
„Az a fejlesztő, aki egy generatív MI-től, például a ChatGPT-től kér segítséget a kódjához, egy rosszindulatú könyvtár telepítését végezheti el, mert az AI valódinak hitte, és egy támadó valósággá tette” – mondja Lanyado. "Egy okos támadó akár működő könyvtárat is készíthet, mint egy trójai programot, amelyet többen is használhatnak, mielőtt rájönnének, hogy rosszindulatú."
Hogyan lehet észrevenni a rossz kódkönyvtárakat
A kutatók megjegyezték, hogy nehéz lehet megállapítani, hogy egy csomag rosszindulatú-e, ha egy fenyegetőző hatékonyan elhomályosítja a munkáját, vagy további technikákat használ, például olyan trójai csomagot készít, amely valóban működőképes. Vannak azonban módok a rossz kód elkapására, mielőtt az alkalmazásba kerülne, vagy megjelenne egy kódtárban.
Ehhez a fejlesztőknek ellenőrizniük kell a letöltött könyvtárakat, és meg kell győződniük arról, hogy nem csak azt teszik, amit mondanak, hanem „nem okos trójaiak, akik legitim csomagnak álcázzák magukat” – mondja Lanyado.
„Különösen fontos, ha az ajánlás egy MI-től származik, nem pedig egy kollégától vagy olyan személytől, akiben megbíznak a közösségben” – mondja.
A fejlesztő számos módon megteheti ezt, például ellenőrizheti a létrehozás dátumát; letöltések és megjegyzések száma, vagy a megjegyzések és a csillagok hiánya; A kutatók elmondták, hogy megnézik a könyvtár bármely mellékelt feljegyzését. „Ha valami gyanúsnak tűnik, gondolja át kétszer, mielőtt telepíti” – ajánlotta Lanyado a bejegyzésben.
ChatGPT: kockázatok és előnyök
Ez a támadási forgatókönyv csak a legújabb a ChatGPT által jelentett biztonsági kockázatok sorában. A technológia pedig a tavaly novemberi megjelenése óta gyorsan elterjedt – nem csak a felhasználók körében, hanem a fenyegetésekkel foglalkozó szereplők körében is, akik kibertámadásokhoz és rosszindulatú kampányokhoz kívánják felhasználni.
Csak 2023 első felében voltak ilyenek csalók utánozva ChatGPT a felhasználói üzleti hitelesítő adatok ellopásához; támadók a Google Chrome cookie-k ellopása rosszindulatú ChatGPT-bővítményeken keresztül; és adathalász fenyegetés szereplői a ChatGPT használatával csaliként rosszindulatú webhelyekhez.
Míg egyes szakértők szerint a ChatGPT biztonsági kockázata potenciálisan túlzásba esik, minden bizonnyal azért létezik, mert az emberek milyen gyorsan alkalmazzák a generatív mesterséges intelligencia platformokat, hogy támogassák szakmai tevékenységüket és könnyítsék a napi munkaterhelést – mondták a kutatók.
„Hacsak nem egy szikla alatt kell élned, akkor jól ismered a generatív mesterséges intelligencia őrületet” – írta Lanyado a bejegyzésben, amikor emberek milliói fogadják a ChatGPT-t munka közben.
A fejlesztők sem mentesek a ChatGPT varázsától, és elfordulnak tőle online források, például a Stack Overflow a kódolási megoldásokért és az AI-platformhoz a válaszokért, „nagy lehetőséget teremtve a támadók számára” – írta.
És ahogy a történelem bebizonyította, minden új technológia, amely gyorsan vonzza a szilárd felhasználói bázist, egyúttal rossz szereplőket is vonz, akik saját lehetőségük kihasználására törekszenek, és a ChatGPT valós idejű példája ennek a forgatókönyvnek.
Lithia to axe 250 jobs, Carstores to take the brunt
Brussels Airport is looking for 75 security guards to cope with the peak in air traffic expected this summer
AI Can Now Edit Human DNA!
Diddo Raises $2.8M Financing Round Led by Link Ventures to Bring Shoppable TV to all Screens
Volkswagen ID.Code concept debuts new styling language for electric VWs in Beijing
Ez a 10 legrosszabb amerikai város a vezetés szempontjából 2024-ben – Autoblog
Az iparági felügyelet panaszokat lát a rakéta szervizelésével és javításával kapcsolatban
796 Air Traffic Controller Fatigue – Airplane Geeks Podcast
Megjegyzés az olvasóknak
Az amerikai tisztviselők kétségbe vonják, hogy a kínai lopakodó bombázó vetekedhet az amerikai mintákkal