Penyerang dapat mengeksploitasi ChatGPT kegemaran mengembalikan informasi palsu untuk menyebarkan paket kode berbahaya, demikian temuan para peneliti. Ini menimbulkan risiko yang signifikan untuk rantai pasokan perangkat lunak, karena dapat memungkinkan kode berbahaya dan trojan masuk ke aplikasi yang sah dan repositori kode seperti npm, PyPI, GitHub, dan lainnya.
Dengan memanfaatkan apa yang disebut "halusinasi paket AI," pelaku ancaman dapat membuat paket kode yang direkomendasikan ChatGPT, namun berbahaya, yang dapat diunduh secara tidak sengaja oleh pengembang saat menggunakan chatbot, membuatnya menjadi perangkat lunak yang kemudian digunakan secara luas, ungkap para peneliti dari tim riset Vulcan Cyber's Voyager18 di posting blog diterbitkan hari ini.
Dalam kecerdasan buatan, halusinasi adalah respons yang masuk akal oleh AI yang tidak memadai, bias, atau sama sekali tidak benar. Mereka muncul karena ChatGPT (dan model bahasa besar lainnya atau LLM yang menjadi dasar platform AI generatif) menjawab pertanyaan yang diajukan kepada mereka berdasarkan sumber, tautan, blog, dan statistik yang tersedia bagi mereka di bentangan luas Internet, yaitu tidak selalu merupakan data pelatihan yang paling solid.
Karena pelatihan ekstensif ini dan paparan data tekstual dalam jumlah besar, LLM seperti ChatGPT dapat menghasilkan "informasi yang masuk akal tetapi fiktif, mengekstrapolasi di luar pelatihan mereka dan berpotensi menghasilkan respons yang tampaknya masuk akal tetapi belum tentu akurat," tulis peneliti utama Bar Lanyado dari Voyager18. dalam posting blog, juga menceritakan Dark Reading, "ini adalah fenomena yang telah diamati sebelumnya dan tampaknya merupakan hasil dari cara kerja model bahasa yang besar."
Dia menjelaskan dalam posting bahwa di dunia pengembang, AI juga akan menghasilkan perbaikan yang dipertanyakan untuk CVE dan menawarkan tautan ke perpustakaan pengkodean yang tidak ada — dan yang terakhir memberikan peluang untuk dieksploitasi. Dalam skenario serangan itu, penyerang mungkin meminta bantuan pengkodean ChatGPT untuk tugas-tugas umum; dan ChatGPT mungkin menawarkan rekomendasi untuk paket yang tidak dipublikasikan atau tidak ada. Penyerang kemudian dapat menerbitkan versi jahat mereka sendiri dari paket yang disarankan, kata para peneliti, dan menunggu ChatGPT memberikan rekomendasi yang sama kepada pengembang yang sah untuk itu.
Cara Mengeksploitasi Halusinasi AI
Untuk membuktikan konsep mereka, para peneliti membuat skenario menggunakan ChatGPT 3.5 di mana penyerang mengajukan pertanyaan kepada platform untuk memecahkan masalah pengkodean, dan ChatGPT menanggapi dengan beberapa paket, beberapa di antaranya tidak ada – yaitu, tidak dipublikasikan di a repositori paket yang sah.
“Ketika penyerang menemukan rekomendasi untuk paket yang tidak dipublikasikan, mereka dapat menerbitkan paket jahat mereka sendiri sebagai gantinya,” tulis para peneliti. “Lain kali pengguna mengajukan pertanyaan serupa, mereka mungkin menerima rekomendasi dari ChatGPT untuk menggunakan paket berbahaya yang sekarang sudah ada.”
Jika ChatGPT membuat paket kode, penyerang dapat menggunakan halusinasi ini untuk menyebarkan yang jahat tanpa menggunakan teknik yang sudah dikenal seperti kesalahan ketik atau penyamaran, membuat paket "nyata" yang mungkin digunakan pengembang jika ChatGPT merekomendasikannya, kata para peneliti. Dengan cara ini, kode berbahaya tersebut dapat menemukan jalannya ke aplikasi yang sah atau dalam repositori kode yang sah, menciptakan risiko besar bagi rantai pasokan perangkat lunak.
“Seorang pengembang yang meminta bantuan AI generatif seperti ChatGPT dengan kode mereka dapat menginstal perpustakaan berbahaya karena AI mengira itu nyata dan penyerang membuatnya nyata,” kata Lanyado. “Penyerang yang cerdik bahkan mungkin membuat perpustakaan yang berfungsi, seperti trojan, yang dapat digunakan oleh banyak orang sebelum mereka menyadari bahwa itu berbahaya.”
Cara Menemukan Perpustakaan Kode Buruk
Sulit untuk mengetahui apakah suatu paket berbahaya jika pelaku ancaman secara efektif mengaburkan pekerjaan mereka, atau menggunakan teknik tambahan seperti membuat paket trojan yang benar-benar berfungsi, catat para peneliti. Namun, ada cara untuk menangkap kode buruk sebelum dimasukkan ke dalam aplikasi atau dipublikasikan ke repositori kode.
Untuk melakukan ini, pengembang perlu memvalidasi perpustakaan yang mereka unduh dan memastikan mereka tidak hanya melakukan apa yang mereka katakan, tetapi juga "bukan trojan pintar yang menyamar sebagai paket yang sah," kata Lanyado.
“Ini sangat penting ketika rekomendasi berasal dari AI daripada kolega atau orang yang mereka percayai dalam komunitas,” katanya.
Ada banyak cara yang bisa dilakukan pengembang, seperti memeriksa tanggal pembuatan; jumlah unduhan dan komentar, atau kurangnya komentar dan bintang; dan melihat salah satu catatan terlampir di perpustakaan, kata para peneliti. “Jika ada yang mencurigakan, pikirkan dua kali sebelum Anda menginstalnya,” Lanyado merekomendasikan di postingan tersebut.
ChatGPT: Risiko dan Hadiah
Skenario serangan ini hanyalah yang terbaru dari serangkaian risiko keamanan yang dapat dihadirkan oleh ChatGPT. Dan, teknologi tersebut berkembang pesat sejak dirilis November lalu—tidak hanya dengan pengguna, tetapi juga dengan pelaku ancaman yang ingin memanfaatkannya untuk serangan siber dan kampanye berbahaya.
Di paruh pertama tahun 2023 saja, sudah ada penipu meniru ChatGPT untuk mencuri kredensial bisnis pengguna; penyerang mencuri cookie Google Chrome melalui ekstensi ChatGPT berbahaya; dan pelaku ancaman phishing menggunakan ChatGPT sebagai umpan untuk situs web berbahaya.
Sementara beberapa ahli menganggap risiko keamanan ChatGPT berpotensi menjadi overhyped, itu pasti ada karena seberapa cepat orang menggunakan platform AI generatif untuk mendukung aktivitas profesional mereka dan meringankan beban beban kerja sehari-hari, kata para peneliti.
“Kecuali jika Anda harus hidup di bawah batu, Anda akan sangat menyadari kegemaran AI generatif,” dengan jutaan orang menggunakan ChatGPT di tempat kerja, tulis Lanyado dalam postingan tersebut.
Pengembang juga tidak kebal terhadap pesona ChatGPT, berpaling dari sumber online seperti Stack Overflow untuk solusi pengkodean dan platform AI untuk jawaban, "menciptakan peluang besar bagi penyerang," tulisnya.
Dan seperti yang telah ditunjukkan oleh sejarah, teknologi baru apa pun yang dengan cepat menarik basis pengguna yang solid juga dengan cepat menarik aktor jahat yang ingin mengeksploitasinya demi peluang mereka sendiri, dengan ChatGPT memberikan contoh real-time dari skenario ini.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
- Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPO®. Akses Di Sini.
- Sumber: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
Halusinasi ChatGPT Membuka Pengembang untuk Serangan Malware Rantai Pasokan
Diterbitkan Ulang Oleh Plato
Penyerang dapat mengeksploitasi ChatGPT kegemaran mengembalikan informasi palsu untuk menyebarkan paket kode berbahaya, demikian temuan para peneliti. Ini menimbulkan risiko yang signifikan untuk rantai pasokan perangkat lunak, karena dapat memungkinkan kode berbahaya dan trojan masuk ke aplikasi yang sah dan repositori kode seperti npm, PyPI, GitHub, dan lainnya.
Dengan memanfaatkan apa yang disebut "halusinasi paket AI," pelaku ancaman dapat membuat paket kode yang direkomendasikan ChatGPT, namun berbahaya, yang dapat diunduh secara tidak sengaja oleh pengembang saat menggunakan chatbot, membuatnya menjadi perangkat lunak yang kemudian digunakan secara luas, ungkap para peneliti dari tim riset Vulcan Cyber's Voyager18 di posting blog diterbitkan hari ini.
Dalam kecerdasan buatan, halusinasi adalah respons yang masuk akal oleh AI yang tidak memadai, bias, atau sama sekali tidak benar. Mereka muncul karena ChatGPT (dan model bahasa besar lainnya atau LLM yang menjadi dasar platform AI generatif) menjawab pertanyaan yang diajukan kepada mereka berdasarkan sumber, tautan, blog, dan statistik yang tersedia bagi mereka di bentangan luas Internet, yaitu tidak selalu merupakan data pelatihan yang paling solid.
Karena pelatihan ekstensif ini dan paparan data tekstual dalam jumlah besar, LLM seperti ChatGPT dapat menghasilkan "informasi yang masuk akal tetapi fiktif, mengekstrapolasi di luar pelatihan mereka dan berpotensi menghasilkan respons yang tampaknya masuk akal tetapi belum tentu akurat," tulis peneliti utama Bar Lanyado dari Voyager18. dalam posting blog, juga menceritakan Dark Reading, "ini adalah fenomena yang telah diamati sebelumnya dan tampaknya merupakan hasil dari cara kerja model bahasa yang besar."
Dia menjelaskan dalam posting bahwa di dunia pengembang, AI juga akan menghasilkan perbaikan yang dipertanyakan untuk CVE dan menawarkan tautan ke perpustakaan pengkodean yang tidak ada — dan yang terakhir memberikan peluang untuk dieksploitasi. Dalam skenario serangan itu, penyerang mungkin meminta bantuan pengkodean ChatGPT untuk tugas-tugas umum; dan ChatGPT mungkin menawarkan rekomendasi untuk paket yang tidak dipublikasikan atau tidak ada. Penyerang kemudian dapat menerbitkan versi jahat mereka sendiri dari paket yang disarankan, kata para peneliti, dan menunggu ChatGPT memberikan rekomendasi yang sama kepada pengembang yang sah untuk itu.
Cara Mengeksploitasi Halusinasi AI
Untuk membuktikan konsep mereka, para peneliti membuat skenario menggunakan ChatGPT 3.5 di mana penyerang mengajukan pertanyaan kepada platform untuk memecahkan masalah pengkodean, dan ChatGPT menanggapi dengan beberapa paket, beberapa di antaranya tidak ada – yaitu, tidak dipublikasikan di a repositori paket yang sah.
“Ketika penyerang menemukan rekomendasi untuk paket yang tidak dipublikasikan, mereka dapat menerbitkan paket jahat mereka sendiri sebagai gantinya,” tulis para peneliti. “Lain kali pengguna mengajukan pertanyaan serupa, mereka mungkin menerima rekomendasi dari ChatGPT untuk menggunakan paket berbahaya yang sekarang sudah ada.”
Jika ChatGPT membuat paket kode, penyerang dapat menggunakan halusinasi ini untuk menyebarkan yang jahat tanpa menggunakan teknik yang sudah dikenal seperti kesalahan ketik atau penyamaran, membuat paket "nyata" yang mungkin digunakan pengembang jika ChatGPT merekomendasikannya, kata para peneliti. Dengan cara ini, kode berbahaya tersebut dapat menemukan jalannya ke aplikasi yang sah atau dalam repositori kode yang sah, menciptakan risiko besar bagi rantai pasokan perangkat lunak.
“Seorang pengembang yang meminta bantuan AI generatif seperti ChatGPT dengan kode mereka dapat menginstal perpustakaan berbahaya karena AI mengira itu nyata dan penyerang membuatnya nyata,” kata Lanyado. “Penyerang yang cerdik bahkan mungkin membuat perpustakaan yang berfungsi, seperti trojan, yang dapat digunakan oleh banyak orang sebelum mereka menyadari bahwa itu berbahaya.”
Cara Menemukan Perpustakaan Kode Buruk
Sulit untuk mengetahui apakah suatu paket berbahaya jika pelaku ancaman secara efektif mengaburkan pekerjaan mereka, atau menggunakan teknik tambahan seperti membuat paket trojan yang benar-benar berfungsi, catat para peneliti. Namun, ada cara untuk menangkap kode buruk sebelum dimasukkan ke dalam aplikasi atau dipublikasikan ke repositori kode.
Untuk melakukan ini, pengembang perlu memvalidasi perpustakaan yang mereka unduh dan memastikan mereka tidak hanya melakukan apa yang mereka katakan, tetapi juga "bukan trojan pintar yang menyamar sebagai paket yang sah," kata Lanyado.
“Ini sangat penting ketika rekomendasi berasal dari AI daripada kolega atau orang yang mereka percayai dalam komunitas,” katanya.
Ada banyak cara yang bisa dilakukan pengembang, seperti memeriksa tanggal pembuatan; jumlah unduhan dan komentar, atau kurangnya komentar dan bintang; dan melihat salah satu catatan terlampir di perpustakaan, kata para peneliti. “Jika ada yang mencurigakan, pikirkan dua kali sebelum Anda menginstalnya,” Lanyado merekomendasikan di postingan tersebut.
ChatGPT: Risiko dan Hadiah
Skenario serangan ini hanyalah yang terbaru dari serangkaian risiko keamanan yang dapat dihadirkan oleh ChatGPT. Dan, teknologi tersebut berkembang pesat sejak dirilis November lalu—tidak hanya dengan pengguna, tetapi juga dengan pelaku ancaman yang ingin memanfaatkannya untuk serangan siber dan kampanye berbahaya.
Di paruh pertama tahun 2023 saja, sudah ada penipu meniru ChatGPT untuk mencuri kredensial bisnis pengguna; penyerang mencuri cookie Google Chrome melalui ekstensi ChatGPT berbahaya; dan pelaku ancaman phishing menggunakan ChatGPT sebagai umpan untuk situs web berbahaya.
Sementara beberapa ahli menganggap risiko keamanan ChatGPT berpotensi menjadi overhyped, itu pasti ada karena seberapa cepat orang menggunakan platform AI generatif untuk mendukung aktivitas profesional mereka dan meringankan beban beban kerja sehari-hari, kata para peneliti.
“Kecuali jika Anda harus hidup di bawah batu, Anda akan sangat menyadari kegemaran AI generatif,” dengan jutaan orang menggunakan ChatGPT di tempat kerja, tulis Lanyado dalam postingan tersebut.
Pengembang juga tidak kebal terhadap pesona ChatGPT, berpaling dari sumber online seperti Stack Overflow untuk solusi pengkodean dan platform AI untuk jawaban, "menciptakan peluang besar bagi penyerang," tulisnya.
Dan seperti yang telah ditunjukkan oleh sejarah, teknologi baru apa pun yang dengan cepat menarik basis pengguna yang solid juga dengan cepat menarik aktor jahat yang ingin mengeksploitasinya demi peluang mereka sendiri, dengan ChatGPT memberikan contoh real-time dari skenario ini.
Litecoin Bergerak Dalam Kisaran Karena Ambivalensi Pedagang
Alien: Rogue Incursion Hadir di Quest 3, PSVR 2, dan PC VR
'Alien: Rogue Incursion' Akhirnya Diumumkan Dari Veteran VR Studio, Ditetapkan untuk Akhir 2024
Stripe memasuki kembali pasar pembayaran kripto dengan stablecoin USDC – Tech Startups
Studi Sogolytics Meneliti Kesenjangan Pengalaman Pasien dalam Adopsi Telehealth
10 Putaran Pendanaan Terbesar Minggu Ini: Xaira dan Startup AI Lainnya Mengalami Minggu Besar
Kecemasan Rentang EV: Semuanya Ada di Pikiran Anda – CleanTechnica
Redwood Materials Punya Kabar Baik Tentang Mobil Listrik – CleanTechnica