ChatGPT Halüsinasyonları, Geliştiricileri Tedarik Zinciri Kötü Amaçlı Yazılım Saldırılarına Açar

Saldırganlar istismar edebilir ChatGPT'ler Araştırmacılar, kötü amaçlı kod paketlerini yaymak için yanlış bilgi döndürme eğilimini buldu. Bu, kötü amaçlı kod ve truva atlarının meşru uygulamalara ve npm, PyPI, GitHub ve diğerleri gibi kod havuzlarına girmesine izin verebileceğinden, yazılım tedarik zinciri için önemli bir risk oluşturur. 

sözde yararlanarak "AI paketi halüsinasyonları" tehdit aktörleri, bir geliştiricinin yanlışlıkla indirebileceği, ChatGPT tarafından önerilen ancak kötü niyetli kod paketleri oluşturabilir sohbet robotunu kullanırkenVulcan Cyber'in Voyager18 araştırma ekibinden araştırmacılar, bunları daha sonra yaygın olarak kullanılan bir yazılıma dönüştürdüklerini ortaya çıkardılar. Bir blog yazısı bugün yayınlandı. 

Yapay zekada halüsinasyon, AI tarafından yetersiz, önyargılı veya tamamen doğru olmayan makul bir yanıttır. Bunlar, ChatGPT'nin (ve üretken yapay zeka platformlarının temelini oluşturan diğer büyük dil modellerinin veya LLM'lerin) kendilerine yöneltilen soruları, İnternet'in uçsuz bucaksız alanında kendilerine sunulan kaynaklara, bağlantılara, bloglara ve istatistiklere dayalı olarak yanıtlamalarından kaynaklanır. her zaman en sağlam eğitim verileri değil. 

Voyager18'den baş araştırmacı Bar Lanyado, bu kapsamlı eğitim ve çok miktarda metinsel veriye maruz kalma nedeniyle, ChatGPT gibi LLM'lerin "makul ama kurgusal bilgiler, eğitimlerinin ötesinde tahminler yaparak ve potansiyel olarak makul görünen ancak tam olarak doğru olmayan yanıtlar üreterek" üretebileceğini yazdı. blog yazısında, yine Dark Reading'e, "bu daha önce gözlemlenen ve büyük dil modellerinin çalışma şeklinin bir sonucu gibi görünen bir fenomen" diyor.

Gönderide, geliştirici dünyasında yapay zekaların ayrıca CVE'ler için şüpheli düzeltmeler üreteceğini ve var olmayan kodlama kitaplıklarına bağlantılar sunacağını ve ikincisinin istismar için bir fırsat sunduğunu açıkladı. Bu saldırı senaryosunda, saldırganlar ortak görevler için ChatGPT'den kodlama yardımı isteyebilir; ve ChatGPT, yayınlanmamış veya var olmayan bir paket için öneri sunabilir. Saldırganlar daha sonra önerilen paketin kendi kötü amaçlı sürümlerini yayınlayabilir ve ChatGPT'nin yasal geliştiricilere bunun için aynı tavsiyeyi vermesini bekleyebilir.

AI Halüsinasyonundan Nasıl Yararlanılır?

Araştırmacılar, konseptlerini kanıtlamak için ChatGPT 3.5'i kullanarak bir senaryo oluşturdular; burada bir saldırgan, platformdan bir kodlama sorununu çözmek için bir soru istedi ve ChatGPT, bazıları mevcut olmayan, yani bir sistemde yayınlanmayan birden fazla paketle yanıt verdi. yasal paket deposu.

Araştırmacılar, "Saldırgan yayınlanmamış bir paket için bir öneri bulduğunda, onun yerine kendi kötü amaçlı paketini yayınlayabilir" diye yazdı. "Bir dahaki sefere bir kullanıcı benzer bir soru sorduğunda, ChatGPT'den şu anda var olan kötü amaçlı paketi kullanma önerisi alabilir."

Araştırmacılar, ChatGPT kod paketleri üretiyorsa, saldırganların bu halüsinasyonları yazım hatası veya maskeleme gibi tanıdık teknikler kullanmadan kötü niyetli olanları yaymak için kullanabileceğini ve ChatGPT'nin tavsiye etmesi durumunda bir geliştiricinin kullanabileceği "gerçek" bir paket oluşturabileceğini söyledi. Bu şekilde, bu kötü amaçlı kod meşru bir uygulamaya veya meşru bir kod deposuna girerek yazılım tedarik zinciri için büyük bir risk oluşturabilir.

Lanyado, "ChatGPT gibi üretken bir yapay zekadan koduyla ilgili yardım isteyen bir geliştirici, yapay zeka bunun gerçek olduğunu düşündüğü ve bir saldırganın bunu gerçeğe dönüştürdüğü için kötü amaçlı bir kitaplık kurabilir" diyor. "Akıllı bir saldırgan, bir tür truva atı gibi çalışan bir kitaplık bile oluşturabilir ve bunun kötü amaçlı olduğunu fark etmeden önce birden çok kişi tarafından kullanılmasına neden olabilir."

Kötü Kod Kitaplıkları Nasıl Belirlenir?

Araştırmacılar, bir tehdit aktörü çalışmalarını etkili bir şekilde gizlerse veya gerçekten işlevsel olan bir truva atı paketi yapmak gibi ek teknikler kullanırsa, bir paketin kötü niyetli olup olmadığını söylemenin zor olabileceğini belirtti. Ancak, kötü kodu bir uygulamada işlenmeden veya bir kod deposunda yayınlanmadan önce yakalamanın yolları vardır.

Lanyado, bunu yapmak için, geliştiricilerin indirdikleri kitaplıkları doğrulamaları ve yalnızca yaptıklarını söyledikleri şeyi yaptıklarından değil, aynı zamanda "meşru bir paket kılığına giren akıllı bir truva atı olmadıklarından" emin olmaları gerektiğini söylüyor.

"Tavsiye bir meslektaştan veya toplulukta güvendikleri kişilerden ziyade bir yapay zekadan geldiğinde özellikle önemlidir" diyor.

Bir geliştiricinin bunu oluşturma tarihini kontrol etmek gibi birçok yolu vardır; indirme ve yorum sayısı veya yorum ve yıldız eksikliği; ve kütüphanenin ekli notlarından herhangi birine bir göz atarak, dedi araştırmacılar. Lanyado, gönderide "Şüpheli görünen bir şey varsa, yüklemeden önce iki kez düşünün" dedi.

ChatGPT: Riskler ve Ödüller

Bu saldırı senaryosu, ChatGPT'nin sunabileceği güvenlik risklerinin en sonuncusudur. Ve teknoloji, geçen Kasım ayında piyasaya sürülmesinden bu yana, yalnızca kullanıcılar tarafından değil, aynı zamanda onu siber saldırılar ve kötü niyetli kampanyalar için kullanmaya istekli tehdit aktörleri tarafından da hızla benimsendi.

Sadece 2023'ün ilk yarısında, taklit eden dolandırıcılar Kullanıcı iş kimlik bilgilerini çalmak için ChatGPT; saldırganlar Google Chrome çerezlerini çalmak kötü amaçlı ChatGPT uzantıları aracılığıyla; ve ChatGPT kullanan kimlik avı tehdit aktörleri yem olarak kötü amaçlı web siteleri için.

Bazı uzmanlar ChatGPT'nin güvenlik riskini düşünürken potansiyel olarak fazla abartılıyorAraştırmacılar, insanların profesyonel faaliyetlerini desteklemek ve günlük iş yüklerinin yükünü hafifletmek için üretken yapay zeka platformlarını ne kadar hızlı benimsediği için kesinlikle var olduğunu söyledi.

Lanyado gönderide, "Bir kayanın altında yaşamak zorunda olmadıkça, üretken AI çılgınlığının farkında olacaksınız," diye yazdı milyonlarca insan iş yerinde ChatGPT'yi benimserken.

Geliştiriciler de ChatGPT'nin cazibesinden muaf değiller ve Yığın Taşması gibi çevrimiçi kaynaklar kodlama çözümleri için ve cevaplar için AI platformuna, "saldırganlar için büyük bir fırsat yaratıyor" diye yazdı.

Ve tarihin de gösterdiği gibi, hızlı bir şekilde sağlam bir kullanıcı tabanını kendine çeken herhangi bir yeni teknoloji, ChatGPT'nin bu senaryonun gerçek zamanlı bir örneğini sağlamasıyla, onu kendi fırsatları için kullanmayı amaçlayan kötü aktörleri de aynı hızla kendine çeker.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
• Kaynak: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks