תוקפים יכולים לנצל של ChatGPT נטייה להחזרת מידע כוזב כדי להפיץ חבילות קוד זדוניות, מצאו חוקרים. זה מהווה סיכון משמעותי עבור שרשרת האספקה של התוכנה, מכיוון שהוא יכול לאפשר לקוד זדוני ולסוסים טרויאנים להחליק לתוך יישומים ומאגרי קוד לגיטימיים כמו npm, PyPI, GitHub ואחרים.
על ידי מינוף מה שנקרא "הזיות חבילת AI," שחקני איומים יכולים ליצור חבילות קוד שמומלצות על ידי ChatGPT, אך זדוניות, שמפתח יכול להוריד בטעות בעת שימוש בצ'אט בוט, בנייתם לתוכנה שנמצאת אז בשימוש נרחב, חשפו חוקרים מצוות המחקר Voyager18 של Vulcan Cyber ב בלוג פורסם היום.
בבינה מלאכותית, הזיה היא תגובה מתקבלת על הדעת של הבינה המלאכותית שאינה מספקת, מוטה או בלתי נכונה. הם מתעוררים מכיוון ש-ChatGPT (ומודלים של שפות גדולות אחרות או LLMs המהווים את הבסיס לפלטפורמות AI גנרטיביות) עונים על שאלות המועלות להם על סמך המקורות, הקישורים, הבלוגים והסטטיסטיקות הזמינות להם במרחב העצום של האינטרנט, שהם לא תמיד נתוני האימון המוצקים ביותר.
בשל ההכשרה הנרחבת הזו והחשיפה לכמויות אדירות של נתונים טקסטואליים, LLMs כמו ChatGPT יכולים לייצר "מידע סביר אך בדיוני, להרחיב מעבר להכשרתם וליצור תגובות פוטנציאליות שנראות סבירות אך אינן בהכרח מדויקות", כתב החוקר הראשי בר לניאדו מ-Voyager18 בפוסט בבלוג, גם אומר ל-Dark Reading, "זו תופעה שנצפתה בעבר ונראה שהיא תוצאה של הדרך שבה פועלים מודלים של שפות גדולות".
הוא הסביר בפוסט שבעולם המפתחים, AI גם יפיקו תיקונים מפוקפקים ל-CVEs ויציעו קישורים לספריות קידוד שלא קיימות - והאחרון מציג הזדמנות לניצול. בתרחיש התקפה זה, תוקפים עשויים לבקש מ-ChatGPT עזרה בקידוד עבור משימות נפוצות; ו-ChatGPT עשוי להציע המלצה לחבילה שלא פורסמה או לא קיימת. לאחר מכן, התוקפים יכולים לפרסם גרסה זדונית משלהם של החבילה המוצעת, אמרו החוקרים, ולחכות ש-ChatGPT ייתן למפתחים לגיטימיים את אותה המלצה לגביה.
כיצד לנצל הזיה בינה מלאכותית
כדי להוכיח את הרעיון שלהם, החוקרים יצרו תרחיש באמצעות ChatGPT 3.5 שבו תוקף ביקש מהפלטפורמה שאלה כדי לפתור בעיית קידוד, ו-ChatGPT הגיב עם מספר חבילות, שחלקן לא היו קיימות – כלומר, אינן מתפרסמות ב- מאגר חבילות לגיטימי.
"כשהתוקף מוצא המלצה לחבילה שלא פורסמה, הם יכולים לפרסם חבילה זדונית משלהם במקומה", כתבו החוקרים. "בפעם הבאה שמשתמש ישאל שאלה דומה הוא עשוי לקבל המלצה מ-ChatGPT להשתמש בחבילה הזדונית הקיימת כעת."
אם ChatGPT מייצרת חבילות קוד, תוקפים יכולים להשתמש בהזיות אלו כדי להפיץ הזיות זדוניות מבלי להשתמש בטכניקות מוכרות כמו הטיית פספוס או התחזות, וליצור חבילה "אמיתית" שמפתח עשוי להשתמש בה אם ChatGPT ימליץ עליה, אמרו החוקרים. בדרך זו, הקוד הזדוני הזה יכול למצוא את דרכו לאפליקציה לגיטימית או למאגר קודים לגיטימי, וליצור סיכון גדול לשרשרת האספקה של התוכנה.
"מפתח שמבקש מבינה מלאכותית כמו ChatGPT עזרה עם הקוד שלו עלול להיגמר בהתקנת ספרייה זדונית מכיוון שה-AI חשב שזה אמיתי ותוקף הפך את זה לאמיתי", אומר לניאדו. "תוקף חכם עשוי אפילו ליצור ספרייה עובדת, כסוג של טרויאני, שעלול להיגמר בשימוש על ידי מספר אנשים לפני שהם הבינו שזה זדוני."
כיצד לזהות ספריות קוד רעות
זה יכול להיות קשה לדעת אם חבילה זדונית אם שחקן איום מטשטש ביעילות את עבודתו, או משתמש בטכניקות נוספות כגון יצירת חבילה טרויאנית שהיא למעשה פונקציונלית, ציינו החוקרים. עם זאת, ישנן דרכים לתפוס קוד גרוע לפני שהוא נאפה באפליקציה או מפורסם במאגר קודים.
כדי לעשות זאת, מפתחים צריכים לאמת את הספריות שהם מורידים ולוודא שהם לא רק עושים מה שהם אומרים שהם עושים, אלא גם "אינם טרויאני חכם שמתחזה לחבילה לגיטימית", אומר לניאדו.
"זה חשוב במיוחד כשההמלצה מגיעה מ-AI ולא מעמית או אנשים שהם סומכים עליהם בקהילה", הוא אומר.
ישנן דרכים רבות שמפתח יכול לעשות זאת, כגון בדיקת תאריך היצירה; מספר הורדות והערות, או היעדר הערות וכוכבים; ועיין בכל אחד מההערות המצורפות של הספרייה, אמרו החוקרים. "אם משהו נראה חשוד, תחשוב פעמיים לפני שאתה מתקין אותו", המליץ לניאדו בפוסט.
ChatGPT: סיכונים ותגמולים
תרחיש ההתקפה הזה הוא רק האחרון בשורה של סיכוני אבטחה ש-ChatGPT יכול להציג. כמו כן, הטכנולוגיה תפסה במהירות מאז השקתה בנובמבר האחרון - לא רק בקרב משתמשים, אלא גם בקרב גורמי איומים שמעוניינים למנף אותה עבור מתקפות סייבר וקמפיינים זדוניים.
במחצית הראשונה של 2023 לבדה, היו רמאים מחקים ChatGPT כדי לגנוב אישורים עסקיים של משתמשים; תוקפים גניבת קובצי Cookie של Google Chrome באמצעות הרחבות ChatGPT זדוניות; ושחקני איומי פישינג באמצעות ChatGPT בתור פיתוי עבור אתרי אינטרנט זדוניים.
בעוד כמה מומחים חושבים את הסיכון האבטחה של ChatGPT יש פוטנציאל בהייפ יתר, זה בהחלט קיים בגלל המהירות שבה אנשים אימצו פלטפורמות בינה מלאכותית כדי לתמוך בפעילות המקצועית שלהם ולהקל על עומסי העבודה היומיומיים, אמרו החוקרים.
"אלא אם כן תצטרך לחיות מתחת לסלע, אתה תהיה מודע היטב לשיגעון הבינה המלאכותית הגנרטיבית", כשמיליוני אנשים מאמצים את ChatGPT בעבודה, כתב לניאדו בפוסט.
גם מפתחים אינם חסינים בפני הקסם של ChatGPT, מתרחקים ממנו מקורות מקוונים כגון Stack Overflow לפתרונות קידוד ולפלטפורמת ה-AI לתשובות, "יצירת הזדמנות גדולה לתוקפים", כתב.
וכפי שההיסטוריה הוכיחה, כל טכנולוגיה חדשה שמושכת במהירות בסיס משתמשים מוצק גם מושכת במהירות שחקנים גרועים שמטרתם לנצל אותה להזדמנות שלהם, כאשר ChatGPT מספקת דוגמה בזמן אמת לתרחיש זה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
הזיות ChatGPT פותחות מפתחים להתקפות זדוניות בשרשרת האספקה
הועלה מחדש על ידי אפלטון
תוקפים יכולים לנצל של ChatGPT נטייה להחזרת מידע כוזב כדי להפיץ חבילות קוד זדוניות, מצאו חוקרים. זה מהווה סיכון משמעותי עבור שרשרת האספקה של התוכנה, מכיוון שהוא יכול לאפשר לקוד זדוני ולסוסים טרויאנים להחליק לתוך יישומים ומאגרי קוד לגיטימיים כמו npm, PyPI, GitHub ואחרים.
על ידי מינוף מה שנקרא "הזיות חבילת AI," שחקני איומים יכולים ליצור חבילות קוד שמומלצות על ידי ChatGPT, אך זדוניות, שמפתח יכול להוריד בטעות בעת שימוש בצ'אט בוט, בנייתם לתוכנה שנמצאת אז בשימוש נרחב, חשפו חוקרים מצוות המחקר Voyager18 של Vulcan Cyber ב בלוג פורסם היום.
בבינה מלאכותית, הזיה היא תגובה מתקבלת על הדעת של הבינה המלאכותית שאינה מספקת, מוטה או בלתי נכונה. הם מתעוררים מכיוון ש-ChatGPT (ומודלים של שפות גדולות אחרות או LLMs המהווים את הבסיס לפלטפורמות AI גנרטיביות) עונים על שאלות המועלות להם על סמך המקורות, הקישורים, הבלוגים והסטטיסטיקות הזמינות להם במרחב העצום של האינטרנט, שהם לא תמיד נתוני האימון המוצקים ביותר.
בשל ההכשרה הנרחבת הזו והחשיפה לכמויות אדירות של נתונים טקסטואליים, LLMs כמו ChatGPT יכולים לייצר "מידע סביר אך בדיוני, להרחיב מעבר להכשרתם וליצור תגובות פוטנציאליות שנראות סבירות אך אינן בהכרח מדויקות", כתב החוקר הראשי בר לניאדו מ-Voyager18 בפוסט בבלוג, גם אומר ל-Dark Reading, "זו תופעה שנצפתה בעבר ונראה שהיא תוצאה של הדרך שבה פועלים מודלים של שפות גדולות".
הוא הסביר בפוסט שבעולם המפתחים, AI גם יפיקו תיקונים מפוקפקים ל-CVEs ויציעו קישורים לספריות קידוד שלא קיימות - והאחרון מציג הזדמנות לניצול. בתרחיש התקפה זה, תוקפים עשויים לבקש מ-ChatGPT עזרה בקידוד עבור משימות נפוצות; ו-ChatGPT עשוי להציע המלצה לחבילה שלא פורסמה או לא קיימת. לאחר מכן, התוקפים יכולים לפרסם גרסה זדונית משלהם של החבילה המוצעת, אמרו החוקרים, ולחכות ש-ChatGPT ייתן למפתחים לגיטימיים את אותה המלצה לגביה.
כיצד לנצל הזיה בינה מלאכותית
כדי להוכיח את הרעיון שלהם, החוקרים יצרו תרחיש באמצעות ChatGPT 3.5 שבו תוקף ביקש מהפלטפורמה שאלה כדי לפתור בעיית קידוד, ו-ChatGPT הגיב עם מספר חבילות, שחלקן לא היו קיימות – כלומר, אינן מתפרסמות ב- מאגר חבילות לגיטימי.
"כשהתוקף מוצא המלצה לחבילה שלא פורסמה, הם יכולים לפרסם חבילה זדונית משלהם במקומה", כתבו החוקרים. "בפעם הבאה שמשתמש ישאל שאלה דומה הוא עשוי לקבל המלצה מ-ChatGPT להשתמש בחבילה הזדונית הקיימת כעת."
אם ChatGPT מייצרת חבילות קוד, תוקפים יכולים להשתמש בהזיות אלו כדי להפיץ הזיות זדוניות מבלי להשתמש בטכניקות מוכרות כמו הטיית פספוס או התחזות, וליצור חבילה "אמיתית" שמפתח עשוי להשתמש בה אם ChatGPT ימליץ עליה, אמרו החוקרים. בדרך זו, הקוד הזדוני הזה יכול למצוא את דרכו לאפליקציה לגיטימית או למאגר קודים לגיטימי, וליצור סיכון גדול לשרשרת האספקה של התוכנה.
"מפתח שמבקש מבינה מלאכותית כמו ChatGPT עזרה עם הקוד שלו עלול להיגמר בהתקנת ספרייה זדונית מכיוון שה-AI חשב שזה אמיתי ותוקף הפך את זה לאמיתי", אומר לניאדו. "תוקף חכם עשוי אפילו ליצור ספרייה עובדת, כסוג של טרויאני, שעלול להיגמר בשימוש על ידי מספר אנשים לפני שהם הבינו שזה זדוני."
כיצד לזהות ספריות קוד רעות
זה יכול להיות קשה לדעת אם חבילה זדונית אם שחקן איום מטשטש ביעילות את עבודתו, או משתמש בטכניקות נוספות כגון יצירת חבילה טרויאנית שהיא למעשה פונקציונלית, ציינו החוקרים. עם זאת, ישנן דרכים לתפוס קוד גרוע לפני שהוא נאפה באפליקציה או מפורסם במאגר קודים.
כדי לעשות זאת, מפתחים צריכים לאמת את הספריות שהם מורידים ולוודא שהם לא רק עושים מה שהם אומרים שהם עושים, אלא גם "אינם טרויאני חכם שמתחזה לחבילה לגיטימית", אומר לניאדו.
"זה חשוב במיוחד כשההמלצה מגיעה מ-AI ולא מעמית או אנשים שהם סומכים עליהם בקהילה", הוא אומר.
ישנן דרכים רבות שמפתח יכול לעשות זאת, כגון בדיקת תאריך היצירה; מספר הורדות והערות, או היעדר הערות וכוכבים; ועיין בכל אחד מההערות המצורפות של הספרייה, אמרו החוקרים. "אם משהו נראה חשוד, תחשוב פעמיים לפני שאתה מתקין אותו", המליץ לניאדו בפוסט.
ChatGPT: סיכונים ותגמולים
תרחיש ההתקפה הזה הוא רק האחרון בשורה של סיכוני אבטחה ש-ChatGPT יכול להציג. כמו כן, הטכנולוגיה תפסה במהירות מאז השקתה בנובמבר האחרון - לא רק בקרב משתמשים, אלא גם בקרב גורמי איומים שמעוניינים למנף אותה עבור מתקפות סייבר וקמפיינים זדוניים.
במחצית הראשונה של 2023 לבדה, היו רמאים מחקים ChatGPT כדי לגנוב אישורים עסקיים של משתמשים; תוקפים גניבת קובצי Cookie של Google Chrome באמצעות הרחבות ChatGPT זדוניות; ושחקני איומי פישינג באמצעות ChatGPT בתור פיתוי עבור אתרי אינטרנט זדוניים.
בעוד כמה מומחים חושבים את הסיכון האבטחה של ChatGPT יש פוטנציאל בהייפ יתר, זה בהחלט קיים בגלל המהירות שבה אנשים אימצו פלטפורמות בינה מלאכותית כדי לתמוך בפעילות המקצועית שלהם ולהקל על עומסי העבודה היומיומיים, אמרו החוקרים.
"אלא אם כן תצטרך לחיות מתחת לסלע, אתה תהיה מודע היטב לשיגעון הבינה המלאכותית הגנרטיבית", כשמיליוני אנשים מאמצים את ChatGPT בעבודה, כתב לניאדו בפוסט.
גם מפתחים אינם חסינים בפני הקסם של ChatGPT, מתרחקים ממנו מקורות מקוונים כגון Stack Overflow לפתרונות קידוד ולפלטפורמת ה-AI לתשובות, "יצירת הזדמנות גדולה לתוקפים", כתב.
וכפי שההיסטוריה הוכיחה, כל טכנולוגיה חדשה שמושכת במהירות בסיס משתמשים מוצק גם מושכת במהירות שחקנים גרועים שמטרתם לנצל אותה להזדמנות שלהם, כאשר ChatGPT מספקת דוגמה בזמן אמת לתרחיש זה.
כל הדרכים לצרוך קנאביס
מושב החקיקה של NC לשנת 2024 לא רק על התקציב - חיבור לתוכנית מריחואנה רפואית
האם בינה מלאכותית יכלה למנוע את תקרית אוטובוס המטרו של יוסטון?
הבנק המרכזי של ניגריה דוחה מכתב המורה לבנקים לנתק קשרים עם בורסות קריפטו
הקריירה שלי בנתונים עונה 2 פרק 15: קווין קול, מנהל, שיווק מוצרים וטכני, זרטו, חברה ארגונית של Hewlett Packard - DATAVERSITY
מסיר זרעי קנאביס: רגילים, פורחים אוטומטיים ונשים
אתיהאד חושפת את שירות איירבוס A380 לפריז, ומציגה חווית טיסה יוקרתית
ליתיה תפטר 250 משרות, חנות המכוניות תספוג את הנטל