ניווט בין איומי סייבר וחיזוק הגנות בעידן של בינה מלאכותית
העולם של אבטחת סייבר של ימינו עובר טרנספורמציה עצומה. בינה מלאכותית (AI) נמצאת בחזית של שינוי זה, ומהווה הן איום והן הזמנות. בעוד שלבינה מלאכותית יש את פוטנציאל להעצים ארגונים לזהות מתקפות סייבר במהירות מחשב ולקדם חדשנות ויעילות בזיהוי איומים, ציד איומים ותגובה לתקריות, יריבים יכולים להשתמש בבינה מלאכותית כחלק מפעולות הניצול שלהם. העיצוב, הפריסה והשימוש בטוחים בבינה מלאכותית מעולם לא היו כה קריטיים עבורנו.
אנחנו ב- Microsoft חוקרים את הפוטנציאל של בינה מלאכותית לשפר את אמצעי האבטחה שלנו, לשחרר הגנות מתקדמות ולבנות תוכנה טובה יותר. באמצעות בינה מלאכותית, יש לנו את הכוח לאמץ לצד איומים מתפתחים, לזהות חריגויות באופן מידי, להגיב במהירות לסיכונים שהפכו לניטרליים ולהתאים הגנות עבור צרכים של ארגון.
בינה מלאכותית יכולה גם לעזור לנו להתגבר על אתגרים גדולים אחרים של הענף. אל מול המחסור בכוח עבודה גלובלי בתחום אבטחת סייבר, עם צורך של בערך4 מיליון אנשי מקצוע ברחבי העולם, לבינה מלאכותית יש את הפוטנציאל להיות כלי מכריע לסגירת פערי הכישרונות ולעזור למגינים להיות יותר פרודוקטיביים.
כבר ראינו במחקר אחד כיצד Copilot לאבטחה יכול לעזור לאנליסטים של אבטחה ללא קשר לרמת המומחיות שלהם - בכל המשימות, רמת הדוק של משתתפים עלתה ב-44% והייתה מהירה יותר ב-26%.
בזמן שאנו שורפים לאבטח את העתיד, עלינו לוודא שאנו מאזנים התכוננות בצורה מאובטחת לקראת בינה מלאכותית וממנפים את היתרונות שלה, מאחר שלבינה מלאכותית יש את הכוח לשפר את הפוטנציאל האנושי ולפתור כמה מהאתגרים הקשים ביותר שלנו.
עתיד מאובטח יותר באמצעות בינה מלאכותית ידרוש התקדמויות בסיסיות בהנדסת תוכנה. הוא ידרוש מאיתנו להבין איומים שמונעים על-ידי בינה מלאכותית ולהתנגד להם כרכיבים חיוניים של כל אסטרטגיית אבטחה. ועלינו לעבוד יחד כדי לבנות שיתוף פעולה ושותפויות עמוקים ברחבי מגזרים ציבוריים ופרטיים ולהיאבק בשחקנים מזיקים.
כחלק ממאמץ זה ומיוזמת העתיד המאובטח שלנו, OpenAI ו- Microsoft מפרסמות היום בינה חדשה שמפרטית את הניסיונות של גורמי איום לבחון ולחקור שימושיות של מודלי שפה גדולים (LLM) בטכניקות מתקפה.
אנחנו מקווים שמידע זה יהיה שיומי בין תעשיות שכן כולנו עובדים לקראת עתיד מאובטח יותר. מאחר שבסופו של דבר, כולנו מגינים.
ברט ארסנו,
סמנכ”ל, יועץ אבטחת סייבר בכיר
סמנכ”ל, יועץ אבטחת סייבר בכיר
צפה בתדרוך הדיגיטלי של ’אותות סייבר’ שבו ואסו ג’קאל, סמנכ”לית ארגוני של Microsoft Security Business, מראיינת מומחי בינת איומים חשובים לגבי איומי הסייבר בעידן של בינת סייבר, דרכים בהן Microsoft משתמשת בבינה מלאכותית לצורך אבטחה משופרת, ומה ארגונים יכולים לעשות כדי לעזור לחזק הגנות.
תוקפים חוקרים טכנולוגיות בינה מלאכותית
נוף איומי הסייבר הפך ליותר ויותר מאתגר מאחר שהמוטיבציה של התוקפים גדלה, הם הופכי למתוחכמים יותר ומחזיקים במקורות טובים יותר. גורמי איום ומגינים כאחד מביטים על בינה מלאכותית, לרבות מודלי שפה גדולים, לשיפור הפרודוקטיביות שלהם ולשיפור של פלטפורמות נגישות שיכולות להתאים למטרות ולטכניקות התקיפה שלהם.
בהינתן ההתפתחות המהירה של נוף האיומים, אנחנו מכריזים היום על עקרונות של Microsoft שמנחים את הפעולות שלנו שמצמצמות את הסיכון של גורמי איום, כולל איומים מתקדמים עקביים (APT), גרמי מניפולציה מתקדמים עקביים (APM) ואיגודים של פושעי סייבר, שמשתמשים בפלטפורמות וממשקי API. עקרונות אלה כוללים זיהוי ופעולה נגד שימוש של גורם איום זדוני בבינה מלאכותית, התראה לספקי אחרים של שירות בינה מלאכותית, שיתוף פעולה עם בעלי עניין אחרים ושקיפות.
על אף שהמניעים והתחכום של גורמי איום משתנים, הם חולקים משימות משותפות בעת פריסת מתקפות. משימות אלה כוללות סיור היכרות, כגון ביצוע מחקר על תעשיות של קרבנות פוטנציאליים, מיקומים ומערכות יחסים; קידוד, כולל שיפור קבצי Script של תוכנה ופיתוח תוכנה זדונית; וסיוע בלידה באמצעות שפות אנושיות ושפות מחשב כאחד.
מדינות לאום מנסות למנף בינה מלאכותית
בשיתוף פעולה עם OpenAI, אנחנו חולקים בינת איומים שמציגה יריבים שזוהו שמשויכים למדינה ונעשה אחריהם מעקב - כגון Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon ו- Salmon Typhoon - באמצעות מודולי שפה גדולים כדי להרחיב פעולות סייבר.
המטרה של שותפות המחקר של Microsoft עם OpenAI היא לוודא שימוש בטוח ואחראי בטכנולוגיות בינה מלאכותית כגון ChatGPT, אשר מחזיקות בסטנדרטים הגבוהים ביותר של אפליקציה אתית כדי להגן על הקהילה מפני שימוש לרעה פוטנציאלי.
Forest Blizzard (STRONTIUM), גורם מודיעין צבאי רוסי יעיל ביותר שמקושר להנהלה הראשית של המטכ”ל הרוסי או יחידת GRU 26165, הציב כיעד קרבנות בעלי עניין טקטי ואסטרטגי לממשל הרוסי. הפעילויות שלה סובבות סביב מגוון של מגזרים כולל הגנה, תחבורה/לוגיסטיקה, ממשל, אנרגיה, ארגוני NGO וטכנולוגיות מידע
Emerald Sleet (Velvet Chollima) היא גורם איום מקוריאה הצפונית, אשר Microsoft גילתה שהיא מתחזה למוסדות אקדמיים ומוסדות לא ממשלתיים מכובדים כדי לפתות את הקרבנות לפרט תובנות של מומחים ולהציע פרשנות לגבי מדיניות של גורמים זרים בנוגע לצפון קוריאה.
השימוש של Emerald Sleet במודולי שפה גדולים מערב מחקר לתוך צוותי חשיבה ומומחים בקוריאה הצפונית, וכן ייצור תוכן שככל הנראה ישמש בקמפיינים של דיוג ממוקד. Emerald Sleet יצרה אינטראקציה עם מודולי שפה גדולים גם כדי להבין פגיעויות מוכרות ברמה ציבורית, לפתור בעיות טכניות ולצורך סיוע עם שימוש בטכנולוגיות אינטרנט.
Crimson Sandstorm (CURIUM) הוא גורם איום איראני שלפי ההערכות מחובר למשמרות המהפכה האיסלאמית (IRGC). השימוש במודולי שפה גדולים עירב בקשות לתמיכה בנושא הנדסה חברתית, סיוע לפתרון בעיות של שגיאות, פיתוח .NET ודרכים שבהן תוקף עשוי להתחמק מזיהוי כשהוא נמצא במחשב שנחשף לסכנה.
Charcoal Typhoon (CHROMIUM) הוא גורם איום שמשויך לסין אשר ממוקד בעיקר בקבוצות מעקב בטאייוואן, תאילנד, מגנוליה, צרפת, נפאל ובאנשים ברחבי העולם שמתנגדים למדיניות של סין. בפעולות אחרונות, Charcoal Typhoon נצפה מערב מודלי שפה גדולים כדי להשיג תובנות לתוך מחקר במטרה להבין טכנולוגיות, פלטפורמות ופגיעויות ספציפיות, פעולות שהצביעו על שלבי איסוף מידע ראשוניים.
קפוצה אחרת שמגובה על-ידי סין, Salmon Typhoon, העריכה את היעילות של שימוש במודלי שפה גדולים לאורך 2023 כדי לשאוב מידע לגבי נושאים בעלי פוטנציאל להיות רגישים, אנשים בפרופיל גבוה, גאופוליטיקות אזוריות, ההשפעה של ארה”ב ועניינים פנימיים. מעורבות טנטטיבית זו עם מודלי שפה גדולים יכולה לשקף הם התרחבות של ערכת הכלים שלהם לאיסוף מודיעין ושלב ניסויי בהערכת היכולות של טכנולוגיות חדשות.
המחקר שלנו עם OpenAI לא זיהה מתקפות משמעותיות שמשתמשות במודלי שפה גדולים שאנו מנטרים אותן מקרוב.
נקטנו באמצעים עדי לשבש נכסים וחשבונות שמשויכים לגורמי איום ועיצבנו מעקה ביטחון ומנגנוני בטיחות סביב המודלים שלנו.
איומי בינה מלאכותית אחרים שמופיעים
הונאה מבוססת על בינה מלאכותית היא דאגה קריטית נוספת. סינתוז קול הוא דוגמה לכך, שדגימת קול של שלוש שניות יכול לאמת מודל להישמע כמו כל אחד. אפילו משהו תמים כמו הודעת הפתיחה בדואר הקולי שלך יכולה לשמש לקבל דגימה מספקת.
הרבה מהדרך שבה אנחנו יוצאים אינטראקציה זה עם זה ומבצעים עסקים, מסתמכת על הוכחת זהות, כגון זיהוי קול, פנים, כתובת דואר אלקטרוני או סגנון כתיבה של אדם.
ההבנה שלנו לגבי האופן שבו גורמים זדוניים משתמשים בבינה מלאכותית כדי לערער מערכות הוכחת זהות ותיקות היא קריטית, כדי שנוכל להתמודד עם מקרי הונאה מורכבים ועם איומי הנדסה חברתית חדשים אחרים שמערפלים זהויות.
ניתן להשתמש בבינה מלאכותית גם כדי לעזור לחברות לשבש ניסיונות הונאה. על אף ש- Microsoft הפסיקה את המעורבות שלנו עם החברה בברזיל, מערכות הבינה המלאכותית שלנו מזהות את הניסיונות שלה לשקם את עצמה כדי להיכנס מחדש לאקוסיסטמה שלנו.
הקבוצה מנסה ללא הרף להאפיל את המידע שלה, להסתיר מקורות בעלות ולהיכנס מחדש, אך אמצעי זיהוי הבינה המלאכותית שלנו השתמשו בכמעט עשרה אותות סיכון כדי לסמן בדגל את חברה ההונאה ולשייך אותה להתנהגות שזוהתה בעבר כחשודה, ובכך חסמנו את הניסיונות שלה.
Microsoft מחויבת לבינה מלאכותית אחראית בהובלה אנושית שמציגה פרטיות ואבטחה עם בני אדם שמספקים פיקוח, ערעורי הערכה ומדיניות ותקנות מפורשות.
למד את העובדים והציבור בנושא סיכוני סייבר:
- השתמש בפריטי מדיניות של גישה מותנית: פריטי מדיניות אלה מספקים הדרכה ברורה ובפריסה עצמית כדי לחזק את מצב האבטחה הכולל שלך אשר יגן באופן אוטומטי על דיירים בהתבסס על אותות הסיכון, הרישוי והשימוש שלהם. פריטי מדיניות של גישה מותנית ניתנים להתאמה אישית ויסתגלו לנוף איום סייבר המשתנה.
- תרגל ותרגל מחדש עובדים לגבי טקטיקות בהנדסה חברתית: חנך את העובדים ואת הציבור לזהות ולהגיב להודעות דוא"ל לדיוג, וישינג [דיוג (פישינג) טלפוני], מתקפת סמישינג (פישינג באמצעות SMS), מתקפות הנדסה חברתית (SMS/טקסט), והחל שיטות עבודה מומלצות לאבטחה עבור Microsoft Teams.
- הגן בקפידה על נתונים: ודא שנתונים נותרים פרטיים ותחת שליטה מקצה לקצה.
- מנף כלי אבטחה של בינה מלאכותית יצרנית: כלים כמו Microsoft Copilot לאבטחה יכולים להרחיב יכולות ולשפר את מצב האבטחה הכולל של הארגון.
- הפוך אימות רב-גורמי לזמין: הפוך אימות רב-גורמי לזמין עבור כל המשתמשים, במיוחד עבור פונקציות ניהול, מאחר שהוא מפחית את הסיכון להשתלטות על חשבון במעל ל-99%.
הגנה מפני מתקפות
Microsoft שומרת על יתרון בעזרת אבטחה מקיפה בשילוב עם בינה מלאכותית יצרנית
Microsoft מזהה כמות עצומה של תעבורה זדונית - מעל 65 טריליון אותו אבטחת סייבר ליום. בינה מלאכותית מחזקת את היכולת שלנו לנתח מידע זה ולוודא שהתובנות בעלות הערך הרב ביותר צפות על-פני השטח כדי לעזור לעצור איומים. אנחנו גם משתמשים במודיעין אותות כדי לחזק בינה מלאכותית יצרנית עבור הגנה מתקדמת מפני איומים, אבטחת נתונים ואבטחת זהות כדי לעזור למכינים לתפוס את מה שאחרים מחמיצים.
Microsoft משתמשים במספר שיטות כדי להגן על עצמה ועל הלקוחות שלה מפני איומי סייבר, לרבות זיהוי איומים תואם לבינה מלאכותית כדי לאתר שינויים באופן השימוש במשאבים או תעבורה ברשת; ניתוחים התנהגותיים כדי לזהות כניסות מסוכנות והתנהגות חריגה; מודלים של למידת מכונה (ML) כדי לזהות כניסות מסוכנות ותוכנה זדונית; מודלים של ’אפס אמון’ שבהם על בקשת גישה חייבת להיות מאומתת באופן מלא, להיות מאושרת ומוצפנת; ואימות תקינות מכשירים לפני שמכשיר יוכל להתחבר לרשת ארגונית.
מאחר שגורמי איום מבינים ש- Microsoft משתמשת באימות רב-גורמי (MFA) בקפידה כדי להגן על עצמה - על העובדים שלנו מוגדים להגנת MFA או ללא סיסמה - ראינו תוקפים שנשענים על הנדסה חברתית מתוך ניסיון לחשוף לסכנה את העובדים שלנו.
נקודות מגע עבור זה כוללים תחומים שבהם דברים בעלי ערך מועברים, כגון גרסאות ניסיון או תמחור לקידום מכירות של שירותים או מוצרים. בתחומים אלה, גניבה של מינוי אחד בכל פעם אינה רווחית עבור תוקפים, לכן הם מנסים להגדיר פעולות אלה באמצעות פעולות ולשנות את קנה המידה שלהן מבלי שיזהו אותם.
באופן טבעי, אנו בונים מודלי בינה מלאכותית שיזהו תוקפים אלה עבור Microsoft והלקוחות שלה. אנו מזהים חשבונות מזויפים של תלמידים ובתי ספר, חברות או ארגונים מזויפים ששינו את הנתונים הביוגרפיים של החברה שלהם או מסתירים זהויות אמתיות כדי לחמוק מסנקציות, להערים על בקרות או להסתיר עבירות מוסריות פליליות מהעבר כמו הרשאות בתחום השחיתות, ניסיונות גניבה וכן הלאה.
השימוש ב- GitHub Copilot, Microsoft Copilot לאבטחה ותכונות צ'אט אחרות של Copilot בתוך ההנדסה הפנימית ותשתית הפעולות שלנו עוזר למנוע תקריות שישפיעו על פעולות.
כדי לטפל באיומים על דואר אלקטרוני, Microsoft משפרת את היכולות שלה לאסוף אותות מעבר לקומפוזיציה של דוא"ל כדי להבין אם היא זדוניים. באמצעות בינה מלאכותית בידיים של גורמי איום, היה זרם של הודעות דוא"ל כתובות בצורה מושלמת שמשתפרות בשפה הברורה ושגיאות דקדוקיות אשר לעתים קרובות חושפות ניסיונות דיוג, מה שהופך את הזיהוישל ניסיונות לקשה יותר.
חינוך עובדים מתמשך וקמפיינים של מודעות ציבורית נחוצים כדי לעזור להיאבק בהנדסה חברתית, שהיא אחד המנופים שמסתמכים על 100% שגיאות אנושיות. ההיסטוריה לימדה אותנו שקמפיינים יעילים של מודעות ציבורית פועלים לשינוי התנהגות.
Microsoft מצפה שבינה מלאכותית תפתח טקטיקות של הנדסה חברתית, אשר יוצרות מתקפות מתוחכמות יותר כולל פעולות דיפ-פייק ושכפול קול, במיוחד אם התוקפים מאתרים טכנולוגיות בינה מלאכותית שפועלות ללא נהלים אחראים ובקרות אבטחה מוכללות.
מניעה היא גורם חשוב במאבק בכל איומי הסייבר, בין אם מדובר באיומים מסורתיים או תואמים לבינה מלאכותית.
המלצות:
החל בקרות בינה מלאכותית על ספקים והערך באופן תמידי את ההתאמה שלהם: עבור כל בינה מלאכותית שנכנסת לארגון שלך, חפש אחר תכונות מוכללות של ספקים מתאימים כדי לתחום את טווח הגישה של בינה מלאכותית לעובדים ולצוותים שמשתמשים בטכנולוגיה כדי לאמץ הטמעת בינה מלאכותית מאובטחת ותואמת. חבר בין בעלי עניין בתחום סיכוני סייבר ברחבי הארגון כדי ליצור התאמה בהגדרת מקרי שימוש של עובדים בבינה מלאכותית ובבקרות גישה. מובילי סיכון ומנהלי אבטחה צריכים לקבוע באופן קבוע אם מקרי שימוש ופריטי מדיניות מספיקים, או אם נדרש לשנות אותם מאחר שהמטרות והמסקנות השתנו.
הגנה מפני החדרות של הנחיות: הטמע אימות קלט נוקשה ונטרול הנחיות שמסופקות על-ידי משתמש. השתמש בסינון מודע לטקסט וקידוד פלט כדי למנוע מניפולציה על הנחיה. עדכן וכוונן באופן קבוע מודלי שפה גדולים כדי לשפר את ההבנה שלהם של קלטים זדוניים ומקרי קצה. נטר ורשום אינטראקציות של LLM כדי לזהות ולנתח ניסיונות פוטנציאליים להחדרת הנחיה.
תן סמכות לפעול בנושא שקיפות בכל רחבי שרשרת האספקה של בינה מלאכותית: באמצעות נהלים ברורים ופתוחים, הערך את כל התחומים שבם בינה מלאכותית נמצאת במגע עם הנתונים של הארגון שלנו, כולל באמצעות שותפים וספקים מצד שלישי. השתמש במערכות יחסים עם שותפים ובצוותים סיכון סייבר שפועלים באופן רוחבי כדי לחקור מסקנות ולסגור את כל הפערים שנוצרים בתוצאה מכך. שמירה על תוכניות קיימות של ’אפס אמון’ ופיקוח על נתונים חשובה יותר מאי פעם בעידן הבינה המלאכותית.
הישאר ממוקד בתקשורת: מובילי סיכון סייבר חייבים לזהות כאשר עובדים עדים להשפעה וליתרונות של בינה מלאכותית בחיים האישיים שלהם ובאופן טבעי ירצו לחקור החלה של טכנולוגיות דומות ברחבי סביבות עבודה היברידית. מנהלי אבטחה ומובילים אחרים שמנהלים סיכון אבטחה יכולים לשתף ולחזק באופן יזום את פריטי המדיניות של הארגונים שלהם בשימוש ובסיכונים של בינה מלאכותית, כולל אילו כלי בינה מלאכותית ייעודיים מאושרים עבור ארגון ונקודות מגע עבור גישה ומידע. תקשורת יזומה עוזרת לשמור על כל העובדים מיודעים ומועצמים, תוך הפחתת הסיכון שלהם ביצירת מגע בין בינה מלאכותית שלא נגרם לה נזק לנכסי IT ארגוניים.
קבל תובנות נוספות בנושא בינה מלאכותית מהומה הייטאייפר, מנהלת נתונים ניהוליים ומדע מוחל, מנהלת ניתוחי זיהוי.
כלים מסורתיים לא שומרים עוד על הקצב עם האיומים שפושעי סייבר מציבים. המהירות, קנה המידה והתחכום של מתקפות סייבר אחרונות, שהולכים וגדלים, דורשים גישה חדשה לאבטחה. בנוסף, בהינתן המחסור בכוח עבודה בתחום אבטחת הסייבר ועם עליית התדירות ומידת החומרה של איומי סייבר, גישור על פער זה במיומנות הוא צורך דחוף.
בינה מלאכותית יכול להטות את המאזניים עבור מגינים. מחקר אחרון אחד של Microsoft Copilot לאבטחה (נכון לעכשיו בשלב בדיקת תצוגה מקדימה ללקוחות) מראה מהירות מוגברת בניתוח אבטחה ודיוק, ללא קשר לרמת המומחיות שלהם, בין משימות נפוצות כגון זיהוי קבצי Script שתוקפים משתמשים בהם, יצירת דוחות תקרית וזיהוי שלבים מתאימים לתיקון.1
- [1]
מתודולוגיה:1 נתוני צילום דוח מייצגים בדיקה מבוקרת רנדומלית (RCT), שבה בדקנו 149 אנשים כדי למדוד את השפעת הפרודוקטיביות מהשימוש ב- Microsoft Copilot לאבטחה. ב- RCT זו, נתונים את Copilot באופן שרירותי לכמה אנליסטים ולאחרים לא נתנו, ולאחר מכן החסרנו את הביצועים והסנטימטים שלהם כדי לקבל את האפקט של Copilot, בנפרד מכל אפקט בסיסי. למשתתפי הבדיקה היו מיומנויות IT בסיסיות, אך היו טירונים בתחום האבטחה, כך שיכולנו לבחון כיצד Copilot עוזרת לאנליסטים ”חדשים בקריירה”. בדיקת RCT של Microsoft Copilot לאבטחה בוצעה על-ידי Microsoft Office of the Chief Economist, בנובמבר 2023. בנוסף, מזהה Microsoft Entra סיפק נתונים אנונימיים לגבי פעילות איומים, כגון חשבונות דוא"ל זדוניים, הודעות דוא"ל לדיוג ותנועת תוקף בתוך רשתות. תובנות נוספות מגיעות מ- 65 טריליון אותות אבטחה יומיים שהתקבלו מרחבי Microsoft, כולל הענן, נקודות קצה וקצה חכם, ומ- Compromise Security Recovery Practice, צוותי הזיהוי והתגובה שלנו, מדידת שימוש מפלטפורמות ושירותים של Microsoft כולל Microsoft Defender ודוח ההגנה הדיגיטלית של Microsoft לשנת 2023.