Дослідження кіберзагроз і зміцнення захисту в епоху ШІ
Зараз світ кібербезпеки переживає величезні зміни. Штучний інтелект (ШІ) перебуває в авангарді цих змін, створюючи як загрози, так і нові можливості. Хоча штучний інтелект має потенціал, щоб дати організаціям змогу протидіяти кібератакам зі швидкістю комп’ютера та стимулювати інновації й підвищення ефективності виявлення загроз, їх відстеження та реагування на інциденти, зловмисники можуть використовувати ШІ у своїх інтересах. Зараз як ніколи безпечне проектування, розгортання та застосування штучного інтелекту має критичне значення.
У корпорації Майкрософт ми досліджуємо потенціал штучного інтелекту для покращення наших заходів безпеки, відкриття нових і розширених методів захисту та створення кращого програмного забезпечення. Завдяки штучному інтелекту ми маємо можливість адаптуватися до загроз, що розвиваються, миттєво виявляти аномалії, плавно усувати загрози та пристосовувати захист до потреб організації.
Штучний інтелект також може допомогти нам подолати інші найбільші виклики галузі. В умовах глобальної нестачі працівників у сфері кібербезпеки, коли в усьому світі потрібні приблизно 4 мільйони фахівців із кібербезпеки, штучний інтелект має потенціал стати центральним інструментом для вирішення проблеми з дефіцитом кадрів і допоможе захисникам бути продуктивнішими.
Ми вже бачили в одному дослідженні, як Захисний комплекс Copilot може допомагати аналітикам безпеки, незалежно від рівня їх досвіду. У всіх завданнях учасники були на 44% точнішими й на 26% швидшими.
Оскільки ми прагнемо вбезпечити майбутнє, потрібно гарантувати баланс між безпечною підготовкою до впровадження штучного інтелекту та його використанням, оскільки ШІ може розширити людський потенціал і вирішити деякі з наших найсерйозніших проблем.
Безпечніше майбутнє зі штучним інтелектом вимагатиме фундаментальних досягнень у розробці програмного забезпечення. Це вимагатиме розуміння й усунення загроз, які становить ШІ, як основних елементів будь-якої стратегії безпеки. Ми повинні працювати разом, щоб сформувати тісну співпрацю та партнерство між державним і приватним секторами для боротьби з джерелами загрози.
У рамках цих зусиль і нашої власної ініціативи безпечного майбутнього компанія OpenAI та корпорація Майкрософт сьогодні публікують новий аналіз із детальним описом спроб джерел загрози перевірити й виявити корисність великих мовних моделей (LLM) у методах атак.
Ми сподіваємося, що ця інформація буде корисною для всіх галузей, оскільки ми всі разом працюємо заради безпечнішого майбутнього. Зрештою, ми всі захисники.
Брет Арсено,
корпоративний віце-президент, головний радник із питань кібербезпеки
корпоративний віце-президент, головний радник із питань кібербезпеки
Подивіться цифровий брифінг Cyber Signals, у якому Васу Джаккал, корпоративний віце-президент корпорації Майкрософт із рішень безпеки для бізнесу, бере інтерв’ю в провідних експертів з аналізу загроз про кіберзагрози в епоху штучного інтелекту, про те, як корпорація Майкрософт використовує штучний інтелект для покращення безпеки та що можуть зробити організації для посилення захисту.
Зловмисники досліджують технології штучного інтелекту
Середовище кіберзагроз стає все складнішим, оскільки зловмисники стають мотивованішими, досвідченішими та мають більше ресурсів. Джерела загрози, як і захисники, звертаються до штучного інтелекту, зокрема великих мовних моделей, щоб підвищити продуктивність і використовувати доступні платформи, які можуть відповідати їхнім цілям і методам атак.
З огляду на швидкий розвиток середовища загроз, сьогодні ми оголошуємо про принципи корпорації Майкрософт, які визначають наші дії зі зменшення ризиків від джерел загрози, зокрема вдосконалених постійних загроз (APT), удосконаленої постійної маніпуляції (APM) і синдикатів кіберзлочинців, які використовують API та платформи штучного інтелекту. До цих принципів належить виявлення та протидія використанню ШІ зловмисними джерелами загрози, сповіщення інших постачальників послуг ШІ, співпраця з іншими зацікавленими сторонами та прозорість.
Хоча мотиви та досвід джерел загрози відрізняються, вони мають спільні завдання під час розгортання атак. До них належать інформаційна розвідка (як-от дослідження галузей, розташування та зв’язків потенційних жертв), кодування (зокрема, удосконалення сценаріїв програмного забезпечення й розробка зловмисних програм) і допомога у вивченні та використанні людської та машинної мов.
Держави намагаються використовувати ШІ
У співпраці з OpenAI ми ділимось інформацією про загрози, що показує виявлених пов’язаних із державами зловмисників (ідентифіковані як Forest Blizzard, Emerald Sleet, Crimson Sand Storm, Charcoal Typhoon і Salmon Typhoon), які використовують великі мовні моделі для посилення кібероперацій.
Метою дослідницького партнерства корпорації Майкрософт з OpenAI є сприяння безпечному й відповідальному використанню технологій штучного інтелекту, таких як ChatGPT, з дотриманням найвищих стандартів етичного застосування, щоб захистити спільноту від можливого неправомірного використання.
Forest Blizzard (STRONTIUM) – високоефективне джерело загрози російської військової розвідки, пов’язане з Головним управлінням Генерального штабу збройних сил Російської Федерації або підрозділом 26165 ГРУ, – націлювалося на жертв, які мали тактичне та стратегічне значення для російського уряду. Його діяльність охоплює низку секторів, зокрема оборону, транспорт/логістику, уряд, енергетику, неурядові організації та інформаційні технології.
Emerald Sleet (Velvet Chollima) – північнокорейське джерело загрози, яке, за даними корпорації Майкрософт, видає себе за авторитетні наукові заклади й неурядові організації, щоб обманом змусити своїх жертв висловити експертну думку й коментарі щодо зовнішньої політики, пов’язаної з Північною Кореєю.
Використання групою Emerald Sleet великих мовних моделей включало дослідження аналітичних центрів і експертів із Північної Кореї, а також створення вмісту, який часто використовується в кампаніях цільового фішингу. Група Emerald Sleet також взаємодіяла з великими мовними моделями, щоб виявити загальновідомі вразливості, усунути технічні проблеми й отримати допомогу з використання різних веб-технологій.
Crimson Sandstorm (CURIUM) – це іранське джерело загрози, імовірне пов’язане з Корпусом вартових Ісламської революції (IRGC). Використання великих мовних моделей супроводжувалося запитами на підтримку соціотехніки, допомогу в усуненні несправностей, розробку .NET і способи, за допомогою яких зловмисник може уникнути виявлення на ураженому комп’ютері.
Charcoal Typhoon (CHROMIUM) – це пов’язане з Китаєм джерело загрози, що переважно зосереджується на відстеженні груп у Тайвані, Таїланді, Монголії, Малайзії, Франції, Непалі та окремих осіб у всьому світі, які виступають проти політики Китаю. Під час останніх операцій група Charcoal Typhoon використовувала великі мовні моделі, щоб отримати результати дослідження й зрозуміти конкретні технології, платформи та вразливості, що вказує на початкові етапи збору інформації.
Інша підтримувана Китаєм група, Salmon Typhoon, вивчала ефективність використання великих мовних моделей протягом 2023 року для збору інформації про потенційно делікатні теми, високопоставлених осіб, регіональну геополітику, вплив США та внутрішні справи. Така попередня взаємодія з великими мовними моделями може свідчити про розширення набору інструментів збору розвідданих і експериментальний етап оцінки можливостей нових технологій.
Наше дослідження з OpenAI не виявило значних атак із використанням великих мовних моделей, які ми ретельно відстежуємо.
Ми вжили заходів, щоб припинити дію ресурсів і облікових записів, пов’язаних із цими джерелами загрози, та розробили механізми захисту й безпеки для наших моделей.
Поява інших загроз, пов’язаних зі ШІ
Шахрайство на основі штучного інтелекту є ще однією серйозною проблемою. Прикладом цього є синтез голосу, коли трисекундний зразок голосу може навчити модель звучати як будь-яка людина. Навіть щось таке безвинне, як привітання голосової пошти, може бути достатнім зразком.
Значна частина способів нашої взаємодії один з одним і ведення бізнесу залежить від підтвердження особи, наприклад розпізнавання голосу, обличчя, адреси електронної пошти або стилю написання людини.
Важливо розуміти, як зловмисники використовують ШІ для підриву давніх систем перевірки особи, щоб ми могли вирішувати складні випадки шахрайства та усувати інші нові загрози соціотехніки, які маскують ідентичності.
Компанії також можуть використовувати ШІ, щоб перешкоджати спробам шахрайства. Корпорація Майкрософт припинила співпрацю з компанією в Бразилії, але наші системи штучного інтелекту виявили спроби компанії повторно інтегруватися в нашу екосистему.
Група постійно намагалася приховати інформацію про себе, походження прав власності та відновити доступ, але наші виявлення ШІ на основі майже дюжини сигналів ризику позначили шахрайську компанію й пов’язали її з раніше ідентифікованою підозрілою поведінкою, блокуючи ці спроби.
Корпорація Майкрософт прагне забезпечити відповідальний штучний інтелект, керований людьми, де конфіденційність і безпека є центральними, а люди ведіть спостереження, оцінюють скарги та тлумачать політики й правила.
Інформування працівників і громадськості про кіберризики
- Використовуйте політики умовного доступу. Ці політики містять чіткі вказівки щодо самостійного розгортання, щоб підвищити захищеність, що автоматично вбезпечуватиме ваших клієнтів на основі сигналів ризику, ліцензій і використання. Політики умовного доступу налаштовувані й адаптуються до мінливого середовища кіберзагроз.
- Навчайте та перенавчайте працівників тактикам соціотехніки. Навчіть працівників і громадськість, як розпізнавати фішингові електронні листи, вішинг (голосова пошта), смсшинг (SMS/текстові повідомлення) і атаки з використанням соціотехніки та реагувати на них, а також застосовувати найкращі методи безпеки для Microsoft Teams.
- Ретельно захищайте дані. Забезпечте збереження конфіденційності даних і комплексного контролю.
- Використовуйте інструменти безпеки на основі генеративного ШІ. Такі інструменти, як Захисний комплекс Copilot, можуть розширити можливості та покращити захищеність організації.
- Увімкніть багатофакторну автентифікацію для всіх користувач, зокрема для функцій адміністратора, оскільки це знижує ризик крадіжки облікового запису більш ніж на 99%.
Захист від атак
Корпорація Майкрософт залишається попереду завдяки комплексній безпеці в поєднанні з генеративним ШІ
Корпорація Майкрософт виявляє величезну кількість зловмисного трафіку – понад 65 трильйонів сигналів кібербезпеки на день. Штучний інтелект розширює нашу здатність аналізувати цю інформацію та забезпечує отримання найцінніших відомостей, щоб допомогти зупинити загрози. Ми також використовуємо інформацію про сигнали як джерело для генеративного ШІ для розширеного захисту від загроз, безпеки даних та ідентичностей, щоб допомогти захисникам вловити те, що пропустили інші.
Корпорація Майкрософт використовує кілька методів, щоб захистити себе та своїх клієнтів від кіберзагроз, зокрема виявлення загроз за допомогою ШІ для відстеження змін у використанні ресурсів або мережевому трафіку; аналіз поведінки для виявлення ризикованих входів і незвичної поведінки; моделі машинного навчання (МН) для виявлення ризикованих входів і зловмисних програм; моделі нульової довіри, де кожен запит на доступ має бути повністю автентифікованим, авторизованим і зашифрованим; та перевірку справності пристрою перед його підключенням до корпоративної мережі.
Джерела загрози розуміють, що корпорація Майкрософт строго використовує багатофакторну автентифікацію (БФА) для захисту – для всіх наших працівників налаштовано багатофакторну автентифікацію або безпарольний захист, – тому ми бачили, як зловмисники покладалися на соціотехніку, намагаючись порушити безпеку наших працівників.
Цільовими точками таких атаки є області, де передаються цінні речі, наприклад безкоштовні ознайомлювальні версії або акційні ціни на послуги чи продукти. У цих областях зловмисникам невигідно викрадати одну передплату за раз, тому вони намагаються розгортати та масштабувати ці атаки, уникаючи виявлення.
Ось чому ми створюємо моделі ШІ для виявлення цих атак для корпорації Майкрософт і наших клієнтів. Ми виявляємо фальшиві облікові записи студентів і навчальних закладів, фальшиві компанії чи організації, які змінили інформацію про свою компанію або приховали свою справжню особу, щоб уникнути санкцій, обійти механізми контролю або приховати минулі кримінальні порушення, такі як засудження за корупцію, спроби крадіжки тощо.
Використання GitHub Copilot, Захисного комплексу Copilot та інших функцій чату Copilot, інтегрованих у нашу внутрішню інженерну та операційну інфраструктуру, допомагає запобігати інцидентам, які можуть вплинути на операційну діяльність.
Щоб протидіяти загрозам електронної пошти, корпорація Майкрософт удосконалює функції, які, окрім складу електронного листа, можуть використовуватися для збору сигналів, за допомогою яких можна визначити, чи є цей лист зловмисним. Штучний інтелект у руках джерел загрози призвів до появи ідеально написаних електронних листів, у яких виправлено очевидні мовні та граматичні помилки, що часто викривають спроби фішингу, ускладнюючи виявлення таких спроб.
Для боротьби із соціотехнікою, яка є єдиним елементом, який на 100% залежить від людських помилок, необхідні постійне навчання працівників та інформаційні кампанії. Історія навчила нас, що ефективні інформаційні кампанії змінюють поведінку.
Корпорація Майкрософт очікує, що ШІ розвине тактики соціотехніки та створить складніші атаки з використанням діпфейків і клонування голосу, зокрема якщо зловмисники виявлять, що технології ШІ працюють без відповідальних практик і вбудованих елементів керування безпекою.
Запобігання відіграє ключову роль у боротьбі з усіма кіберзагрозами (традиційними та з використанням ШІ).
Рекомендації
Застосовуйте елементи керування ШІ постачальника та постійно оцінюйте їх придатність. Для будь-якого штучного інтелекту, розгорнутого в підприємстві, шукайте вбудовані можливості від відповідних постачальників, щоб визначити ступінь доступу ШІ до працівників і команд, які використовують технологію, щоб сприяти безпечному запровадженню ШІ з дотриманням вимог. Об’єднайте зацікавлені сторони у сфері кіберризиків з усієї організації, щоб узгодити певні варіанти використання й елементи керування доступом користувачів. Керівники з питань ризиків і керівники відділу IT-безпеки мають регулярно визначати, чи підходять варіанти використання та політики, чи їх потрібно змінювати з розвитком цілей і досвіду.
Захистіться від упровадження змінених підказок. Застосовуйте сувору перевірку введення та обробку підказок, наданих користувачами. Використовуйте контекстно-залежне фільтрування та кодування вихідних даних, щоб запобігти маніпуляції підказками. Регулярно оновлюйте та налаштовуйте великі мовні моделі, щоб покращити розуміння зловмисних введень і граничних випадків. Відстежуйте та записуйте взаємодії великих мовних моделей, щоб виявляти й аналізувати потенційні спроби впровадження підказок.
Забезпечте прозорість у всьому ланцюжку постачання ШІ. За допомогою чітких і відкритих практик оцініть усі області, де штучний інтелект може контактувати з даними організації, зокрема через сторонніх партнерів і постачальників. Використовуйте партнерські зв’язки та міжфункціональні команди з кіберризиків, щоб вивчати цінну інформацію та усувати будь-які прогалини. В епоху штучного інтелекту підтримка поточних програм нульової довіри та керування даними є важливішою, ніж будь-коли.
Зосередьтеся на комунікації. Керівники кіберризиків повинні усвідомлювати, що працівники відчувають на собі вплив штучного інтелекту та його переваги в особистому житті, і, зрозуміло, захочуть спробувати використовувати подібні технології в гібридних робочих середовищах. Керівники відділів ІТ-безпеки та інші керівники з питань кіберризиків можуть активно обмінюватись інформацією та посилювати політику своїх організацій щодо використання ШІ та пов’язаних із ним ризиків, зокрема визначення того, які спеціальні інструменти ШІ схвалені для підприємств, а також точки контакту для отримання доступу й інформації. Випереджувальна комунікація допомагає тримати працівників у курсі справ і розширювати їхні можливості, водночас знижуючи ризик того, що вони дозволять некерованому ШІ отримати доступ до ІТ-ресурсів підприємства.
Дізнайтеся більше про штучний інтелект від Хоми Хаятіфар, головного керівника відділу обробки даних і прикладних наук, керівника з аналітики виявлення.
Традиційні інструменти більше не можуть протистояти загрозам із боку кіберзлочинців. Зростаючі швидкість, масштаб і складність останніх кібератак вимагають нового підходу до безпеки. Крім того, з огляду на дефіцит працівників у сфері кібербезпеки та збільшення частоти й серйозності кіберзагроз, існує нагальна потреба усунути цю прогалину в уміннях.
Штучний інтелект може змінити ситуацію на користь захисників. Одне нещодавнє дослідження Захисного комплексу Copilot (наразі на етапі тестування підготовчої версії клієнтами) показало підвищену швидкість і точність для аналітиків безпеки, незалежно від рівня досвіду, у таких поширених завданнях, як виявлення сценаріїв, які використовують зловмисники, створення звітів про інциденти, визначення належних дій із виправлення тощо.1
- [1]
Методологія.1Дані знімка відображають рандомізоване контрольоване випробування, у якому протестовано 149 осіб, щоб оцінити вплив використання Захисного комплексу Copilot на продуктивність. Під час цього випробування ми надавали Copilot лише деяким випадково вибраним аналітикам, а потім вилучили тенденції їхньої продуктивності та погляди, щоб відокремити ефект Copilot від потенційного базового ефекту. Учасники мали базові навички у сфері ІТ, але були погано знайомі з безпекою, тому ми змогли перевірити, як Copilot допомагає аналітикам-початківцям. Рандомізоване контрольоване випробування Захисного комплексу Copilot проведене Офісом головного економіста корпорації Майкрософт у листопаді 2023 року. Крім того, команда Ідентифікатора Microsoft Entra надала анонімізовані дані щодо загроз, наприклад про зловмисні облікові записи електронної пошти, фішингові листи й активність зловмисників у мережах. Додаткову аналітику отримано на основі 65 трильйонів сигналів безпеки, які корпорація Майкрософт збирає щодня. Вони надходять, зокрема, від хмари, кінцевих точок, розумних периферійних пристроїв, наших команд відновлення безпеки, а також від команд виявлення та реагування, телеметрії з платформ і служб Microsoft, таких як Microsoft Defender, і Звіту про цифровий захист Microsoft за 2023 рік.