Ориентиране в киберзаплахите и укрепване на защитата в ерата на ИИ
Днес светът на киберсигурността претърпява огромна трансформация. Изкуственият интелект (ИИ) е в челните редици на тази промяна и представлява както заплаха, така и възможност. Въпреки че ИИ има потенциала да даде на организациите възможност да побеждават кибератаки с машинна скорост и да стимулира иновациите и ефективността при откриването на заплахи, проактивното търсене и реакцията при инциденти, противниците могат да използват ИИ като част от своите набези. Никога не е било толкова важно да проектираме, внедряваме и използваме ИИ по сигурен начин.
В Microsoft проучваме потенциала на изкуствения интелект, за да подобрим мерките си за сигурност, да отключим нови и усъвършенствани защити и да създадем по-добър софтуер. С помощта на изкуствения интелект имаме възможност да се адаптираме към променящите се заплахи, да откриваме аномалии мигновено, да реагираме бързо, за да неутрализираме рисковете, и да адаптираме защитата към нуждите на организацията.
ИИ може да ни помогне да преодолеем и друго от най-големите предизвикателства в индустрията. В условията на глобален недостиг на работна сила в областта на киберсигурността, при който в световен мащаб са необходими около 4 милиона специалисти по киберсигурност, ИИ има потенциала да се превърне в ключов инструмент за преодоляване на недостига на таланти и да помогне на защитниците да бъдат по-продуктивни.
В едно от проучванията вече видяхме как Copilot за защита може да помогне на анализаторите по сигурността независимо от нивото им на опит - при всички задачи участниците бяха с 44% по-точни и с 26% по-бързи.
Когато се стремим да осигурим бъдещето, трябва да гарантираме, че сме балансирано подготвени за ИИ и използваме ползите от него, защото ИИ има силата да повиши човешкия потенциал и да реши някои от най-сериозните ни предизвикателства.
По-сигурното бъдеще с ИИ ще изисква фундаментален напредък в софтуерното инженерство. Това ще изисква от нас да разберем и да противодействаме на заплахите, основани на изкуствен интелект, като основни компоненти на всяка стратегия за сигурност. И трябва да работим заедно, за да изградим задълбочено сътрудничество и партньорства между публичния и частния сектор в борбата с лошите играчи.
Като част от това усилие и от нашата собствена инициатива Безопасно бъдеще днес OpenAI и Microsoft публикуват нова информация, в която подробно се описват опитите на участниците в заплахите да тестват и изследват полезността на големите езикови модели (LLM) в техниките за атаки.
Надяваме се, че тази информация ще бъде полезна за всички отрасли, тъй като всички ние работим за по-сигурно бъдеще. Защото в крайна сметка всички ние сме защитници.
Брет Арсено,
CVP, главен съветник по киберсигурността
CVP, главен съветник по киберсигурността
Гледайте цифровия брифинг на Cyber Signals, в който Васу Джакал, корпоративен вицепрезидент на Microsoft Security Business, интервюира ключови експерти по разузнаване на заплахите за киберзаплахите в ерата на изкуствения интелект, начините, по които Microsoft използва изкуствения интелект за подобряване на сигурността, и какво могат да направят организациите, за да укрепят защитата си.
Атакуващите проучват технологиите за изкуствен интелект
Пейзажът на киберзаплахите става все по-предизвикателен, тъй като нападателите стават все по-мотивирани, по-усъвършенствани и разполагат с повече ресурси. Както извършители, представляващи заплаха, така и защитниците търсят изкуствен интелект, включително LLM, за да повишат производителността си и да се възползват от достъпни платформи, които биха могли да отговарят на техните цели и техники за атака.
Предвид бързо развиващия се пейзаж на заплахите, днес обявяваме принципите на Microsoft, които ръководят нашите действия за намаляване на риска от участници в заплахи, включително напреднали устойчиви заплахи (APT), напреднали устойчиви манипулатори (APM) и киберпрестъпни синдикати, които използват платформи и API с изкуствен интелект. Тези принципи включват идентифициране и предприемане на действия срещу използването на ИИ от извършители, представляващи заплаха, уведомяване на други доставчици на услуги за ИИ, сътрудничество с други заинтересовани страни и прозрачност.
Въпреки че мотивите и сложността на извършителите, представляващи заплахи са различни, те имат общи задачи при осъществяването на атаки. Те включват разузнаване, като например проучване на индустриите, местоположенията и връзките на потенциалните жертви; кодиране, включително подобряване на софтуерни скриптове и разработване на зловреден софтуер; и помощ при изучаването и използването на човешки и машинни езици.
Националните държави се опитват да използват ИИ
В сътрудничество с OpenAI споделяме разузнавателна информация за заплахите, показваща открити свързани с държавата противници - проследявани като Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon и Salmon Typhoon - използващи LLM, за да подсилят кибероперациите.
Целта на изследователското партньорство на Microsoft с OpenAI е да се гарантира безопасното и отговорно използване на технологиите за изкуствен интелект, като ChatGPT, като се спазват най-високите стандарти за етично приложение, за да се предпази общността от потенциална злоупотреба.
Forest Blizzard (STRONTIUM), високо ефективен участник в руското военно разузнаване, свързан с Главното управление на Генералния щаб на въоръжените сили на Русия или подразделение 26165 на ГРУ, се е насочил към жертви от тактически и стратегически интерес за руското правителство. Дейността на компанията обхваща различни сектори, включително отбрана, транспорт/логистика, правителство, енергетика, неправителствени организации и информационни технологии
Emerald Sleet(Velvet Chollima) е севернокорейска заплаха, за която Microsoft е установила, че се представя за уважавана академична институция и неправителствена организация, за да подмами жертвите да отговорят с експертни прозрения и коментари за външните политики, свързани със Северна Корея.
Използването на магистри по висше образование от Emerald Sleet включва проучване на мозъчни тръстове и експерти по въпросите на Северна Корея, както и генериране на съдържание, което може да бъде използвано в кампании с насочен фишинг. Emerald Sleet също така взаимодействаше с LLM, за да разбере публично известни уязвимости, да отстрани технически проблеми и да получи помощ при използването на различни уеб технологии.
Crimson Sandstorm (CURIUM) е ирански извършител, представляващ заплаха, за когото се смята, че е свързан с Корпуса на гвардейците на Ислямската революция (КГИР). Използването на LLM включва искания за подкрепа в областта на социалното инженерство, помощ при отстраняване на грешки, разработване на .NET и начини, по които нападателят може да избегне откриване, когато е на компрометирана машина.
Charcoal Typhoon (CHROMIUM) е свързан с Китай извършител, представляващ заплаха, който се фокусира предимно върху проследяването на групи в Тайван, Тайланд, Монголия, Малайзия, Франция, Непал и отделни лица в световен мащаб, които се противопоставят на политиките на Китай. При неотдавнашни операции Charcoal Typhoon е наблюдаван да ангажира LLM, за да придобие представа за изследванията с цел разбиране на конкретни технологии, платформи и уязвимости, което е показателно за предварителните етапи на събиране на информация.
Друга подкрепяна от Китай група, Salmon Typhoon, оценява ефективността на използването на LLM през 2023 г. за набавяне на информация по потенциално чувствителни теми, високопоставени лица, регионална геополитика, влияние на САЩ и вътрешни работи. Този предварителен ангажимент към LLM може да отразява както разширяване на инструментариума за събиране на разузнавателна информация, така и експериментална фаза в оценката на възможностите на нововъзникващите технологии.
Проучванията ни с OpenAI не установиха значителни атаки, използващи LLM, които наблюдаваме отблизо.
Предприехме мерки за прекъсване на активите и акаунтите, свързани с тези извършители, представляващи заплаха, и оформихме предпазни огради и механизми за безопасност около нашите модели.
Появяват се и други ИИ заплахи
Измамите с подкрепата на ИИ, са друг важен проблем. Пример за това е гласовият синтез, при който с трисекунден гласов образец може да се обучи модел, който да звучи като всеки друг. Дори нещо толкова безобидно като поздрав от гласовата ви поща може да се използва за получаване на достатъчна извадка.
Голяма част от начините, по които взаимодействаме помежду си и извършваме бизнес, разчитат на доказване на самоличността, като например разпознаване на гласа, лицето, имейл адреса или стила на писане на дадено лице.
Изключително важно е да разберем как злонамерените актьоридействащи лица използват изкуствения интелект, за да подкопаят дългогодишните системи за доказване на самоличността, за да можем да се справим със сложните случаи на измама и други нововъзникващи заплахи, свързани със социалното инженерство, които скриват самоличността.
ИИ може да се използва и за подпомагане на компаниите да предотвратяват опити за измами. Въпреки че Microsoft прекрати ангажимента си с компания в Бразилия, нашите системи за изкуствен интелект откриха опитите ѝ да се пресъздаде, за да влезе отново в нашата екосистема.
Групата непрекъснато се опитваше да прикрие информацията си, да прикрие корените на собствеността си и да влезе отново, но нашите детектори с изкуствен интелект използваха близо дузина рискови сигнали, за да отбележат измамната компания и да я свържат с предварително разпознато подозрително поведение, като по този начин блокираха опитите ѝ.
Майкрософт се ангажира с отговорен, ръководен от хора ИИ , който осигурява неприкосновеност на личния живот и сигурност, като хората осигуряват надзор, оценяват жалби и тълкуват политики и разпоредби.
Информирайте служителите и обществеността за киберрисковете:
- Използвайте правила за условен достъп: тези правила осигуряват ясни, саморазгръщащи се насоки за укрепване на вашата позиция по отношение на сигурността, които автоматично защитават наемателите въз основа на сигнали за риск, лицензиране и използване. Правилата за условен достъп могат да се персонализират и да се адаптират към променящия се пейзаж на киберзаплахите.
- Обучавайте и преобучавайте служителите за тактиките на социалното инженерство: обучете служителите и обществеността да разпознават и да реагират на фишинг имейли, вишинг (гласова поща), сминг (SMS/текст) атаки на социалния инженеринг и да прилагат най-добрите практики за сигурност за Microsoft Teams.
- Стриктно защитавайте данните: гарантирайте, че данните остават поверителни и контролирани от край до край.
- Използване на генеративни инструменти за защита, базирани на ИИ: инструменти като Microsoft Copilot за защита могат да разширят възможностите и да подобрят състоянието на сигурността на организацията.
- Активиране на многофакторно удостоверяване: включете многофакторно удостоверяване за всички потребители, особено за функциите на администратор, тъй като то намалява риска от превземане на акаунт с над 99%.
Защита срещу атаки
Microsoft остава начело с цялостна защита, съчетана с генеративен изкуствен интелект
Microsoft открива огромно количество злонамерен трафик - над 65 трилиона сигнала за киберсигурност на ден. Изкуственият интелект подобрява способността ни да анализираме тази информация и да гарантираме, че най-ценните прозрения излизат на повърхността, за да помогнат за спирането на заплахите. Използваме този разумен сигнал и за генериращ изкуствен интелект за усъвършенствана защита от заплахи, сигурност на данните и сигурност на самоличността, за да помогнем на защитниците да уловят това, което другите пропускат.
Microsoft използва няколко метода за защита на себе си и на клиентите от киберзаплахи, включително откриване на заплахи с помощта на ИИ за откриване на промени в начина, по който се използват ресурсите или трафикът в мрежата; поведенчески анализ за откриване на рискови влизания и аномално поведение; модели за машинно обучение (ML) за откриване на рискови влизания и зловреден софтуер; модели на нулево доверие, при които всяка заявка за достъп трябва да бъде напълно удостоверена, оторизирана и криптирана; и проверка на състоянието на устройството, преди то да може да се свърже с корпоративна мрежа.
Тъй като участниците в заплахите разбират, че Microsoft използва стриктно многофакторно удостоверяване (MFA), за да се защити - всички наши служители са настроени за MFA или защита без парола - видяхме, че нападателите използват социално инженерство в опит да компрометират нашите служители.
Горещи точки за това са областите, в които се предоставят ценни неща, като например безплатни изпитания или промоционални цени на услуги или продукти. В тези области за нападателите не е изгодно да крадат по един абонамент наведнъж, така че те се опитват да операционализират и мащабират тези атаки, без да бъдат открити.
Естествено, създаваме модели с изкуствен интелект за откриване на тези атаки за Microsoft и нашите клиенти. Откриваме фалшиви акаунти на учащи и училища, фалшиви компании или организации, които са променили своите фирмографски данни или са скрили истинската си самоличност, за да избегнат санкции, да заобиколят проверките или да прикрият минали престъпни деяния като присъди за корупция, опити за кражба и др.
Използването на GitHub Copilot, Microsoft Copilot за защита и други функции за чат copilot, интегрирани в нашата вътрешна инженерна и оперативна инфраструктура, помага за предотвратяване на инциденти, които биха могли да повлияят на операциите.
За да се справи със заплахите, свързани с имейли, Microsoft подобрява възможностите за получаване на сигнали освен от състава на имейла, за да разбере дали той е злонамерен. Тъй като изкуственият интелект е в ръцете на участниците в заплахите, има наплив от перфектно написани имейли, които подобряват очевидните езикови и граматически грешки, които често разкриват опитите за фишинг, което прави опитите за фишинг по-трудни за откриване.
Необходимо е непрекъснато обучение на служителите и кампании за повишаване на обществената осведоменост, за да се подпомогне борбата със социалния инженеринг, който е единственият лост, разчитащ на 100 процента на човешка грешка. Историята ни е научила, че ефективните кампании за повишаване на обществената осведоменост водят до промяна на поведението.
Microsoft очаква, че ИИ ще развие тактиките на социалното инженерство, създавайки по-сложни атаки, включително дълбоки фалшификати и клониране на глас, особено ако нападателите открият, че ИИ технологиите работят без отговорни практики и вградени контроли за сигурност.
Превенцията е от ключово значение за борбата с всички киберзаплахи, независимо дали са традиционни или с помощта на изкуствен интелект.
Препоръки:
Прилагайте контролите за изкуствен интелект на доставчиците и непрекъснато оценявайте тяхното съответствие: за всеки ИИ, въведен в предприятието ви, търсете вградените функции на съответните доставчици за ограничаване на достъпа до ИИ на служителите и екипите, използващи технологията, за да насърчите безопасното и съвместимо приемане на ИИ. Обединяване на заинтересованите страни от киберриска в организацията за съгласуване на определени случаи на използване на служителите с изкуствен интелект и контрол на достъпа. Лидерите, отговарящи за риска, и CISO трябва редовно да определят дали случаите на използване и политиките са адекватни или трябва да се променят в зависимост от развитието на целите и познанията.
Защита от бързи инжекции: Прилагане на стриктно валидиране и обработка на входните данни за предоставените от потребителя подкани. Използвайте филтриране с отчитане на контекста и кодиране на изхода, за да предотвратите манипулирането на подкани. Редовно актуализирайте и прецизирайте LLM, за да подобрите разбирането му за злонамерени входни данни и крайни случаи. Наблюдавайте и записвайте взаимодействията на LLM, за да откривате и анализирате потенциални опити за въвеждане на подкана.
Задължителна прозрачност във веригата за доставки на изкуствен интелект: Чрез ясни и открити практики оценете всички области, в които ИИ може да влезе в контакт с данните на вашата организация, включително чрез партньори и доставчици от трети страни. Използвайте партньорските взаимоотношения и междуфункционалните екипи за киберрискове, за да проучите наученото и да отстраните всички произтичащи от това пропуски. Поддържането на текущите програми за нулево доверие и управление на данните е по-важно от всякога в ерата на изкуствения интелект.
Фокусирайте се върху комуникациите: Лидерите, отговарящи за киберриска, трябва да признаят, че служителите са свидетели на въздействието и ползите от изкуствения интелект в личния си живот и естествено ще искат да проучат възможностите за прилагане на подобни технологии в хибридна работна среда. CISO и други лидери, управляващи киберриска, могат активно да споделят и разпространяват политиките на организациите си за използването и рисковете от ИИ, включително кои инструменти за ИИ са одобрени за предприятието и кои са точките за контакт за достъп и информация. Проактивните комуникации помагат на служителите да бъдат информирани и овластени, като същевременно намаляват риска от контакт на неуправляем изкуствен интелект с ИТ активи на предприятието.
Получете повече информация за изкуствения интелект от Хома Хайатафар, главен мениджър "Данни и приложни науки", мениджър "Анализ на откриването".
Традиционните инструменти вече не са в крак със заплахите от страна на киберпрестъпниците. Нарастващата скорост, мащаб и сложност на последните кибератаки изискват нов подход към сигурността. Освен това, предвид недостига на работна сила в областта на киберсигурността и нарастващата честота и сериозност на киберзаплахите, преодоляването на този недостиг на умения е спешна необходимост.
ИИ може да наклони везните в полза на защитниците. Едно неотдавнашно проучване на Microsoft Copilot за защита (в момента в предварителен тест с клиенти) показа повишена бързина и точност на анализаторите по сигурността, независимо от тяхното ниво на експертни познания, при общи задачи като идентифициране на скриптове, използвани от нападатели, създаване на доклади за инциденти и определяне на подходящи стъпки за отстраняване на нередности.1
- [1]
Методология:1 Снимковите данни представляват рандомизирано контролирано проучване (RCT), в което тествахме 149 души, за да измерим въздействието върху производителността от използването на Microsoft Copilot за защита. В това RCT ние дадохме Copilot на някои анализатори на случаен принцип, а на други - не, и след това извадихме техните резултати и настроения, за да получим ефекта на Copilot, отделен от всеки базов ефект. Участниците в теста имаха основни ИТ умения, но бяха начинаещи в областта на сигурността, така че можехме да проверим как Copilot помага на "начинаещите в кариерата" анализатори. Проучването на Microsoft Copilot за защита (RCT) е проведено от Службата на главния икономист на Microsoft, ноември 2023 г. Освен това Microsoft Entra ID предоставя анонимизирани данни за дейността, свързана със заплахи, например злонамерени имейл акаунти, фишинг имейли и движение на атакуващите в мрежите. Допълнителни прозрения са получени от 65 трилиона ежедневни сигнала за сигурност, получени в Microsoft, включително облака, крайните точки, интелигентната граница, нашата практика за възстановяване на защитата при компрометиране и екипите за откриване и реагиране, телеметрията от платформите и услугите на Microsoft, включително Microsoft Defender, и Отчета за дигитална защита на Microsoft за 2023 г.