Navigácia v oblasti kybernetických hrozieb a posilnenie obrany v ére AI
Svet kybernetickej bezpečnosti dnes prechádza obrovskou transformáciou. Na čele tejto zmeny stojí umelá inteligencia, ktorá predstavuje jednak hrozbu, jednak príležitosť. Na jednej strane môže umelá inteligencia ponúknuť organizáciám zbraň, ktorou odrazia kybernetické útoky strojovou rýchlosťou, ako aj podporiť inovácie a efektivitu pri detekcii, vyhľadávaní hrozieb a pri odozve na incidenty, na druhej strane ju ale útočníci môžu využiť pri svojich vykorisťovateľských útokoch. Bezpečné spôsoby navrhovania, nasadzovania a používania umelej inteligencie ešte nikdy neboli také dôležité.
V spoločnosti Microsoft skúmame, ako umelú inteligenciu využiť, aby sme zlepšili svoje opatrenia zabezpečenia, sprístupnili nové a pokročilé možnosti ochrany a vytvárali lepší softvér. Vďaka umelej inteligencii môžeme držať krok s vývojom hrozieb, okamžite zisťovať anomálie, neutralizovať riziká rýchlymi reakciami a prispôsobovať obranu potrebám organizácie.
Umelá inteligencia nám môže pomôcť aj v úsilí zvládnuť ďalšiu z najväčších výziev v odvetví. Vzhľadom na globálny nedostatok pracovníkov v oblasti kybernetickej bezpečnosti, keď na celom svete chýbajú približne 4 milióny odborníkov na kybernetickú bezpečnosť, sa umelá inteligencia môže ukázať ako kľúčový nástroj na riešenie nedostatku talentov a pomôcť zvýšiť produktivitu ochrancov kybernetickej bezpečnosti.
V jednej z našich štúdií sa už potvrdilo, ako môže Copilot pre zabezpečenie pomôcť bezpečnostným analytikom bez ohľadu na ich úroveň odbornosti – vo všetkých úlohách dosiahli účastníci o 44 % vyššiu presnosť a o 26 % väčšiu rýchlosť.
V snahe zaistiť bezpečnosť v budúcnosti musíme nájsť tú správnu strednú cestu, aby sme sa vedeli na umelú inteligenciu bezpečne pripraviť a využívať jej výhody, pretože umelá inteligencia dokáže pozdvihnúť ľudský potenciál a vyriešiť niektoré z našich najzávažnejších výziev.
Bezpečnejšia budúcnosť s umelou inteligenciou si bude vyžadovať zásadný pokrok v softvérovom inžinierstve. Základným prvkom každej stratégie v oblasti zabezpečenia bude musieť byť schopnosť porozumieť a čeliť hrozbám vyplývajúcim z umelej inteligencie. Zároveň bude nutné spoločné úsilie o budovanie intenzívnej spolupráce a partnerstiev medzi verejným a súkromným sektorom v boji proti škodlivým aktérom.
V rámci tejto snahy a ako súčasť našej vlastnej iniciatívy Secure Future Initiativednes organizácia OpenAI a spoločnosť Microsoft zverejňujú nové spravodajské informácie podrobne opisujúce pokusy zdrojov hrozieb testovať a skúmať možnosti využitia veľkých jazykových modelov (LLM) v technikách útokov.
Dúfame, že tieto informácie budú užitočné pre všetky odvetvia, keďže na bezpečnejšej budúcnosti pracujeme všetci spoločne. Pretože v konečnom dôsledku je ochrancom kybernetickej bezpečnosti každý z nás.
Bret Arsenault,
viceprezident spoločnosti, hlavný poradca pre kybernetickú bezpečnosť
viceprezident spoločnosti, hlavný poradca pre kybernetickú bezpečnosť
Pozrite si digitálny prehľad Cyber Signals, v ktorom sa viceprezidentka pre zabezpečenie od spoločnosti Microsoft pre podniky Vasu Jakkalová zhovára s kľúčovými expertmi na analýzu hrozieb o tom, aké kybernetické hrozby prináša vek umelej inteligencie, ako spoločnosť Microsoft umelú inteligenciu využíva pri vylepšovaní zabezpečenia a ako môžu organizácie posilniť svoju obranu.
Útočníci skúmajú možnosti technológií umelej inteligencie
Prostredie kybernetických hrozieb sa stále viac zauzľuje, pretože útočníci sú čoraz zanietenejší, sofistikovanejší a čoraz lepšie vybavení. Zdroje hrozieb rovnako ako ochrancovia kybernetickej bezpečnosti obracajú pozornosť na umelú inteligenciu vrátane veľkých jazykových modelov v snahe zvýšiť svoju produktivitu a využiť dostupné platformy, ktoré by mohli poslúžiť ich cieľom a technikám útoku.
Keďže prostredie hrozieb sa veľmi rýchlo vyvíja, dnes oznamujeme zásady spoločnosti Microsoft, ktorými sa riadia naše opatrenia na zmierňovanie rizika spojeného so zdrojmi hrozieb, a to aj pokiaľ ide o pokročilé pretrvávajúce hrozby, pokročilých pretrvávajúcich manipulátorov a syndikáty počítačových zločincov využívajúce platformy umelej inteligencie a rozhrania API. Tieto zásady zahŕňajú identifikáciu a opatrenia proti zneužívaniu umelej inteligencie zo strany škodlivých zdrojov hrozieb, oznámenia ostatným poskytovateľom služieb umelej inteligencie, spoluprácu s ostatnými zainteresovanými stranami a transparentnosť.
Rôzne zdroje hrozieb majú síce odlišný motív a rozličnú mieru sofistikovanosti, ale pri uskutočňovaní útokov majú spoločné úlohy. Napríklad prieskum (skúmanie odvetvia, lokalít a vzťahov potenciálnych obetí), kódovanie vrátane zdokonaľovania softvérových skriptov a vývoja škodlivého softvéru či pomoc pri učení sa a používaní ľudských aj strojových jazykov.
Snaha národných štátov využívať umelú inteligenciu
V spolupráci s organizáciou OpenAI zverejňujeme analýzu hrozieb poukazujúcu na odhalených útočníkov napojených na národné štáty, ktorí rozširujú svoje kybernetické operácie s využitím veľkých jazykových modelov – sledujeme ich pod názvami Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon a Salmon Typhoon.
Cieľom výskumného partnerstva spoločnosti Microsoft s organizáciou OpenAI je zaistiť bezpečné a zodpovedné používanie technológií umelej inteligencie, ako je ChatGPT, a dodržiavať najvyššie etické štandardy ich používania s cieľom chrániť komunitu pred potenciálnym zneužitím.
Forest Blizzard (STRONTIUM)je vysoko efektívny aktér ruskej vojenskej rozviedky napojený na Hlavné riaditeľstvo Generálneho štábu ozbrojených síl Ruskej federácie, resp. na vojenskú jednotku GRU 26165. Terčom útokov tejto skupiny sa stali obete, ktoré majú pre ruskú vládu taktický a strategický význam. Jej aktivity sa zameriavajú na široké spektrum odvetví vrátane obrany, dopravy/logistiky, štátnej správy, energetiky, mimovládnych organizácií a informačných technológií
Emerald Sleet (Velvet Chollima) je severokórejský zdroj hrozby, o ktorom spoločnosť Microsoft zistila, že sa vydáva za renomované akademické inštitúcie a mimovládne organizácie, aby od obetí vylákala expertízu a komentáre týkajúce sa zahraničnej politiky voči Severnej Kórei.
Emerald Sleet využíva veľké jazykové modely na získavanie informácií od think tankov a expertov vzťahujúcich sa na Severnú Kóreu, ako aj na generovanie obsahu, ktorý sa pravdepodobne používa v kampaniach cieleného neoprávneného získavania údajov. Skupina tiež využívala veľké jazykové modely, aby porozumela verejne známym zraniteľnostiam, riešila technické problémy, ako aj na pomoc pri používaní rôznych webových technológií.
Crimson Sandstorm (CURIUM) je iránsky zdroj hrozby, o ktorom sa usudzuje, že je napojený na Zbor iránskych revolučných gárd (IRGC). Pokiaľ ide o využívanie veľkých jazykových modelov, išlo o žiadosti o podporu v oblasti sociálneho inžinierstva, pomoc pri riešení chýb, vývoj .NET a hľadanie spôsobov, ako sa útočník v zneužitom počítači môže vyhnúť odhaleniu.
Charcoal Typhoon (CHROMIUM) je zdroj hrozby napojený na Čínu a prevažne sa zameriava na sledovanie skupín stavajúcich sa proti politike Číny na Taiwane, v Thajsku, Mongolsku, Malajzii, vo Francúzsku, v Nepále a na sledovanie jednotlivcov na celom svete. V nedávnych operáciách bolo pozorované, že Charcoal Typhoon využíva veľké jazykové modely na uskutočňovanie výskumu s cieľom získať poznatky o konkrétnych technológiách, platformách a zraniteľnostiach, čo svedčí o fázach predbežného zhromažďovania informácií.
Ďalšia skupina podporovaná Čínou, Salmon Typhoon, počas roka 2023 vyhodnocovala účinnosť využívania veľkých jazykových modelov na získavanie informácií o potenciálne citlivých témach, vysokopostavených osobách, regionálnej geopolitickej situácii, vplyve USA a vnútorných záležitostiach. Tento „nástrel“ používania veľkých jazykových modelov by mohol naznačovať rozširovanie súboru jej nástrojov na zhromažďovanie spravodajských informácií, ako aj experimentálnu etapu, v ktorej skupina posudzuje možnosti nových technológií.
V spoločnomvýskume s organizáciou OpenAI sme nezaznamenali významné útoky s využitím veľkých jazykových modelov, ktoré pozorne sledujeme.
Prijali sme opatrenia, aby sme narušili prostriedky a kontá prepojené s týmito zdrojmi hrozieb a aby sme okolo svojich modelov budovali ochranné zábrany a bezpečnostné mechanizmy.
Objavujú sa ďalšie hrozby súvisiace s umelou inteligenciou
Ďalší závažný problém predstavujú podvody založené na umelej inteligencii. Príkladom je hlasová syntéza, ktorá umožňuje pomocou trojsekundovej vzorky hlasu vytrénovať model tak, aby znel ako ktorákoľvek skutočná osoba. Ako dostatočná vzorka môžu poslúžiť aj úplne neškodné veci ako pozdrav v hlasovej schránke.
To, ako spolu komunikujeme a obchodujeme, z veľkej časti stojí na overovaní identity, napríklad na rozpoznávaní hlasu, tváre, e-mailovej adresy alebo štýlu písania.
Je veľmi dôležité pochopiť, ako škodliví aktéri zneužívajú umelú inteligenciu na narúšanie dlhodobých systémov overovania identity, aby sme dokázali riešiť zložité podvody a čeliť ďalším novým hrozbám sociálneho inžinierstva, ktorých podstatou je skrývanie identity.
Umelá inteligencia môže zároveň spoločnostiam pomáhať v snahe prekaziť pokusy o podvod. Hoci spoločnosť Microsoft ukončila spoluprácu s istou brazílskou spoločnosťou, naše systémy umelej inteligencie zistili, že sa snažila znovu vojsť do nášho ekosystému ako iný subjekt.
Skupina sa neustále pokúšala zamaskovať svoje informácie, zatajiť vlastnícke korene a znovu vstúpiť so systémov, ale naše detekcie založené na umelej inteligencii podvodnú spoločnosť označili vyše desiatimi rizikovými signálmi a dokázali ju prepojiť s podozrivým správaním, ktoré bolo pozorované v minulosti, čím boli jej pokusy zmarené.
Spoločnosť Microsoft je odhodlaná zodpovedne využívať umelú inteligenciu pod vedením človeka , pri ktorej sa dbá na ochranu osobných údajov a zabezpečenie, ľudský dohľad, vyhodnocovanie výziev a interpretovanie zásad a predpisov.
Vzdelávanie zamestnancov a verejnosti o kybernetických rizikách:
- Používanie politík podmieneného prístupu: Tieto politiky poskytujú jasné, samostatne fungujúce sprievodné materiály na posilnenie úrovne zabezpečenia tak, aby boli nájomníci automaticky chránení na základe rizikových signálov, licencií a používania. Politiky podmieneného prístupu sa dajú prispôsobiť a upravujú sa podľa meniaceho sa prostredia kybernetických hrozieb.
- Zaškoľovanie a preškoľovanie zamestnancov v súvislosti s taktikami sociálneho inžinierstva: Treba vzdelávať zamestnancov aj verejnosť, aby vedeli rozpoznať phishingové e-maily, vishing (systém hlasovej pošty), smishing či útoky sociálneho inžinierstva (SMS/textové správy), reagovať na ne a aby dodržiavali najvhodnejšie postupy zabezpečenia pre Microsoft Teams.
- Dôsledná ochrana údajov: Zaistite ochranu údajov a zachovanie kontroly nad nimi v rámci celého systému.
- Využívanie nástrojov zabezpečenia založených na generatívnej umelej inteligencii: Nástroje ako Microsoft Copilot pre zabezpečenie môžu rozšíriť spôsobilosti a zlepšiť úroveň zabezpečenia organizácie.
- Zavedenie viacfaktorového overovania: Povoľte viacfaktorové overovanie pre všetkých používateľov, najmä pre funkcie správcov, pretože to znižuje riziko prevzatia kontroly nad kontom o viac ako 99 %.
Ochrana pred útokmi
Spoločnosť Microsoft je vždy o krok vpredu vďaka komplexnému zabezpečeniu v kombinácii s generatívnou umelou inteligenciou
Spoločnosť Microsoft odhaľuje obrovské objemy škodlivej aktivity – viac než 65 biliónov kybernetickobezpečnostných signálov denne. Umelá inteligencia zvyšuje našu schopnosť analyzovať tieto informácie a zabezpečiť, aby sa vynorili najcennejšie poznatky, ktoré pomôžu zastaviť hrozby. Tieto signálové informácie využívame aj ako základ generatívnej umelej inteligencie pre pokročilú ochranu pred bezpečnostnými hrozbami, zabezpečenie údajov a identít, aby sme ochrancom kybernetickej bezpečnosti pomohli zachytiť to, čo ostatní prehliadnu.
Spoločnosť Microsoft uplatňuje viacero metód, aby chránila seba i svojich zákazníkov pred kybernetickými hrozbami, napríklad detekciu hrozieb s podporou umelej inteligencie, ktorá odhaľuje zmeny v spôsobe využívania zdrojov alebo zmeny v aktivite v sieti; behaviorálnu analýzu na odhalenie rizikových prihlasovacích údajov a nezvyčajného správania; modely strojového učenia na odhaľovanie rizikových prihlasovacích údajov a škodlivého softvéru; modely nulovej dôvery (Zero Trust), pri ktorých musí byť každá žiadosť o prístup plne overená, oprávnená a zašifrovaná, a overovanie stavu zariadenia pred jeho pripojením k podnikovej sieti.
Zdroje hrozieb dobre vedia, že spoločnosť Microsoft sa dôsledne chráni používaním viacfaktorového overovania – všetci naši zamestnanci fungujú v režime viacfaktorového overovania alebo bezheslovej ochrany –, pozorujeme však, že útočníci v snahe zneužiť našich zamestnancov siahajú po sociálnom inžinierstve.
Zameriavajú sa pritom na aktívne body súvisiace s oblasťami, kde sa sprostredkúvajú hodnotné veci, napríklad bezplatné skúšobné verzie alebo akciové ceny služieb či produktov. V týchto oblastiach sa útočníkom neoplatí kradnúť predplatné po jednom, preto sa pokúšajú svoje útoky operacionalizovať a rozšíriť bez odhalenia.
Samozrejme, vytvárame modely umelej inteligencie na odhaľovanie týchto útokov v rámci spoločnosti Microsoft aj u našich zákazníkov. Odhaľujeme falošné študentské a školské kontá, falošné spoločnosti alebo organizácie, ktoré si zmenili firmografické údaje alebo zatajili svoju skutočnú identitu, aby sa vyhli sankciám, obišli kontroly alebo zakryli minulú trestnú činnosť, napríklad odsúdenia za korupciu, pokusy o krádež atď.
Používanie nástrojov GitHub Copilot, Microsoft Copilot pre zabezpečenie a ďalších chatovacích funkcií Copilot, ktoré sú integrované v našej internej inžinierskej a operačnej infraštruktúre, pomáha predchádzať incidentom, ktoré by mohli ovplyvniť chod spoločnosti.
S cieľom riešiť e-mailové hrozby spoločnosť Microsoft zlepšuje možnosti zbierania signálov o ďalších aspektoch okrem štruktúry e-mailu, podľa ktorých možno zistiť, či ide o škodlivý e-mail. Keď sa umelá inteligencia dostala do rúk zdrojom hrozieb, začalo cirkulovať množstvo dokonale napísaných e-mailov bez očividných jazykových a gramatických chýb, ktoré sú často indikátorom pokusu o phishingový útok, takže je ťažšie takéto útoky odhaľovať.
V boji proti sociálnemu inžinierstvu, ktoré sa ako jediné na 100 % opiera o ľudskú chybu, je nutné neustále vzdelávať zamestnancov a viesť kampane na zvyšovanie povedomia verejnosti. História nás naučila, že účinné kampane na zvyšovanie povedomia verejnosti sú účinným nástrojom na zmenu správania.
Spoločnosť Microsoft predpokladá, že pomocou umelej inteligencie sa budú vyvíjať taktiky sociálneho inžinierstva a vytvárať sofistikovanejšie útoky vrátane podvodov typu deepfake a klonovania hlasu, najmä ak útočníci zistia, že technológie umelej inteligencie dokážu fungovať bez zodpovedných postupov a zabudovaných kontrol zabezpečenia.
Kľúčom k boju proti všetkým kybernetickým hrozbám, či už tradičným, alebo založeným na umelej inteligencii, je prevencia.
Odporúčania:
Preverujte dodávateľov pomocou umelej inteligencie a priebežne vyhodnocujte, či spĺňajú požiadavky: Pri zavádzaní akejkoľvek umelej inteligencie vo vašom podniku sa pozrite na zabudované funkcie príslušných dodávateľov, ktoré umožňujú rozšíriť prístup k umelej inteligencii pre zamestnancov a tímy používajúce danú technológiu, aby ste podporili prijatie umelej inteligencie bezpečným a zhodným spôsobom. Spojte všetky zainteresované strany v celej organizácii, ktorých sa dotýkajú kybernetické riziká, aby sa spoločne dohodli na vopred určených prípadoch, v ktorých zamestnanci môžu používať umelú inteligenciu, a na riadení prístupu. Lídri v oblasti rizík a manažéri informačnej bezpečnosti by mali pravidelne určovať, či sú dané prípady použitia a politiky primerané, resp. či ich treba zmeniť vzhľadom na vývoj cieľov a poznatkov.
Chráňte sa pred vkladaním príkazov: Implementujte prísne overovanie a prečisťovanie vstupov, pokiaľ ide o príkazy zadávané používateľmi. Používajte kontextové filtrovanie a výstupné kódovanie, aby ste zabránili manipulácii s príkazmi. Pravidelne aktualizujte a vylaďujte veľké jazykové modely, aby ste zlepšili ich schopnosť porozumieť škodlivým vstupom a prípadom vyskytujúcim sa na hrane. Monitorujte a zaznamenávajte interakcie veľkých jazykových modelov, aby ste mohli odhaliť a analyzovať potenciálne pokusy o vloženie príkazu.
Trvajte na transparentnosti v celom dodávateľskom reťazci umelej inteligencie: Na základe jasných a otvorených postupov posudzujte všetky oblasti, v ktorých môže umelá inteligencia prísť do kontaktu s údajmi vašej organizácie, a to aj prostredníctvom partnerov a dodávateľov tretích strán. Využívajte vzťahy s partnermi a prierezové funkcie tímov pre kybernetické riziká, aby ste preskúmali získané poznatky a odstránili všetky vyplývajúce nedostatky. V ére umelej inteligencie je udržiavanie súčasných programov nulovej dôvery (Zero Trust) a riadenia údajov dôležitejšie než kedykoľvek predtým.
Venujte pozornosť komunikácii: Lídri v oblasti kybernetických rizík si musia uvedomiť, že zamestnanci cítia vplyv a prínosy umelej inteligencie vo svojom osobnom živote a budú prirodzene chcieť preskúmať využívanie podobných technológií aj v prostrediach hybridnej práce. Manažéri informačnej bezpečnosti a ďalší lídri riadiaci kybernetické riziká môžu aktívne zdieľať a posilňovať politiky svojej organizácie týkajúce sa používania a rizík umelej inteligencie, napríklad aj pokiaľ ide o to, ktoré špecifické nástroje umelej inteligencie sú v podniku schválené a na aké kontaktné miesta sa možno obrátiť v súvislosti s prístupom a informáciami. Aktívna komunikácia pomáha zaistiť, aby mali zamestnanci správne informácie a boli v správnej pozícii, pričom súčasne znižuje riziko, že umožnia nespravovanej umelej inteligencii kontakt s podnikovými IT aktívami.
Získajte viac informácií o umelej inteligencii od Homy Hayatyfarovej, hlavnej manažérky pre údaje a aplikovanú vedu a manažérky pre analýzu detekcie.
Tradičné nástroje už hrozbám, ktoré predstavujú počítačoví zločinci, nestačia. Rastúce tempo, rozsah a sofistikovanosť nedávnych kybernetických útokov si vyžadujú nový prístup k zabezpečeniu. Okrem toho vzhľadom na nedostatok pracovníkov v oblasti kybernetickej bezpečnosti a stupňujúcu sa frekvenciu a závažnosť kybernetických hrozieb je riešenie tohto problému s chýbajúcimi zručnosťami naliehavou potrebou.
Práve umelá inteligencia môže nakloniť misky váh v prospech ochrancov. V nedávnej štúdii o službe Microsoft Copilot pre zabezpečenie (ktorá sa aktuálne testuje u zákazníkov) sa ukázalo, že bezpečnostní analytici dosahujú v rozličných bežných úlohách, ako je identifikácia skriptov používaných útočníkmi, vypracúvanie správ o incidentoch a určovanie vhodných krokov na nápravu, vyššiu rýchlosť a presnosť, a to bez ohľadu na úroveň odbornosti.1
- [1]
Metodika:1 Snímkové údaje predstavujú náhodne vybranú kontrolovanú skupinu, v ktorej sme testovali 149 osôb s cieľom zmerať vplyv používania služby Microsoft Copilot pre zabezpečenie na produktivitu. V rámci tejto skupiny sme na základe náhodného výberu niektorých analytikom poskytli službu Copilot a iným nie. Potom sme odčítali ich výkon a pocitové vnímanie, na základe čoho sme dospeli k účinku služby Copilot, ktorý je oddelený od všetkých základných vplyvov. Osoby zúčastnené na testovaní mali základné IT zručnosti, ale v oblasti zabezpečenia to boli nováčikovia, takže sme mohli otestovať, ako Copilot pomáha „začínajúcim“ analytikom. Náhodne vybranú kontrolovanú skupinu so službou Microsoft Copilot pre zabezpečenie realizovalo oddelenie hlavného ekonóma spoločnosti Microsoft v novembri 2023. Okrem toho poskytla služba Microsoft Entra ID anonymizované údaje o aktivitách hrozieb, ako sú škodlivé e-mailové kontá, phishingové e-maily a pohyb útočníkov v sieťach. Ďalšie poznatky pochádzajú zo 65 biliónov denných bezpečnostných signálov získaných v rámci spoločnosti Microsoft vrátane cloudu, koncových bodov, inteligentnej hrany, našich tímov pre zotavenie po ohrození zabezpečenia a pre detekciu a reakciu, telemetrie z platformy a služieb spoločnosti Microsoft, a to aj zo služby Microsoft Defender, a z Microsoft Správy o digitálnej ochrane z roku 2023.