Orientēšanās kiberapdraudējumos un aizsardzības stiprināšana AI laikmetā
Šobrīd kiberdrošības pasaulē notiek ievērojama transformācija. Mākslīgais intelekts (AI) ir šo izmaiņu priekšplānā, radot gan draudus, gan iespējas. Lai arī AI piemīt potenciāls nodrošināt organizācijām iespēju apkarot kiberuzbrukumus datora darbības ātrumā, virzīt jauninājumu ieviešanu un uzlabot draudu noteikšanas, medīšanas un atbildes uz incidentiem efektivitāti, pretinieki AI var izmantot ļaunprātīgos nolūkos. AI izstrāde, izvietošana un droša lietošana vēl nekad nav bijusi tik kritiski svarīga.
Korporācijā Microsoft darbinieki pēta AI potenciālu drošības pasākumu veicināšanā, jaunu un uzlabotu aizsardzību iegūšanā, kā arī labākas programmatūras veidošanā. Izmantojot AI, mēs spējam pielāgoties mainīgajiem draudiem, uzreiz noteikt anomālijas, ātri atbildēt, neitralizējot riskus, un pielāgot aizsardzību organizācijas vajadzībām.
AI var palīdzēt pārvarēt arī citus nozares lielākos izaicinājumus. Ņemot vērā globālo kiberdrošības darbaspēka trūkumu (visā pasaulē ir aptuveni 4 miljoni kiberdrošības speciālistu vakanču), AI ir potenciāls kļūt par galveno rīku speciālistu trūkuma novēršanai un palīdzības sniegšanai, uzlabojot aizsargātāju produktivitāti.
Vienā pētījumā jau ir konstatēts, ka Copilot drošībai var palīdzēt drošības analītiķiem neatkarīgi no viņu pieredzes līmeņa visos uzdevumos. Dalībnieku precizitāte uzlabojās par 44 procentiem, bet ātrums — par 26 procentiem.
Tā kā mēs vēlamies drošāku nākotni, mums ir jānodrošina līdzsvars starp drošu sagatavošanos darbam ar AI un tā priekšrocību izmantošanu, jo AI var palielināt cilvēku iespējas un atrisināt dažas no mūsu nopietnākajām problēmām.
Drošākai nākotnei ar AI būs nepieciešami fundamentāli sasniegumi programmatūras inženierijā. Mums būs jāizprot AI vadīti draudi kā svarīgi jebkuras drošības stratēģijas komponenti un jāvēršas pret tiem. Mums jāstrādā kopā, veidojot padziļinātu sadarbību un partnerības publiskajā un privātajā sektorā, lai apkarotu ļaunprātīgus izpildītājus.
Šo centienu un mūsuDrošas nākotnes iniciatīvas ietvaros OpenAI un Microsoft jau šodien publicē jaunu informāciju, kurā detalizēti norādīti draudu izpildītāju mēģinājumi testēt un izpētīt lielu valodas modeļu (LLM) noderīgumu uzbrukumu metodēs.
Ceram, ka šī informācija būs noderīga dažādās nozarēs, jo mēs visi strādājam drošākas nākotnes labā. Galu galā mēs visi esam aizsargi.
Brets Arsenolts (Bret Arsenault),
korporatīvais viceprezidents, galvenais kiberdrošības konsultants
korporatīvais viceprezidents, galvenais kiberdrošības konsultants
Noskatieties Kibersignālu digitālo kopsavilkumu, kurā Microsoft drošības biznesa korporatīvā viceprezidente Vasu Džakala (Vasu Jakkal) intervē galvenos draudu informācijas ekspertus par kiberdraudiem AI laikmetā, veidiem, kā Microsoft izmanto AI uzlabotai drošībai, un ko organizācijas var darīt, lai palīdzētu stiprināt aizsardzību.
Uzbrucēji pēta AI tehnoloģijas
Kiberapdraudējuma vide kļūst arvien sarežģītāka, uzbrucējiem kļūstot arvien motivētākiem, gudrākiem un labāk finansētiem. Gan draudu izpildītāji, gan aizsargātāji vēlas, lai AI, tostarp LLM, uzlabo viņu produktivitāti, un izmanto pieejamās platformas, kas varētu būt piemērotas viņu mērķiem un uzbrukuma metodēm.
Ņemot vērā straujo draudu vides attīstību, mēs šodien paziņojam Microsoft principus, kas nosaka rīcību, lai samazinātu draudu izpildītāju radītos riskus, tostarp rafinētus noturīgus draudus (APT), uzlabotos pastāvīgos manipulatorus (APM) un kibernoziedznieku sindikātus, kas izmanto AI platformas un API. Šie principi ietver ļaunprātīgu draudu izpildītāju AI izmantošanas gadījumu identificēšanu un vēršanos pret tiem, paziņojumus citiem AI pakalpojumu sniedzējiem, sadarbību ar citām ieinteresētajām pusēm un pārskatāmību.
Lai arī draudu izpildītāju motīvi un paņēmienu sarežģītība atšķiras, viņi veic vienādas darbības, izvēršot uzbrukumus. Tās ietver izlūkošanu, piemēram, potenciālo upuru nozaru, atrašanās vietu, attiecību pētīšanu; kodēšanu, tostarp programmatūras skriptu uzlabošanu un ļaunprogrammatūras izstrādi; palīdzību ar mācībām un gan cilvēku valodas, gan mašīnvalodas izmantošanu.
Valstu mēģinājumi izmantot AI
Sadarbojoties ar OpenAI, mēs dalāmies ar draudu informāciju, kas atklāj noteiktos, ar valstīm saistītos pretiniekus (tiek izsekoti kā Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon un Salmon Typhoon), kas izmanto LLM, lai paplašinātu kiberoperācijas.
Microsoft un OpenAI kopīgi veikto pētījumu mērķis ir gādāt par drošu un atbildīgu tādu AI tehnoloģiju lietošanu kā ChatGPT, kas atbilst augstākajiem ētiskas lietošanas standartiem, aizsargājot kopienu no potenciālas ļaunprātīgas izmantošanas.
Forest Blizzard (STRONTIUM) ir ļoti efektīvs Krievijas militārās informācijas ieguvējs, kas ir saistīts ar Krievijas armijas ģenerālštāba galveno pārvaldi jeb GRU vienību 26165 un ir uzbrucis upuriem, par kuriem Krievijas valdībai bija taktiska un stratēģiska interese. Tas darbojas dažādās nozarēs, tostarp aizsardzībā, transportēšanā/loģistikā, valsts pārvaldē, enerģētikā, NVO un informācijas tehnoloģiju jomā.
Emerald Sleet (Velvet Chollima) ir Ziemeļkorejas draudu izpildītājs. Microsoft atklāja, ka tas uzdodas par cienījamām akadēmiskām iestādēm un nevalstiskām organizācijām, lai izvilinātu no upuriem atbildes, izmantojot ekspertu ieskatus un komentārus par ārvalstu politikām saistībā ar Ziemeļkoreju.
Emerald Sleet izmantoja LLM, lai pētītu domnīcas un ekspertus Ziemeļkorejas jautājumos, kā arī veidotu saturu, ko visdrīzāk izmantotu mērķētas pikšķerēšanas kampaņās. Emerald Sleet arī mijiedarbojās ar LLM, lai izprastu publiski zināmas ievainojamības, novērstu tehniskas problēmas un palīdzētu saistībā ar dažādu tīmekļa tehnoloģiju lietošanu.
Crimson Sandstorm (CURIUM) ir Irānas draudu izpildītājs. Tiek uzskatīts, ka tas ir saistīts ar Islāma revolucionāro gvardu korpusiem (IRGC). LLM lietošana izpaudās kā atbalsta pieprasījumi saistībā ar sociālo inženieriju, palīdzību kļūdu novēršanā, .NET izstrādi un paņēmieniem, kā uzbrucējs varētu izvairīties no atklāšanas, atrodoties uzlauztā datorā.
Charcoal Typhoon (CHROMIUM) ir ar Ķīnu saistīts draudu izpildītājs, kas pārsvarā pievērsies grupu izsekošanai Taivānā, Taizemē, Mongolijā, Malaizijā, Francijā,Nepālā un Ķīnas opozicionāru izsekošanai visā pasaulē. Veicot nesenākās darbības, tika novērots, ka Charcoal Typhoon izmantoja LLM, lai gūtu ieskatus par pētījumiem un izprastu konkrētas tehnoloģijas, platformas un ievainojamības, kas liecināja par sākotnējiem informācijas vākšanas posmiem.
Vēl viena Ķīnas atbalstīta grupa Salmon Typhoon 2023. gada laikā ir vērtējusi LLM lietošanas efektivitāti, lai iegūtu informāciju par potenciāli sensitīvām tēmām, populārām personām, reģionālo ģeopolitiku, ASV ietekmi un iekšlietām. Varbūtējā LLM izmantošana varētu liecināt gan par grupas informācijas vākšanas rīku paplašināšanos, gan eksperimentālu posmu attīstošos tehnoloģiju iespēju novērtēšanā.
Mūsu pētījumā, ko veicām kopā ar OpenAI, netika identificēti nozīmīgi uzbrukumi, kuros būtu izmantoti LLM, ko uzmanīgi novērojam.
Mēs esam veikuši pasākumus, lai pārtrauktu ar šiem draudu izpildītājiem saistīto resursu un kontu izmantošanu un izveidotu aizsardzību un drošības mehānismus ap mūsu modeļiem.
Citu ar AI saistītu apdraudējumu rašanās
Mākslīgā intelekta izmantošana krāpšanā ir vēl viena kritiski svarīga problēma. Viens šāds piemērs ir balss sintezēšana — izmantojot trīs sekunžu ilgu balss paraugu, var apmācīt modeli, lai tas izklausītos pēc jebkura cilvēka. Pat kaut kas tik nevainīgs kā jūsu balss pasta sveiciens var tikt izmantots, lai iegūtu pietiekamu paraugu.
Mijiedarbībā ar citiem un uzņēmējdarbības veikšanā bieži tiek izmantota identitātes pierādīšana, piemēram, personas balss, sejas, e-pasta adreses vai rakstīšanas stila atpazīšana.
Ir svarīgi saprast, kā ļaunprātīgi izpildītāji izmanto AI, lai kaitētu ilgi izmantotām identitātes pārbaudes sistēmām, ar kurām varam atmaskot sarežģītus krāpšanas gadījumus un citus attīstošos sociālās inženierijas apdraudējumus, kas maskē identitātes.
AI var arī izmantot, lai palīdzētu uzņēmumiem pārtraukt krāpšanas mēģinājumus. Lai arī Microsoft pārtrauca sadarbību ar uzņēmumu Brazīlijā, mūsu AI sistēmas noteica mēģinājumus pārveidot uzņēmumu, lai atgrieztos mūsu ekosistēmā.
Grupa pastāvīgi mēģināja maskēt savu informāciju, slēpt īpašnieku izcelsmi un atkārtoti iekļūt ekosistēmā, taču mūsu AI izmantoja dučiem riska signālu, lai atzīmētu krāpniecisko uzņēmumu un sasaistītu to ar iepriekš atpazīto aizdomīgo izturēšanos, tādējādi bloķējot mēģinājumus.
Korporācija Microsoft ir apņēmusies atbildīgi izmantot cilvēka vadītu AI , ievērojot konfidencialitāti un drošību un iesaistot cilvēkus, kas veic pārraudzību, izvērtē apelācijas un interpretē politikas un noteikumus.
Darbinieku un sabiedrības izglītošana par kiberriskiem
- Nosacīto piekļuves politiku izmantošana. Šīs politikas nodrošina skaidras, pašizvietojošās norādes jūsu drošības stāvokļa stiprināšanai, automātiski aizsargājot nomniekus, pamatojoties uz riska signāliem, licencēšanu un lietojumu. Nosacītās piekļuves politikas ir pielāgojamas, un tās piemērosies mainīgajai kiberapdraudējuma videi.
- Darbinieku regulāra apmācība par sociālās inženierijas taktikām. Izglītojiet darbiniekus un sabiedrību, lai cilvēki atpazītu pikšķerēšanas e-pasta ziņojumus, bikšķerēšanu (balss pasts), smikšķerēšanu (SMS/teksts), sociālās inženierijas uzbrukumus, kā arī izmantojiet labāko drošības praksi pakalpojumam Microsoft Teams.
- Stingra datu aizsardzība. Nodrošiniet datu konfidencialitāti un kontroli visā to apstrādes procesā.
- Ģeneratīvā mākslīgā intelekta rīku izmantošana. Tādi rīki kā Microsoft Copilot drošībai var paplašināt iespējas un uzlabot organizācijas drošības stāvokli.
- Daudzfaktoru autentifikācijas iespējošana. Iespējojiet daudzfaktoru autentifikāciju visiem lietotājiem, jo īpaši tiem, kas veic administratora funkcijas, jo tā par 99 procentiem samazina konta pārņemšanas risku.
Aizsardzība pret uzbrukumiem
Microsoft ir soli priekšā ar visaptverošu drošību, kas apvienota ar ģeneratīvo mākslīgo intelektu
Microsoft konstatē milzīgu apjomu ļaunprātīga trafika — vairāk nekā 65 miljardus kiberdrošības signālu dienā. AI uzlabo mūsu spēju analizēt šo informāciju un nodrošināt, lai tiktu izcelti vērtīgākie ieskati, kas palīdzēs apturēt apdraudējumu. Mēs šo signālu informāciju izmantojam arī ģeneratīvā mākslīgā intelekta vajadzībām, nodrošinot uzlabotu pretdraudu aizsardzību, datu drošību un identitāšu drošību, lai palīdzētu aizsargātājiem uztvert to, ko citi nepamana.
Microsoft izmanto vairākas metodes, lai aizsargātu sevi un klientus no kiberapdraudējuma, tostarp AI nodrošinātu draudu noteikšanu, lai konstatētu izmaiņas resursu vai tīkla trafika lietošanā; uzvedības analīzi, lai noteiktu riskantas pierakstīšanās un anormālu uzvedību; mašīnmācīšanās (ML) modeļus, lai noteiktu riskantas pieteikšanās un ļaunprogrammatūru; nulles uzticamības modeļus, kad katra piekļuve ir pilnībā jāautentificē, jāautorizē un jāšifrē; ierīču darbspējas pārbaudi pirms savienojuma izveides ar korporatīvo tīklu.
Tā kā draudu izpildītāji saprot, ka Microsoft stingri izmanto daudzfaktoru autentifikāciju (MFA), lai aizsargātu sevi (visiem mūsu darbiniekiem ir iestatīta MFA vai bezparoles aizsardzība), ir novērots, ka uzbrucēji aktīvi izmanto sociālo inženieriju, mēģinot panākt, lai darbinieki pārkāptu drošības politiku.
Visbiežāk tas notiek tur, kur var iegūt kaut ko vērtīgu, piemēram, bezmaksas izmēģinājumversijas vai pakalpojumus un produktus ar akciju atlaidēm. Šādās jomās uzbrucējiem nav izdevīgi zagt pa vienam abonementam, tāpēc viņi mēģina rīkoties operatīvāk un paplašināt šādus uzbrukumus, uzmanoties, lai netiku pieķerti.
Mēs, protams, veidojam AI modeļus, kas nosaka šādus uzbrukumus korporācijai Microsoft un mūsu klientiem. Mēs konstatējam neīstus studentu un mācību kontus, neīstus uzņēmumus vai organizācijas, kas mainījušas sevi raksturojošus datus vai slēpj patieso identitāti, lai izvairītos no sankcijām, apietu kontroles pasākumus vai slēptu pagātnē veiktus kriminālpārkāpumus, piemēram, apsūdzību korupcijā, zagšanas mēģinājumus u.c.
Mūsu iekšējās inženierijas un darbības infrastruktūrā iebūvētā GitHub Copilot, Microsoft Copilot drošībai un citu līdzekļu lietošana palīdz novērst incidentus, kas varētu ietekmēt darbības.
Lai vērstos pret apdraudējumu e-pastā, Microsoft uzlabo spējas rūpīgi vākt signālus papildus e-pasta ziņojuma uzbūvei, lai izprastu, vai ziņojums ir ļaunprātīgs. Mākslīgajam intelektam nonākot draudu izpildītāju rokās, ir novērots nevainojami uzrakstītu e-pasta ziņojumu pieplūdums — tajos ir novērstas acīmredzamas valodas un gramatikas kļūdas, kas bieži vien atklāja pikšķerēšanas mēģinājumus. Tādējādi pikšķerēšanas mēģinājumus ir grūtāk noteikt.
Ir nepieciešamas pastāvīgas darbinieku izglītošanas un sabiedrības informēšanas kampaņas, kas palīdzētu apkarot sociālo inženieriju — ietekmes līdzekli, kas vienmēr izmanto cilvēku kļūdas. Vēsture ir pierādījusi, ka efektīvas informēšanas kampaņas darbojas un maina uzvedību.
Microsoft prognozē, ka AI attīstīs sociālās inženierijas taktiku, veidojot sarežģītākus uzbrukumus, tostarp dziļviltojumus un balss klonēšanu, jo īpaši, ja uzbrucēji atradīs AI tehnoloģijas, kas darbojas, neievērojot atbildīgu praksi un bez iebūvētiem drošības kontroles pasākumiem.
Novēršana ir svarīga cīņā ar visiem kiberapdraudējumiem — gan tradicionālajiem, gan AI nodrošinātajiem.
Ieteikumi
AI piegādātāju kontroles pasākumu izmantošana un pastāvīga to piemērotības novērtēšana. Jebkuram jūsu uzņēmumā ieviestajam AI izmantojiet attiecīgā piegādātāja iebūvētos līdzekļus, lai noteiktu AI piekļuves apjomu darbiniekiem un komandām, kas izmanto tehnoloģiju, lai veicinātu drošu un atbilstošu AI ieviešanu. Sapulciniet visas ar kiberrisku saistītos jautājumos ieinteresētās personas organizācijā, lai saskaņotu definētos gadījumus, kad darbinieki var izmantot AI, un piekļuves vadību. Risku vadītājiem un informācijas drošības vadītājiem būtu regulāri jānosaka, vai lietošanas gadījumi un politikas ir atbilstošas vai ir nepieciešamas izmaiņas, mainoties mērķiem un konstatējumiem.
Aizsardzība pret ātru iesprauduzbrukumu. Ieviesiet stingru ievades validēšanu un sanitizāciju lietotāju nodrošinātām uzvednēm. Izmantojiet kontekstam atbilstošu filtrēšanu un izvades kodēšanu, lai novērstu manipulācijas ar uzvednēm. Regulāri atjauniniet un uzlabojiet LLM, lai uzlabotu to izpratni par ļaunprātīgām ievadēm un robežgadījumiem. Pārraugiet un reģistrējiet LLM mijiedarbības, kas veiktas, lai noteiktu un analizētu potenciālos ātru iesprauduzbrukumu mēģinājumus.
Pārskatāmības nodrošināšana AI piegādes ķēdē. Izmantojiet skaidras un atklātas prakses, lai novērtētu visas jomas, kur AI var piekļūt jūsu organizācijas datiem, ieskaitot arī tās, kur piekļuve tiek nodrošināta ar trešo pušu partneru un piegādātāju starpniecību. Izmantojiet partneru attiecības un kiberriska komandas, kas veic dažādas funkcijas, lai izpētītu konstatējumus un novērst konstatētās nepilnības. AI laikmetā ir svarīgāk nekā jebkad iepriekš nodrošināt aktuālas nulles uzticamības un datu pārvaldības programmas.
Koncentrēšanās uz komunikāciju. Kiberrisku vadītājiem ir jāatzīst, ka darbinieki izjūt AI ietekmi un priekšrocības savā personīgajā dzīvē un, protams, vēlēsies izpētīt līdzīgu tehnoloģiju lietošanas iespējas hibrīddarba apstākļos. CISO un citi vadītāji, kas pārvalda kiberrisku, var proaktīvi kopīgot un izplatīt organizāciju politikas par AI lietošanu un riskiem, tostarp to, kuri specifiski AI rīki ir apstiprināti uzņēmumiem un kontaktpunktiem, lai iegūtu piekļuvi un informāciju. Proaktīva komunikācija palīdz nodrošināt darbiniekiem informāciju un iespējas, vienlaikus samazinot risku, ka viņi izraisīs nepārvaldīta AI piekļuvi uzņēmuma IT resursiem.
Iegūstiet vairāk ieskatu par AI, ko sniedz noteikšanas analīzes vadītāja un identitātes datu un lietišķās zinātnes vadītāja Homa Hejatifāra (Homa Hayatyfar).
Tradicionālie rīki vairs nenovērš kibernoziedznieku radītos draudus. Neseno kiberuzbrukumu ātruma palielināšanās, mērogs un sarežģītība liek meklēt jaunu pieeju drošībai. Turklāt, ņemot vērā kiberdrošības darbaspēka trūkumu un palielinoties kiberdraudu biežumam un nopietnībai, steidzami ir nepieciešama šo prasmju trūkuma novēršana.
AI var būt noderīgs aizsargātājiem. Nesenā pētījumā par Microsoft Copilot drošībai (pašlaik klienti testē priekšskatījumu) tika konstatēts, ka drošības analītiķi darbojas ātrāk un precīzāk neatkarīgi no pieredzes līmeņa, dažādos vispārīgos uzdevumos, piemēram, uzbrucēju lietoto skriptu noteikšanā, incidentu pārskatu izveidē un atbilstošu koriģējošu darbību identificēšanā.1
- [1]
Metodika.1 Momentuzņēmuma dati reprezentē nejaušinātu kontrolētu pētījumu (randomized controlled trial — RCT), kurā tika testēti 149 cilvēki, lai mērītu ietekmi uz produktivitāti, ko sniedz Microsoft Copilot drošībai lietošana. Šajā RCT dažiem analītiķiem tika piedāvāts Copilot, bet dažiem tas netika piedāvāts. Pēc tam tika apkopoti dati par viņu rezultātiem un noskaņojumu, lai noskaidrotu, kā darbu ietekmēja Copilot, un kādi rezultāti bija pārējiem. Testētajiem cilvēkiem bija pamata IT prasmes, bet viņi bija iesācēji drošības jomā. Tādēļ varēja pārbaudīt to, kā Copilot palīdz analītiķiem-iesācējiem. Microsoft Copilot drošībai nejaušināto kontrolēto pētījumu veica Microsoft Office of the Chief Economist 2023. gada novembrī. Turklāt Microsoft Entra ID sniedza anonīmus datus par draudu darbībām, piemēram, ļaunprātīgiem e-pasta kontiem, pikšķerēšanas e-pasta ziņojumiem un uzbrucēju pārvietošanos tīklos. Papildu informācija tiek iegūta no 65 triljoniem drošības signālu, kas katru dienu tiek iegūti visā korporācijā Microsoft, tostarp mākonī, galapunktos, viedajās robežierīcēs, no mūsu apdraudējumu novēršanas drošības dienesta un atklāšanas un reaģēšanas komandām, Microsoft platformu un pakalpojumu telemetrijas datiem, ieskaitot Microsoft Defender, un no 2023. gada Microsoft digitālās aizsardzības pārskata.