Navigere i cybertrusler og styrke forsvaret i tidsalderen for kunstig intelligens
I dag går cybersikkerhetens verden gjennom en massiv transformasjon. Kunstig intelligens (KI) er på frontlinjen av denne endringen og utgjør både en trussel og en mulighet. Selv om kunstig intelligens har potensial til å styrke organisasjoner til å tilintetgjøre cyberangrep med maskinhastighet og drive innovasjon og effektivitet innen trusseloppdagelse, jakt og hendelsesrespons, kan motstandere bruke kunstig intelligens som en del av utnyttelsen. Det har aldri vært så viktig for oss å utforme, distribuere og bruke kunstig intelligens på en sikker måte.
Hos Microsoft utforsker vi potensialet i kunstig intelligens for å forbedre sikkerhetstiltakene våre, låse opp nye og avanserte beskyttelser og bygge bedre programvare. Med kunstig intelligens har vi kraften til å tilpasse oss sammen med trusler i utvikling, oppdage avvik umiddelbart, svare raskt for å nøytralisere risikoer, og skreddersy forsvar for en organisasjons behov.
Kunstig intelligens kan også hjelpe oss med å overvinne en annen stor utfordring i bransjen. I en tid med en knapphet cybersikkerhetsarbeidere, og et behov for omtrent 4 millioner cybersikkerhetseksperter på verdensbasis, har kunstig intelligens potensial til å bli et viktig verktøy for å lukke talentgapet og hjelpe forsvarere med å bli mer produktive.
Vi har allerede sett i én studie hvor Copilot for sikkerhet kan hjelpe sikkerhetsanalytikere uavhengig av ekspertnivå – på tvers av alle oppgaver var deltakerne 44 prosent mer nøyaktige og 26 prosent raskere.
Med tanke på sikring av fremtiden må vi sørge for en balanse mellom å klargjøre på en sikker måte for kunstig intelligens og utnytte fordelene den har, fordi kunstig intelligens har kraften til å heve det menneskelige potensialet og løse noen av våre mest alvorlige utfordringer.
En mer sikker fremtid med kunstig intelligens krever grunnleggende fremskritt innen programvareteknikk. Det krever at vi forstår og møter trusler drevet av kunstig intelligens som essensielle komponenter i enhver sikkerhetsstrategi. Vi må også arbeide sammen for å skape et dyptgående samarbeid og partnerskap på tvers av offentlige og private sektorer for å bekjempe skadelige aktører.
Som en del av arbeidet og vårt eget Secure Future-initiativ, publiserer OpenAI og Microsoft i dag ny informasjon som beskriver trusselaktørenes forsøk, på å teste og utforske nytteverdien til store språkmodeller (LLM-er) i angrepsteknikker.
Vi håper denne informasjonen vil være nyttig på tvers av bransjer, idet vi alle arbeider mot en mer sikker fremtid. For til syvende og sist er vi alle forsvarere.
Bret Arsenault,
CVP, Chief Cybersecurity Advisor
CVP, Chief Cybersecurity Advisor
Se Cyber Signals’ digitale orientering, hvor Vasu Jakkal, Corporate Vice President for Microsoft Sikkerhet Business, intervjuer viktige trusselinformasjonseksperter om cybertrusler i tidsalderen for kunstig intelligens, måter Microsoft bruker kunstig intelligens på for forbedret sikkerhet, og hva organisasjoner kan gjøre for å styrke forsvaret.
Angripere som utforsker kunstig intelligens-teknologier
Cybertrussellandskapet har blitt stadig mer utfordrende med angripere som blir mer motiverte, er mer komplekse og har bedre ressurser. Både trusselaktører og forsvarere bruker kunstig intelligens, inkludert LLM-er, for å forbedre produktiviteten og dra nytte av tilgjengelige plattformer som passer til målsettingene og angrepsteknikkene deres.
Gitt den raske utviklingen i trussellandskapet, kunngjør vi i dag Microsofts prinsipper som veileder handlingene våre som reduserer risikoen for trusselaktører, inkludert avanserte vedvarende trusler (APT-er), avanserte vedvarende manipulatorer (APM-er) og nettkriminelle syndikater, med kunstig intelligens-plattformer og API-er. Disse prinsippene omfatter identifikasjon og handling mot skadelige trusselaktørers bruk av kunstig intelligens, varsling til andre tjenesteleverandører for kunstig intelligens, samarbeid med andre interessenter og gjennomsiktighet.
Selv om trusselaktørenes motiver og kompleksitet varierer, deler de felles oppgaver når de distribuerer angrepene. Disse omfatter rekognosering, for eksempel undersøke potensielle ofres bransjer, steder og relasjoner, samt koding og forbedring av programvareskript og utvikling av skadelig programvare, og hjelp til læring og bruk av både menneske- og maskinspråk.
Nasjonalstater forsøker å utnytte kunstig intelligens
I samarbeid med OpenAI deler vi trusselinformasjon som viser identifiserte statstilknyttede motstandere – sporet som Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon, og Salmon Typhoon – ved hjelp av LLM-er for å forbedre cyberoperasjoner.
Målsettingen til Microsofts forskningspartnerskap med OpenAI er å sikre en trygg og ansvarlig bruk av kunstig intelligens-teknologier som ChatGPT, og opprettholde de høyeste standardene av etisk bruk for å beskytte fellesskapet mot potensielt misbruk.
Forest Blizzard (STRONTIUM), en svært effektiv aktør i russisk militær etterretningstjeneste, koblet til The Main Directorate of the General Staff of the Armed Forces of the Russian or GRU Unit 26165, har rettet seg mot ofre med taktisk og strategisk interesse for russiske myndigheter. Aktivitetene strekker seg over en rekke sektorer, inkludert forsvar, transport/logistikk, offentlig sektor, energi, NGO-er og informasjonsteknologi
Emerald Sleet (Velvet Chollima) er en nordkoreansk trusselaktør som Microsoft har oppdaget at utgir seg for å være anerkjente akademiske institusjoner og NGO-er, som lurer ofrer til å svare med ekspertinnsikt og kommentarer om utenrikspolitikk knyttet til Nord-Korea.
Emerald Sleets bruk av LLM-er involverte undersøkelser av tenketanker og eksperter på Nord-Korea, samt innholdsgenerering som sannsynligvis ble brukt til målrettede phishing-kampanjer. Emerald Sleet samhandlet også med LLM-er for å forstå offentlig kjente sårbarheter, feilsøke tekniske problemer, og for å støtte bruken av ulike nett-teknologier.
Crimson Sandstorm (CURIUM) er en iransk trusselaktør som er antatt tilknyttet Irans revolusjonsgarde (IRGC). Bruken av LLM-er har involvert forespørsler om støtte rundt sosial manipulering, hjelp til feilsøking av feil, .NET-utvikling, og måter en angriper kan unngå å bli oppdaget på, på en kompromittert maskin.
Charcoal Typhoon (CHROMIUM) er en trusselaktør tilknyttet Kina som fortrinnsvis fokuserer på å følge grupper i Taiwan, Thailand, Mongolia, Malaysia, Frankrike, Nepal og enkeltpersoner globalt, som motarbeider Kinas politikk. I nylige operasjoner har Charcoal Typhoon blitt observert å bruke LLM-er for å få innsikt i forskning for å forstå bestemte teknologier, plattformer og sårbarheter, noe som indikerer foreløpige trinn for innsamling av informasjon.
En annen gruppe som støttes av Kina, Salmon Typhoon, har vurdert effektiviteten til bruken av LLM-er gjennom hele 2023, for å finne informasjon om potensielt sensitive emner, høyprofilerte enkeltpersoner, regional geopolitikk, amerikansk innflytelse og innenrikspolitikk. Dette tentative engasjementet med LLM-er kan gjenspeile både en utvidelse av verktøykassen for innsamling av informasjon, og en eksperimentell fase i vurderingen av funksjoner i fremvoksende teknologier.
Forskningen vår med OpenAI har ikke identifisert betydelige angrep som bruker LLM-ene vi overvåker nøye.
Vi har iverksatt tiltak for å avbryte ressurser og kontoer tilknyttet disse trusselaktørene og former beskyttelse og sikkerhetsmekanismer rundt modellene våre.
Andre kunstig intelligens-trusler vokser frem
Svindel drevet av kunstig intelligens er en annen alvorlig bekymring. Stemmesyntese et eksempel på dette, hvor et stemmeeksempel på tre sekunder kan lære opp en modell til å høres ut som hvem som helst. Til og med noe så harmløst som telefonsvarerhilsenen din kan brukes til å få en tilstrekkelig prøve.
Mange av måtene vi samhandler med hverandre og driver virksomhet på, avhenger av identitetsbevis, slik som gjenkjenning av en persons stemme, ansikt, e-post-adresse eller skrivestil.
Det er avgjørende at vi forstår hvordan skadelige aktører bruker kunstig intelligens til å undergrave langvarige identitetsbevissystemer, slik at vi kan håndtere komplekse svindeltilfeller og andre fremvoksende trusler innen sosial manipulering, som skjuler identiteter.
Kunstig intelligens kan også brukes til å hjelpe selskaper med å avbryte svindelforsøk. Selv om Microsoft ikke lenger støtter engasjementet med et selskap i Brasil, oppdaget kunstig intelligens-systemene våre at det prøvde å gjenoppbygge selg selv for å komme inn i økosystemet vårt på nytt.
Gruppen forsøkte kontinuerlig å tilsløre denne informasjonen, skjule eierskapsrøttene, og gå inn på nytt, men oppdagelsene drevet av kunstig intelligens brukte nesten et dusin risikosignaler for å flagge det uredelige selskapet og knytte det til tidligere gjenkjent mistenkelig atferd, og dermed blokkere forsøkene.
Microsoft er satser på ansvarlig menneskestyrt kunstig intelligens med personvern og sikkerhet med mennesker som gir oversikt, evaluerer klager og tolker policyer og regler.
Gi de ansatte og offentligheten opplæring i cyberrisiko:
- Bruk policyer for betinget tilgang: Disse policyene gir tydelig, selvdistribuerende veiledning for å styrke sikkerhetsstatusen som automatisk beskytter leiere, basert på risikosignaler, lisensiering og bruk. Policyer for betinget tilgang kan tilpasses og retter seg etter det skiftende cybertrussellandskapet.
- Lær opp ansatte i sosiale manipuleringstaktikker: Gi ansatte og offentligheten opplæring i å kjenne igjen og reagere på phishing-e-post, vishing (telefonsvarer), smishing (SMS/tekstmelding), angrep med sosial manipulering, og bruk anbefalte fremgangsmåter for sikkerhet for Microsoft Teams.
- Beskytt dataene nøye: Sørg for at dataene forblir private og kontrollerte fra ende til ende.
- Bruk generativ kunstig intelligens-verktøy: Verktøy som Microsoft Copilot for sikkerhet, kan utvide funksjonene og forbedre organisasjonens sikkerhetsstatus.
- Aktiver godkjenning med flere faktorer: Aktiver godkjenning med flere faktorer for alle brukere, særlig for administratorfunksjoner, ettersom det reduserer risikoen for kontoovertakelse med over 99 prosent.
Beskyttelse mot angrep
Microsoft ligger i forkant med omfattende sikkerhet kombinert med generativ kunstig intelligens
Microsoft registrerer en enorm mengde skadelig trafikk – mer enn 65 billioner cybersikkerhetssignaler per dag. Kunstig intelligens øker evnen vår til å analysere denne informasjonen og sikre at den mest verdifulle innsikten kommer frem, for å bidra til å stoppe truslene. Vi bruker også denne signalinformasjonen til å styrke generativ kunstig intelligens for avansert trusselbeskyttelse, datasikkerhet, og identitetssikkerhet, for å hjelpe forsvarere med å se det andre ikke ser.
Microsoft bruker en rekke metoder for å beskytte seg selv og kunder mot cybertrusler, inkludert trusseloppdagelse drevet av kunstig intelligens for å finne endringer i hvordan ressurser eller trafikk på nettverket brukes, atferdsanalyse for å oppdage risikofylte pålogginger og avvikende atferd, maskinlæringsmodeller (ML) for å oppdage risikofylte pålogginger og skadelig programvare, nulltillitsmodeller hvor alle tilgangsforespørsler må godkjennes, autoriseres og krypteres, og verifisering av enhetstilstand før en enhet kan koble til et bedriftsnettverk.
Siden trusselaktørene er klar over at Microsoft er nøye med å bruke godkjenning med flere faktorer (MFA) for å beskytte seg selv – alle ansatte har konfigurert MFA eller passordløs beskyttelse – har vi sett angripere omfavne sosial manipulering i et forsøk på å kompromittere våre ansatte.
Kjerneområder for dette omfatter områder der ting av verdi formidles, for eksempel gratis prøveversjoner eller kampanjepriser, tjenester eller produkter. I disse områdene er det ikke lønnsomt for angripere å stjele ett abonnement om gangen, så de prøver å operasjonalisere og skalere disse angrepene uten å bli oppdaget.
Naturligvis bygger vi kunstig intelligens-modeller for å oppdage disse angrepene for Microsoft og kundene våre. Vi oppdager falske student- og skolekontoer, falske selskap eller organisasjoner som har endret firmografiske data, eller skjult sin ekte identitet for å unngå sanksjoner, omgå kontroller eller skjule tidligere kriminelle overtredelser som korrupsjonsdommer, tyveriforsøk osv.
Bruken av GitHub Copilot, Microsoft Copilot for sikkerhet og andre copilot-chatfunksjoner som er integrert i den interne tekniske og driftsmessige infrastrukturen, bidrar til å forebygge hendelser som kan påvirke driften.
For å ta tak i e-posttrusler forbedrer Microsoft funksjonene sine for å samle signaler utover en e-posts sammensetning, for å forstå om den er skadelig. Med kunstig intelligens i hendene på trusselaktørene har det vært en strøm av perfekt skrevne e-postmeldinger med forbedring i de åpenbare grammatiske feilene som ofte avslører phishing-angrep, noe som gjør phishing-angrepene vanskeligere å oppdage.
Kontinuerlig opplæring av ansatte og offentlige bevisstgjøringskampanjer er nødvendig for å bekjempe sosial manipulering, som er det ene redskapet som avhenger 100 prosent av menneskelige feil. Historien har lært oss at effektive offentlige bevisstgjøringskampanjer fungerer for å endre atferd.
Microsoft forventer at kunstig intelligens utvikler taktikker for sosial manipulering, og lager mer komplekse angrep, inkludert deepfakes og stemmekloning, særlig hvis angriperne finner kunstig intelligensteknologi som drives uten ansvarlig praksis og innebygde sikkerhetskontroller.
Forebygging er avgjørende for å bekjempe alle cybertrusler, enten det er på tradisjonelt vis eller drevet av kunstig intelligens.
Anbefalinger:
Bruk leverandørens kunstig intelligens-kontroller og vurder egnetheten kontinuerlig: For all kunstig intelligens som introduseres i virksomheten, må du se etter respektive leverandørers innebygde funksjoner som styrer tilgangen til kunstig intelligens for ansatte og team, med teknologi for å fremme innføring av kunstig intelligens som er sikker og samsvarer med forskriftene. Bring cyberrisikointeressenter i en organisasjon sammen for å samkjøre definerte brukstilfeller og kontokontroller med kunstig intelligens. Risikoledere og CISO-er bør regelmessig fastslå om brukstilfeller og policyer er tilstrekkelig, eller om de må endres etter hvert som målsettinger og kompetanse utvikler seg.
Beskytt mot ledetekstinjeksjoner: Implementer streng inndatavalidering og rengjøring for brukerangitte ledetekster. Bruk kontekstbevisst filtrering og utdatakoding for å forebygge ledetekstmanipulering. Oppdater og finjuster LLM-er regelmessig for å forbedre forståelsen av skadelige inndata og kanttilfeller. Overvåk og loggfør LLM-samhandlinger for å oppdage og analysere potensielle forsøk på ledetekstinjeksjon.
Krev gjennomsiktighet på tvers av kunstig intelligens-forsyningskjeden: Bruk en klar og åpen praksis for å få tilgang til alle områder der kunstig intelligens kan komme i kontakt med organisasjonens data, inkludert gjennom tredjepartspartnere og leverandører. Bruk partnerrelasjoner og tverrfaglige cyberrisikoteam til å utforske kompetanse, og lukk eventuelle resulterende gap. Opprettholdelse av nulltillit og datastyringsprogrammer er viktigere enn noen gang i tidsalderen for kunstig intelligens.
Vær fokusert på kommunikasjon: Cyberrisikoledere må anerkjenne at ansatte ser innvirkningen kunstig intelligens har og fordelene i privatlivet deres, og vil naturligvis utforske bruken av liknende teknologier på tvers av hybride arbeidsmiljøer. CICO og andre ledere som administrerer cyberrisiko, kan proaktivt dele og forbedre organisasjonenes policyer for bruken av og risikoene ved kunstig intelligens, inkludert hvilke tilordnede kunstig intelligens-verktøy som er godkjent for virksomheten, og kontaktpunkter for tilgang og informasjon. Proaktiv kommunikasjon bidrar til å holde de ansatte informert og styrket, og samtidig redusere risikoen for å sette uadministrert kunstig intelligens i kontakt med IT-ressurser i virksomheten.
Få mer innsikt rundt kunstig intelligens fra Homa Hayatafar, Principal data and Applied Science Manager, Detection Analytics Manager.
Tradisjonelle verktøy holder ikke lenger følge med truslene fremsatt av nettkriminelle. Den økte hastigheten, skalaen og kompleksiteten til nylige cyberangrep krever en ny tilnærming til sikkerhet. I tillegg er utjevning av kompetansegapet et behov som haster, med tanke knappheten på cybersikkerhetsarbeidere og cybersikkerhetstrusler som øker i omfang og alvorsgrad.
Kunstig intelligens kan være utslagsgivende for forsvarere. En nylig studie av Microsoft Copilot for sikkerhet (for øyeblikket i forhåndstestversjon for kunder) viste økt sikkerhetsanalytikerhastighet og -nøyaktighet, uavhengig av ekspertnivå, på tvers av vanlige oppgaver som å identifisere skript som brukes av angripere, lage hendelsesrapporter og identifisere relevante utbedringstrinn.1
- [1]
Metodologi:1 Øyeblikksbildedata representerer en randomisert kontrollert test (RCT) hvor vi testet 149 personer for å måle produktivitetspåvirkningen fra bruk av Microsoft Copilot for sikkerhet. I denne RCT-en ga vi Copilot til et tilfeldig utvalg analytikere, der noen fikk, men andre ikke, og deretter trakk vi fra ytelsen og følelsene om å få effekten av Copilot, atskilt fra eventuelle grunnleggende innvirkninger. Forsøkspersonene hadde grunnleggende IT-ferdigheter, men var nybegynnere når det gjaldt sikkerhet, så vi kunne teste hvordan Copilot hjelper analytikere i “starten av karrieren”. RTC-en for Microsoft Copilot for sikkerhet ble utført av Microsoft Office of the Chief Economist i november 2023. I tillegg leverte Microsoft Entra ID anonymiserte data om trusselaktivitet, for eksempel skadelige e-postkontoer, phishing-e-post og angrepsbevegelser i nettverk. Ytterligere innsikt kommer fra de 65 billionene med sikkerhetssignaler som mottas av Microsoft, inkludert skyen, endepunkter, den intelligente kanten og våre team for gjenoppretting etter sikkerhetsbrudd og oppdagelse og svar, telemetri fra Microsoft-plattformer og -tjenester, blant annet Microsoft Defender og Microsoft-rapporten om digitalt forsvar fra 2023.