Trace Id is missing

Hantera cyberhot och stärka försvaret i AI-eran

En grupp personer som står på block

Cyber Signals, utgåva 6

Varje dag skyddas Microsofts kunder genom mer än 2,5 miljarder molnbaserade AI-drivna identifieringar.

Idag genomgår cybersäkerhetsvärlden en enorm förvandling. Artificiell intelligens (AI), som ligger i framkant av den här förändringen, utgör såväl ett hot som en möjlighet. Även om AI potentiellt kan hjälpa organisationer att besegra cyberattacker i maskinell hastighet och driva både innovation och effektivitet inom hotidentifiering, jakt och incidentrespons, så kan även motståndarna använda AI som en del av sin verksamhet. Det har aldrig varit viktigare än nu för oss att designa, distribuera och använda AI på ett säkert sätt.

På Microsoft undersöker vi vilken potential AI har när det gäller att förbättra våra säkerhetsåtgärder, låsa upp nya och avancerade skydd och skapa bättre programvara. Med AI har vi kraften att anpassa oss i takt med det ständigt utvecklande hoten, upptäcka anomalier omedelbart, neutralisera risker genom att reagera snabbt och skräddarsy försvaren för organisationernas behov.

AI kan också hjälpa oss att övervinna en annan av branschens största utmaningar. Inför den globala brist på arbetskraft inom cybersäkerhetsområdet som vi står inför, där det behövs ungefär 4 miljoner cybersäkerhetsexperter över hela världen, så har AI potentialen att bli ett avgörande verktyg när det gäller att överbrygga kompetensgapet och göra försvarsarbetet mer produktivt.

Vi har redan sett i en studie hur Copilot for Security kan bistå säkerhetsanalytikerna, oavsett vilken kunskapsnivå de besitter. Oavsett vilken typ uppgift det handlade om, så blev resultatet i genomsnitt 44 % mer korrekt och 26 % snabbare.

När vi ska säkra framtiden är det viktigt att vi hittar balansen i hur vi på ett säkert sätt kan utnyttja AI:s fördelar, eftersom AI har kraften att höja den mänskliga potentialen och lösa några av våra allvarligaste utmaningar.

En säkrare framtid med AI kommer att kräva avgörande framsteg inom programvarutekniken. Det kräver att vi vår förståelse för och förmåga att motverka AI-drivna hot blir till grundläggande komponenter i alla våra säkerhetsstrategier. Och vi måste tillsammans skapa djupgående samarbeten och partnerskap mellan offentlig och privat sektor för att kunna bekämpa hotaktörererna.

Som en del av detta arbete och vårt eget Secure Future Initiative publicerar OpenAI och Microsoft idag ny information som beskriver hotaktörers försök att testa och utforska användbarheten av stora språkmodeller (LLM) i sina attacktekniker.

Vi hoppas att denna information ska kunna vara användbar i alla branscher i vårt gemensamma arbete mot en säkrare framtid. För i slutändan måste vi alla försvara oss.

Bret Arsenault, 
CVP, Chief Cybersecurity Advisor

Se Cyber ​​Signals digitala sammanfattning där Vasu Jakkal, Corporate Vice President för Microsoft Security Business intervjuar viktiga hotinformationsexperter om cyberhoten i AI-tidsåldern, hur Microsoft använder AI för att förbättra säkerheten och vad organisationer kan göra för att stärka sina försvar.

Angripare utforskar AI-tekniker

Cyberthotslandskapet har blivit allt mer utmanande i takt med att angriparna har blivit mer motiverade och mer sofistikerade och även har bättre resurser. Både hotaktörer och cyberförsvarare vänder sig till AI, och då även stora språkmodeller, för att förbättra sin produktivitet och dra fördel av de tillgängliga plattformar som kan passa deras mål och attacktekniker.

Med tanke på hotlandskapets snabba utveckling, så tillkännager vi idag Microsofts principer, vilka vägleder våra åtgärder som med hjälp av AI-plattformar och API:er ska minska de risker som hotaktörerna utgör, däribland avancerade ihållande hot (APT), avancerade ihållande manipulatorer (APM) och cyberkriminella syndikat. Dessa principer omfattar identifiering och åtgärder mot skadliga hotaktörers användning av AI, meddelande till andra AI-tjänsteleverantörer, samarbete med andra intressenter och transparens.

Även om hotaktörernas motiv och sofistikation kan variera, så delar de gemensamma uppgifter när de distribuerar sina attacker. Detta kan handla om rekognoscering, som att undersöka de potentiella målens industrier, platser och relationer, kodning, bl.a. förbättring av programvaruskript och utvecklande av skadlig programvara, och hjälp med att lära sig att använda både mänskliga och maskinella språk.

Nationalstatliga försök att använda sig av AI

I samarbete med OpenAI delar vi hotinformation som visar identifierade kriminella som Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon och Salmon Typhoon, vilka försöker utveckla cyberoperationerna med hjälp av stora språkmodeller.

Målet med Microsofts forskningspartnerskap med OpenAI är att säkerställa säker och ansvarsfull användning av AI-tekniker som ChatGPT, och att upprätthålla de högsta standarderna för etisk tillämpning så att samhället skyddas från potentiellt missbruk.

E-postavisering: Dokument som du ska granska och signera den 7 november 2023
Forest Blizzard (STRONTIUM), en mycket effektiv rysk militär underrättelseaktör kopplad till huvuddirektoratet för de väpnade styrkornas generalstab i den ryska enheten eller GRU-enheten 26165, har riktat in sig på offer som är av taktiskt och strategiskt intresse för den ryska regeringen. Dess verksamhet spänner över en mängd olika sektorer, som försvar, transport/logistik, myndigheter, energi, icke-statliga organisationer och informationsteknik
Emerald Sleet (Velvet Chollima) är en nordkoreansk hotaktör som Microsoft har upptäckt utge sig för att vara välrenommerade akademiska institutioner och icke-statliga organisationer i syfte att lura sina offer att svara med expertinsikter och kommentarer om utländsk politik avseende Nordkorea.

Emerald Sleets användning av stora språkmodeller omfattade forskning kring tankesmedjor och experter på Nordkorea, såväl som generering av innehåll som sannolikt är avsett att användas i nätfiskekampanjer. Emerald Sleet interagerade också med stora språkmodeller för att förstå allmänt kända sårbarheter, felsöka tekniska problem och få hjälp med att använda olika webbtekniker.

Crimson Sandstorm (CURIUM) är en iransk hotaktör som bedöms vara kopplad till det islamiska revolutionsgardet (IRGC). Användningen av stora språkmodeller har omfattat förfrågningar om support kring social manipulering, hjälp med felsökning, .NET-utveckling och olika sätt på vilka en angripare kan undvika upptäckt när angriparen befinner sig på en komprometterad enhet.
Charcoal Typhoon (CHROMIUM) är en hotaktör med kopplingar till Kina som huvudsakligen fokuserar på att spåra grupper i Taiwan, Thailand, Mongoliet, Malaysia, Frankrike, Nepal och individer överallt i världen som motsätter sig Kinas politik. Under de senaste operationerna har Charcoal Typhoon kunnat observeras använda stora språkmodeller för att få insikter i forskning för att förstå specifika teknologier, plattformar och sårbarheter, vilket indikerar preliminära stadier av informationsinsamling.

En annan grupp med Kina-uppbackning, Salmon Typhoon, har utvärderat hur effektivt det har varit under 2023 att använda stora språkmodeller för att hämta information om potentiellt känsliga ämnen, högprofilerade individer, regional geopolitik, USA:s inflytande och interna angelägenheter. Dessa preliminära försök med stora språkmodeller skulle kunna indikera såväl en breddning av gruppens verktygslåda för informationsinhämtning som en experimentell fas där man försöker bedöma de framväxande teknologiernas kapacitet.

Vår forskning med OpenAI har inte identifierat några betydande attacker som har genomförts med de stora språkmodeller som vi noga övervakar.

Vi har vidtagit åtgärder som ska störa tillgångar och konton som förknippas med dessa hotaktörer och fungera som skydd och säkerhetsmekanismer runt våra modeller.

Andra AI-hot träder fram

AI-drivna bedrägerier är ett annat allvarligt problem. Ett exempel på detta är röstsyntes, där ett tre sekunders röstsprov kan träna en modell till att låta som vem som helst. Även något så ofarligt som din röstbrevlåda kan användas för att få ett tillräckligt urval.

Mycket av hur vi interagerar med varandra och gör affärer är beroende av identitetssäkring, det vill säga genom att vi känner igen en persons röst, ansikte, e-postadress eller handstil.

Det är av avgörande betydelse att vi förstår hur skadliga aktörer använder AI för att undergräva sedan länge etablerade system för identitetssäkring, så att vi ska kunna hantera komplexa bedrägerifall och andra framväxande hot sociala manipulering som döljer identiteter.

AI kan också användas för att hjälpa företag att avvärja bedrägeriförsök. Även om Microsoft avbröt vårt åtagande med ett företag i Brasilien, så upptäckte våra AI-system hur det försökte rekonstruera sig för att åter komma in i vårt ekosystem.

Gruppen försökte hela tiden skapa förvirring kring sin information, dölja ägarskap och komma in på nytt, men våra AI-identifieringar skickade nästan ett dussin risksignaler som flaggade det bedrägliga företaget och kopplade ihop det med ett misstänkt beteende sedan tidigare, och därför blockerades dess försök.

Microsoft har förbundit sig till ansvarsfull mänskligt ledd AI med integritet och säkerhet, där människor tillhandahåller tillsyn, utvärderar vädjanden och tolkar policyer och förordningar.

Utbilda anställda och allmänheten om cyberriskerna:
  • Använd principer för villkorsstyrd åtkomst: Dessa policyer ger en tydlig, självdistribuerande vägledning med vilken du kan stärka din säkerhetsstatus, vilket automatiskt skyddar klientorganisationerna utifrån risksignaler, licensiering och användning. Principerna för villkorsstyrd åtkomst är anpassningsbara och kommer att anpassas till det föränderliga cyberthotslandskapet.
  • Utbilda och omskola personalen vad gäller social manipulering: Utbilda både anställda och allmänhet i att känna igen och reagera på e-postmeddelanden med nätfiske, samtalsfiske (röstbrevlåda), SMS-fiske, (SMS/text) attacker genom social manipulering och i att tillämpa bästa säkerhetspraxis för Microsoft Teams.
  • Skydda data noggrant: Se till att data förblir privata och kontrollerade från slutpunkt till slutpunkt.
  • Utnyttja säkerhetsverktyg för generativ AI: Verktyg som Microsoft Copilot for Security kan utöka funktionerna och förbättra organisationens säkerhetsstatus.
  • Aktivera multifaktorautentisering: Aktivera multifaktorautentisering för alla användare, särskilt för administratörsfunktioner, eftersom detta minskar risken för kontostölder med över 99 %.

Skydd mot attacker

Microsoft ligger steget före tack vare omfattande säkerhet i kombination med generativ AI

Microsoft upptäcker en enorm mängd skadlig trafik – mer än 65 biljoner cybersäkerhetssignaler per dag. AI höjer vår förmåga att analysera denna information och säkerställer att de mest värdefulla insikterna lyfts fram och kan användas i kampen att stoppa hoten. Vi använder också denna signalinformation för att utveckla generativ AI för avancerat hotskydd, datasäkerhet och identitetssäkerhet, så att försvararna kan fånga upp vad andra missar.

Microsoft använder flera metoder för att skydda sig självt och sina kunder från cyberhot, även AI-aktiverad hotidentifiering i syfte att upptäcka förändringar i hur resurser eller trafik på nätverket används, beteendeanalys i syfte att upptäcka riskfyllda inloggningar och avvikande beteenden, maskininlärningsmodeller (ML) för att upptäcka riskfyllda inloggningar och skadlig programvara; Nolltillitsmodeller där varje åtkomstbegäran måste vara helt autentiserad, auktoriserad och krypterad, och hälsoverifiering av enheter innan de kan anslutas till ett företagsnätverk.

Eftersom hotaktörerna förstår att Microsoft använder multifaktorautentisering (MFA) rigoröst för att skydda sig självt – alla våra anställda använder multifaktorautentisering eller lösenordsfri autentisering – så har vi kunnat se hur angriparna förlitar sig mer på social manipulering när de försöker kompromettera våra anställda.

Aktiva punkter för detta är områden där saker av värde förmedlas, exempelvis kostnadsfria utvärderingsversioner eller kampanjpriser för tjänster eller produkter. I sådana områden är det inte lönsamt för angriparna att stjäla ett abonnemang åt gången, så de försöker effektivisera och skala dessa attacker utan att upptäckas.

Naturligtvis skapar vi AI-modeller som ska identifiera dessa attacker för Microsoft och våra kunder. Vi identifierar falska elev- och skolkonton, falska företag eller organisationer som har ändrat sina företagsdata eller dolt sin sanna identitet så att de kunnat kringgå sanktioner och kontroller eller dölja tidigare kriminella överträdelser som korruptionsdomar, stöldförsök osv.

Användningen av GitHub Copilot, Microsoft Copilot for Security och andra copilot-chattfunktioner har integrerats i vår interna teknik- och driftinfrastruktur, bidrar till att förhindra incidenter som kan påverka verksamheten.

Enkätresultat om riskerna med GenAI: Datasekretess ett stort bekymmer, 42 %

För att kunna hantera med e-posthot har Microsoft förbättrat möjligheterna att samla in signaler förutom e-postmeddelandenas sammansättning för att förstå om de är skadliga. Sedan hotaktörerna fått tillgång till AI har förekomsten av perfekt formulerade e-postmeddelanden, utan de uppenbara språk- och grammatiska felen som ofta avslöjar nätfiskeförsök, ökat markant, vilket gör det mycket svårare att identifiera försök till nätfiske.

En fortbildning av de anställda och kampanjer som upplyser allmänheten behövs i kampen mot social manipulering, vilken är den enda metoden som till 100 % förlitar sig på den mänskliga faktorn. Historien har lärt oss att effektiva kampanjer för att upplysa allmänheten har stor betydelse när det gäller att förändra beteenden.

Microsoft räknar med att AI kommer att utveckla taktik för social manipulering och skapa mer sofistikerade attacker, även deepfakes och röstkloning, särskilt om angriparna hittar AI-tekniker som fungerar utan  ansvarsfulla metoder och inbyggda säkerhetskontroller.

Förebyggande arbete är nyckeln till att bekämpa alla cyberhot, oavsett om de är av traditionellt slag eller AI-aktiverade.

Rekommendationer:

Använd AI-kontroller från leverantörer och utvärdera dem kontinuerligt: När det gäller all form av AI som introduceras i ditt företag, så leta efter respektive leverantörs inbyggda funktioner som definierar AI-åtkomsten för de anställda och de team som använder tekniken, så att en säker och kompatibel AI-användning kan främjas. Samla ihop organisationens cyberrisk-intressenter och verka för att ta fram definierade AI-användningsfall och åtkomstkontroller för de anställda. Riskansvariga och IT-säkerhetschefer bör regelbundet avgöra om befintliga användningsfall och policyer är tillräckliga, eller om de måste förändras i takt med att målen och lärdomarna utvecklas.
Skydda mot promptinjektioner:  Implementera strikt validering av indata och sanering av prompter från användare. Förhindra promptmanipulation genom att använda sammanhangsmedveten filtrering och kodning av utdata. Uppdatera och finjustera regelbundet stora språkmodeller, så att förståelsen av skadliga indata och gränsfall förbättras. Upptäck och analysera potentiella promptinjektionsförsök genom att övervaka och logga LLM-interaktioner.
Inför transparens i hela AI-försörjningskedjan: Utvärdera, med tydliga och öppna metoder, alla områden där AI kan komma i kontakt med din organisations data, även där så sker genom tredjepartspartner och leverantörer. Utforska lärdomar och täpp till eventuella luckor med hjälp av partnerrelationer och tvärfunktionella cyberriskteam. Att upprätthålla nuvarande Nolltillit och datastyrningsprogram är viktigare än någonsin nu i AI-eran.
Fokusera på kommunikationen: De cyberriskansvariga måste inse att de anställda nu kan bevittna vilken inverkan och vilka fördelar AI har i deras egna liv, och att de naturligtvis kommer att vilja utforska tillämpningen av liknande teknologier i sina hybridarbetsmiljöer. IT-säkerhetschefer och andra ledare som hanterar cyberrisker kan proaktivt dela och förstärka sina organisationers policyer för AI-användningen och dess risker, liksom vilka designerade AI-verktyg som är godkända för företag och vilka kontaktpunkter som har godkänts för åtkomst och information. Proaktiv kommunikation bidrar till att hålla de anställda informerade och starka, samtidigt som den minskar risken för att ohanterad AI kommer i kontakt med företagets IT-tillgångar.

De traditionella verktygen håller inte längre jämna steg med hoten från cyberbrottslingarna. Den ökande hastigheten, omfattningen och sofistikationen hos de senaste cyberattackerna kräver en ny säkerhetsstrategi. Dessutom, med tanke på bristen på arbetskraft inom cybersäkerhet och cyberhotens ökande frekvens och allvarlighetsgrad, är vi i akut behov av att överbrygga denna kompetensklyfta.

AI kan få vågskålen att tippa över till cyberbrottsbekämparnas fördel. En nyligen genomförd studie av Microsoft Copilot for Security (som för närvarande förhandstestas av kunder) visade att säkerhetsanalytiker, oavsett kompetensnivå, kunde arbeta både snabbare och med högre precision när det gällde allt från vanliga uppgifter som att identifiera skript som används av angripare till att skapa incidentrapporter och identifiera lämpliga åtgärdssteg.1

  • 44 % högre precision för alla uppgifter för Copilot for Security-användare1
  • 26 % snabbare hantering av alla sorters uppgifter för Copilot for Security-användare1
  • 90 % sa att de vill använda Copilot nästa gång de ska utföra samma uppgift1
  1. [1]

    Metodik:1 Ögonblicksbildsdata representerar en randomiserad kontrollerad utvärdering (RCT), där vi testade 149 personer i syfte att mäta vilken effekt användningen av Microsoft Copilot for Security hade på effektiviteten. I denna RCT gav vi slumpmässigt Copilot till vissa analytiker och inte till andra, och jämförde sedan deras prestationer och upplevelser av Copilots effekter, separerat från alla baseffekter. Testdeltagarna hade grundläggande IT-färdigheter, men var noviser vad beträffar säkerhet. Därför kunde vi testa hur Copilot kunde hjälpa ”nykläckta” analytiker. Denna RCT-studien av Microsoft Copilot for Security genomfördes av Microsoft Office of the Chief Economist, november 2023. Dessutom tillhandahöll Microsoft Entra ID anonymiserade data om hotaktivitet, såsom skadliga e-postkonton, nätfiske via e-post och angriparnas rörelser i nätverken. Ytterligare insikter kommer från de 65 biljoner säkerhetssignaler som tas emot i hela Microsoft varje dag, bland annat från molnet, slutpunkter, den intelligenta nätverksgränsen, våra Security Recovery Practice- och Detection and Response-team, telemetri från Microsoft-plattformar och tjänster som Microsoft Defender och Microsofts rapport om digitalt försvar från 2023.

Relaterade artiklar

Ligga steget före hotaktörerna i AI-eran

Microsoft publicerar, i samarbete med OpenAI, forskning om AI-erans framväxande hot, med fokus på identifierade aktiviteter kopplade till kända hotaktörer som Forest Blizzard, Emerald Sleet, Crimson Sandstorm och andra. Den aktivitet som kunnat observeras omfattar prompt-injektioner, försök till missbruk av stora språkmodeller (LLM) och bedrägeri.

Expertprofil: Homa Hayatyfar

Homa Hayatyfar, Principal Data and Applied Science Manager, beskriver hur användningen av maskininlärningsmodeller för att förstärka försvaret bara är ett av många sätt genom vilka AI förändrar säkerheten.

Säkerheten är aldrig bättre än din hotinformation

Ytterligare förstärkningar har tillkommit. John Lambert, hotinformationschef, förklarar hur AI stärker hotinformationscommunityn.