Gestionar las ciberamenazas y fortalecer las defensas en la era de la IA
Hoy en día, el mundo de la ciberseguridad está experimentando una transformación masiva. La inteligencia artificial (IA) está a la vanguardia de este cambio, constituyendo tanto una amenaza como una oportunidad. Aunque la IA tiene el potencial de capacitar a las organizaciones para hacer frente a los ciberataques a la velocidad de la máquina e impulsar la innovación y la eficiencia en la detección de amenazas, la búsqueda y la respuesta a incidentes, los adversarios pueden usar la IA para vulnerar la seguridad. Nunca ha sido tan importante diseñar, implementar y usar la IA de forma segura.
En Microsoft estamos explorando el potencial de la IA para mejorar nuestras medidas de seguridad, desbloquear protecciones nuevas y avanzadas y crear mejor software. Con la IA, tenemos el poder de adaptarnos a la evolución de las amenazas, detectar anomalías al instante, responder rápidamente para neutralizar los riesgos y adaptar las defensas a las necesidades de una organización.
La IA también puede ayudarnos a superar otro de los mayores retos del sector. Ante la escasez de personal especializado en ciberseguridad en todo el mundo, donde se necesitan unos 4 millones de profesionales, la IA puede ser una herramienta fundamental para subsanar la falta de personal cualificado y ayudar a los defensores a ser más productivos.
Ya hemos visto en un estudio cómo Copilot para seguridad puede ayudar a los analistas de seguridad, independientemente de su nivel de experiencia. En todas las tareas, los participantes fueron un 44 % más precisos y un 26 % más rápidos.
Si nos centramos en la seguridad del futuro, debemos asegurarnos de encontrar un equilibrio entre estar preparados para la IA y aprovechar sus ventajas, ya que la IA tiene el poder de elevar el potencial humano y resolver algunos de nuestros retos más graves.
Un futuro más seguro con IA requerirá avances fundamentales en ingeniería de software. Nos exigirá comprender y contrarrestar las amenazas impulsadas por la IA como componentes esenciales de cualquier estrategia de seguridad. Y tenemos que trabajar juntos para establecer colaboraciones y asociaciones profundas entre los sectores público y privado para combatir a los malos actores.
Como parte de este esfuerzo y de nuestra propia Iniciativa Futuro seguro, OpenAI y Microsoft publican hoy nueva información que detalla los intentos de los actores de amenazas de probar y explorar la utilidad de los modelos de lenguaje grandes (LLM) en las técnicas de ataque.
Esperamos que esta información sea de utilidad en todos los sectores, ya que todos trabajamos por un futuro más seguro. Porque al final, todos somos defensores.
Bret Arsenault,
CVP, asesor jefe de ciberseguridad
CVP, asesor jefe de ciberseguridad
Consulta la sesión informativa digital de Cyber Signals en la que Vasu Jakkal, vicepresidente corporativo de Microsoft Security Business, entrevista a expertos en inteligencia sobre amenazas clave acerca de las ciberamenazas en la era de la IA, las formas en que Microsoft utiliza la IA para mejorar la seguridad y lo que las organizaciones pueden hacer para ayudar a reforzar las defensas.
Los atacantes exploran las tecnologías de IA
El panorama de las ciberamenazas se ha vuelto cada vez más desafiante, ya que los atacantes están cada vez más motivados, se han vuelto más sofisticados y cuentan con más recursos. Tanto los actores de amenazas como los defensores buscan la IA, incluidos los LLM, para mejorar su productividad y aprovechar plataformas accesibles que podrían adaptarse a sus objetivos y técnicas de ataque.
Dada la rápida evolución del panorama de las amenazas, hoy anunciamos los principios de Microsoft que guían nuestras acciones que mitigan el riesgo de los actores de amenazas, incluidas las amenazas persistentes avanzadas (APT), los manipuladores persistentes avanzados (APM) y los sindicatos de ciberdelincuentes, que utilizan plataformas y API de IA. Estos principios incluyen la identificación y actuación contra el uso de la IA por parte de actores de amenazas maliciosas, la notificación a otros proveedores de servicios de IA, la colaboración con otras partes interesadas y la transparencia.
Aunque los motivos y la sofisticación de los actores de las amenazas varían, comparten tareas comunes a la hora de implementar los ataques. Incluyen el reconocimiento, como la investigación de los sectores de actividad, ubicaciones y relaciones de las víctimas potenciales; la codificación, incluida la mejora de los scripts de software y el desarrollo de malware; y la asistencia en el aprendizaje y el uso de lenguajes tanto humanos como de máquina.
Los Estados nación intentan aprovechar la IA
En colaboración con OpenAI, estamos compartiendo información sobre amenazas que muestra la detección de adversarios afiliados a Estados, rastreados como Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon y Salmon Typhoon, que usan los LLM para aumentar las ciberoperaciones.
El objetivo de la asociación de investigación de Microsoft con OpenAI es garantizar el uso seguro y responsable de tecnologías de IA como ChatGPT, manteniendo los más altos estándares de aplicación ética para proteger a la comunidad de posibles usos indebidos.
Forest Blizzard (STRONTIUM), un eficaz actor de la inteligencia militar rusa vinculado a la Dirección Principal del Estado Mayor de las Fuerzas Armadas de Rusia o a la unidad 26165 del GRU, ha tomado como objetivo a víctimas de interés táctico y estratégico para el gobierno ruso. Sus actividades abarcan diversos sectores, como defensa, transporte y logística, administración pública, energía, ONG y tecnologías de la información.
Emerald Sleet (Velvet Chollima) es un actor de amenazas norcoreano que Microsoft ha descubierto haciéndose pasar por instituciones académicas y ONG de renombre para atraer a las víctimas y que respondan con opiniones y comentarios de expertos sobre las políticas exteriores relacionadas con Corea del Norte.
El uso que Emerald Sleet hizo de los LLM implicó la investigación de grupos de reflexión y expertos en Corea del Norte, así como la generación de contenido susceptible de ser utilizado en campañas de phishing de objetivo definido. Emerald Sleet también interactuó con los LLM para conocer las vulnerabilidades conocidas públicamente, solucionar problemas técnicos y obtener ayuda sobre el uso de diversas tecnologías web.
Crimson Sandstorm (CURIUM) es un actor de amenaza iraní vinculado al Cuerpo de la Guardia Revolucionaria Islámica (IRGC). El uso de los LLM ha implicado solicitudes de apoyo en torno a la ingeniería social, la asistencia en la solución de errores, el desarrollo de .NET y las formas en que un atacante podría evadir la detección cuando se encuentra en una máquina comprometida.
Charcoal Typhoon (CHROMIUM) es un actor de amenazas afiliado a China centrado principalmente en el seguimiento de grupos en Taiwán, Tailandia, Mongolia, Malasia, Francia, Nepal y de individuos en todo el mundo que se oponen a las políticas de China. En operaciones recientes, se ha observado a Charcoal Typhoon involucrarse en LLM para obtener información sobre las investigaciones para comprender tecnologías, plataformas y vulnerabilidades específicas, lo que indica etapas preliminares de recopilación de información.
Otro grupo respaldado por China, Salmon Typhoon, ha estado evaluando la eficacia del uso de los LLM a lo largo de 2023 para obtener información sobre temas potencialmente delicados, personas de alto perfil, geopolítica regional, influencia de Estados Unidos y asuntos internos. Esta involucración provisional con los LLM podría reflejar tanto una ampliación de sus kits de herramientas de recopilación de información como una fase experimental en la evaluación de las capacidades de las tecnologías emergentes.
Nuestra investigación con OpenAI no ha identificado ataques significativos que empleen los LLM que supervisamos de cerca.
Hemos tomado medidas para interrumpir los recursos y cuentas asociados a estos actores de amenazas y moldear las barreras de protección y los mecanismos de seguridad en torno a nuestros modelos.
Surgen otras amenazas de IA
El fraude impulsado por la IA es otra preocupación crítica. La síntesis de voz es un ejemplo de ello: una muestra de voz de tres segundos puede entrenar un modelo para que suene como cualquier persona. Incluso algo tan inocuo como el saludo de su correo de voz puede servir para obtener una muestra suficiente.
Gran parte de nuestra forma de relacionarnos y hacer negocios se basa en la comprobación de identidad, como el reconocimiento de la voz, la cara, la dirección de correo electrónico o el estilo de escritura de una persona.
Es crucial que comprendamos cómo los actores maliciosos utilizan la IA para socavar los antiguos sistemas de comprobación de identidad, de modo que podamos hacer frente a casos complejos de fraude y a otras amenazas emergentes de ingeniería social que ocultan identidades.
La IA también puede utilizarse para ayudar a las empresas a interrumpir los intentos de fraude. Aunque Microsoft interrumpió nuestra colaboración con una empresa de Brasil, nuestros sistemas de IA detectaron sus intentos de reconstituirse para volver a entrar en nuestro ecosistema.
El grupo intentó continuamente ofuscar su información, ocultar sus raíces de propiedad y volver a entrar, pero nuestras detecciones de IA utilizaron casi una docena de señales de riesgo para señalar a la empresa fraudulenta y asociarla con comportamientos sospechosos previamente reconocidos, bloqueando así sus intentos.
Microsoft está comprometida con una IA responsable liderada por humanos que garantice la privacidad y la seguridad, con humanos que supervisen, evalúen los recursos e interpreten las directivas y normativas.
Educar a los empleados y al público sobre los ciberriesgos:
- Usar directivas de acceso condicional: estas directivas proporcionan una orientación clara y autoimplementable para reforzar tu posición de seguridad que protegerá automáticamente a los inquilinos en función de las señales de riesgo, las licencias y el uso. Las directivas de acceso condicional son personalizables y se adaptan al cambiante panorama de las ciberamenazas.
- Formar y reciclar a los empleados en tácticas de ingeniería social: educar a los empleados y al público para que reconozcan y reaccionen ante los correos electrónicos de phishing, suplantación telefónica de identidad o vishing (correo de voz), suplantación de identidad con SMS o smishing (SMS/texto), ataques de ingeniería social y aplicar los procedimientos recomendados de seguridad para Microsoft Teams.
- Proteja rigurosamente los datos: garantiza la privacidad y el control de los datos de principio a fin.
- Aprovechar las herramientas de seguridad de IA generativa: herramientas como Microsoft Copilot para seguridad pueden ampliar las capacidades y mejorar la posición de seguridad de la organización.
- Habilitar la autenticación multifactor: habilite la autenticación multifactor para todos los usuarios, especialmente para las funciones de administrador, ya que reduce el riesgo de apropiación de cuentas en más de un 99 %.
Defensa contra los ataques
Microsoft se mantiene a la vanguardia con una seguridad integral combinada con la IA generativa
Microsoft detecta una enorme cantidad de tráfico malicioso: más de 65 billones de señales de ciberseguridad al día. La IA está impulsando nuestra capacidad para analizar esta información y garantizar que la información más valiosa aflore para ayudar a detener las amenazas. También utilizamos esta inteligencia de señales para potenciar la IA generativa para la protección contra amenazas avanzada, la seguridad de los datos y la seguridad de la identidad, con el fin de ayudar a los defensores a detectar lo que otros pasan por alto.
Microsoft usa varios métodos para protegerse y proteger a sus clientes de las ciberamenazas, como la detección de amenazas mediante IA para detectar cambios en el uso de los recursos o el tráfico de la red; análisis de comportamiento para detectar inicios de sesión arriesgados y comportamientos anómalos; modelos de aprendizaje automático (ML) para detectar inicios de sesión arriesgados y malware; modelos de Confianza cero en los que cada solicitud de acceso debe estar totalmente autenticada, autorizada y cifrada; y verificación del estado de los dispositivos antes de que puedan conectarse a una red corporativa.
Dado que los actores de amenazas entienden que Microsoft utiliza la autenticación multifactor (MFA) rigurosamente para protegerse (todos nuestros empleados están preparados para usar la MFA o la protección sin contraseña), hemos visto cómo los atacantes recurrían a la ingeniería social para intentar poner en peligro a nuestros empleados.
Los puntos críticos para ello son las áreas en las que se transmiten cosas de valor, como pruebas gratuitas o precios promocionales de servicios o productos. En estas áreas, no resulta rentable para los atacantes robar una suscripción cada vez, por lo que intentan operacionalizar y escalar esos ataques sin ser detectados.
Naturalmente, creamos modelos de IA para detectar estos ataques para Microsoft y nuestros clientes. Detectamos estudiantes y cuentas escolares falsos, empresas u organizaciones falsas que han alterado sus datos firmográficos u ocultado su verdadera identidad para eludir sanciones, sortear controles u ocultar transgresiones penales pasadas como condenas por corrupción, intentos de robo, etc.
El uso de GitHub Copilot, Microsoft Copilot para seguridad y otras características de chat de Copilot integradas en nuestra infraestructura interna de ingeniería y operaciones ayuda a prevenir incidentes que podrían afectar a las operaciones.
Para hacer frente a las amenazas del correo electrónico, Microsoft está mejorando las capacidades para detectar señales, más allá del contenido de un mensaje de correo electrónico, para saber si es malicioso. Con la IA en manos de los actores de amenazas, ha habido una afluencia de correos electrónicos perfectamente escritos que mejoran los errores lingüísticos y gramaticales obvios que a menudo revelan los intentos de phishing, lo que hace que los intentos de phishing sean más difíciles de detectar.
La formación continua de los empleados y las campañas de concienciación pública son necesarias para ayudar a combatir la ingeniería social, que es la única herramienta que depende al 100 % del error humano. La historia nos ha enseñado que las campañas eficaces de concienciación pública sirven para cambiar comportamientos.
Microsoft anticipa que la IA hará evolucionar las tácticas de ingeniería social, creando ataques más sofisticados, incluyendo deepfakes y clonación de voz, particularmente si los atacantes encuentran tecnologías de IA operando sin prácticas responsables y controles de seguridad integrados.
La prevención es la clave para combatir todas las ciberamenazas, ya sean tradicionales o basadas en la IA.
Recomendaciones:
Aplicar controles de IA de proveedores y evaluar continuamente su idoneidad: para cualquier IA introducida en tu empresa, busca las características integradas de los respectivos proveedores para delimitar el acceso a la IA a los empleados y equipos que usan la tecnología para fomentar la adopción segura y conforme de la IA. Reúne a las partes interesadas en el ciberriesgo de la organización para que definan los casos de uso de la IA por parte de los empleados y los controles de acceso. Los responsables de riesgos y los CISO deben determinar periódicamente si los casos de uso y las directivas son adecuados, o si deben cambiar a medida que evolucionan los objetivos y los conocimientos.
Proteger contra las inyecciones de solicitud: Implementar una validación y limpieza estrictas de las entradas proporcionadas por el usuario. Usar el filtrado sensible al contexto y la codificación de la salida para evitar la manipulación de las solicitudes. Actualizar y ajustar periódicamente los LLM para mejorar su comprensión de las entradas maliciosas y los casos extremos. Supervisar y registrar las interacciones del LLM para detectar y analizar posibles intentos de inyección de solicitudes.
Exigir transparencia en toda la cadena de suministro de la IA: mediante prácticas claras y abiertas, evalúa todas las áreas en las que la IA puede entrar en contacto con los datos de tu organización, incluso a través de terceros asociados y proveedores. Usar las relaciones con los asociados y los equipos interfuncionales de ciberriesgo para explorar las lecciones aprendidas y resolver las carencias resultantes. Mantener los programas actuales de Confianza cero y gobernanza de datos es más importante que nunca en la era de la IA.
Centrarse en las comunicaciones: los líderes del ciberriesgo deben reconocer que los empleados son testigos del impacto y las ventajas de la IA en sus vidas personales y, naturalmente, querrán explorar la aplicación de tecnologías similares en entornos de trabajo híbridos. Los CISO y otros líderes que administran el riesgo cibernético pueden compartir y ampliar proactivamente las directivas de sus organizaciones sobre el uso y los riesgos de la IA, incluidas las herramientas de IA designadas que están aprobadas para la empresa y los puntos de contacto para el acceso y la información. Las comunicaciones proactivas ayudan a mantener a los empleados informados y capacitados, al tiempo que reducen el riesgo de que la IA no administrada entre en contacto con los recursos informáticos de la empresa.
Obtén más información sobre la IA de Homa Hayatafar, directora principal de datos y ciencia aplicada, y directora de análisis de detección.
Las herramientas tradicionales ya no están a la altura de las amenazas que plantean los ciberdelincuentes. La creciente velocidad, escala y sofisticación de los recientes ciberataques exigen un nuevo enfoque de la seguridad. Además, dada la escasez de personal especializado en ciberseguridad y el aumento de la frecuencia y gravedad de las ciberamenazas, es urgente resolver esta carencia.
La IA puede inclinar la balanza para los defensores. Un estudio reciente de Microsoft Copilot para seguridad (actualmente en versión de prueba preliminar para clientes) mostró un aumento de la velocidad y la precisión de los analistas de seguridad, independientemente de su nivel de experiencia, en tareas comunes como la identificación de scripts usados por los atacantes, la creación de informes de incidentes y la identificación de los pasos de corrección adecuados.1
- [1]
Metodología:1 los datos de la instantánea representan un ensayo controlado aleatorizado (ECA), en el que evaluamos a 149 personas para medir el impacto en la productividad del uso de Microsoft Copilot para seguridad. En este RCT, distribuimos Copilot aleatoriamente a algunos analistas y no a otros, y luego restamos su rendimiento y sentimientos para obtener el efecto de Copilot, separado de cualquier efecto de base. Los participantes en la prueba tenían conocimientos básicos de TI, pero eran novatos en seguridad, por lo que pudimos comprobar cómo Copilot ayuda a los analistas "nuevos en la carrera". Microsoft Office of the Chief Economist llevó a cabo el ECA de Microsoft Copilot para seguridad en noviembre de 2023. Además, Microsoft Entra ID proporcionó datos anonimizados sobre la actividad de las amenazas, como cuentas de correo electrónico maliciosas, correos electrónicos de phishing y movimientos de los atacantes dentro de las redes. La información adicional proviene de los 65 billones de señales de seguridad diarias obtenidas a través de Microsoft, incluyendo la nube, los puntos de conexión, la inteligencia perimetral, nuestros Equipos de detección y respuesta y Expertos en recuperación de seguridad vulnerada, la telemetría de las plataformas y servicios de Microsoft, incluyendo Microsoft Defender, y el Informe de protección digital de Microsoft 2023.