Por primera vez, Google dice que detectó y detuvo una vulnerabilidad de día cero desarrollada utilizando inteligencia artificial. Según un informe de Suite de inteligencia sobre amenazas de Google (GTIG), «prominentes actores de amenazas de delitos cibernéticos» planeaban utilizar la vulnerabilidad en un «evento de explotación masiva» que les habría permitido eludir la autenticación de dos factores en una «herramienta de administración de sistemas de código abierto basada en web» anónima.
Los investigadores de Google encontraron pistas en el script Python utilizado para el exploit que sugieren ayuda de la IA, como una «puntuación CVSS alucinada» y un formato de «libro de texto estructurado» consistente con los datos de entrenamiento LLM. Este exploit aprovecha una «falla semántica de alto nivel en la que el desarrollador ha codificado una suposición de confianza» en el sistema de autenticación de dos factores de la plataforma. Esto se produce después de semanas de preocupación sobre las capacidades de los modelos de IA centrados en la ciberseguridad, como Mythos de Anthropic, y una vulnerabilidad de Linux recientemente revelada y descubierta con la ayuda de la IA.
Esta es la primera vez que Google encuentra evidencia de la participación de la IA en un ataque como este, aunque los investigadores de Google señalaron que «no creen que se haya utilizado Gemini». Google dice que pudo «deshabilitar» este exploit en particular, pero también dice que los piratas informáticos utilizan cada vez más la inteligencia artificial para encontrar y aprovechar vulnerabilidades. El informe también señala a la IA como un objetivo para los atacantes, diciendo: «GTIG señala que los adversarios apuntan cada vez más a los componentes integrados que dan utilidad a los sistemas de IA, como las habilidades autónomas y los conectores de datos de terceros».
El informe de Google también detalla cómo los piratas informáticos están utilizando el «jailbreaking basado en caracteres» para hacer que la IA encuentre vulnerabilidades para ellos, como un ejemplo que dirige a la IA para que pretenda ser un experto en seguridad. Los piratas informáticos también están alimentando los modelos de IA con repositorios completos de datos de vulnerabilidad y utilizando OpenClaw de maneras que indican «interés en optimizar las cargas útiles impulsadas por la IA en entornos controlados para aumentar la confiabilidad de la explotación antes de la implementación».
(Etiquetas para traducción)AI