Red Seguridad 107

140 red seguridad cuarto trimestre 2024 opinión Cuando los investigadores de la em- presa de gestión de software JFrog realizaron un escaneo rutinario de modelos de inteligencia artificial (IA) y aprendizaje automático (ML) subidos a Hugging Face a principios de 2024, el descubrimiento de un centenar de mo- delos maliciosos puso el foco en una categoría subestimada de problemas de ciberseguridad: el envenenamiento y la manipulación de datos. El problema con el envenenamien- to de datos, que afecta a los datos de entrenamiento utilizados para construir modelos de IA y ML, es que es poco ortodoxo en comparación con otros ci- berataques y, en algunos casos, puede ser difícil de detectar o detener. Atacar la IA de esta manera es relativamente fácil y no requiere hackeo para envene- nar o manipular los datos de entrena- miento de los que dependen los mode- los populares de lenguaje grande como ChatGPT. Puedes usar el envenenamiento de datos para hacer que el modelo de IA cumpla tus órdenes o convencer a un modelo de IA de que dé resultados erró- neos modificando los datos que envías a un modelo entrenado. Se trata de dos tipos diferentes de ataque: uno se pro- duce antes de que el modelo de IA se despliegue y el otro, después. Ambos son increíblemente difíciles de detectar y proteger, según Ken Urquhart, vicepre- sidente global del equipo de Tecnología Emergente/5G de Zscaler. En su análisis, JFrog señaló que la carga útil “intrigante” incrustada den- tro del modelo parecía algo que los investigadores subirían para demostrar vulnerabilidades o pruebas de concep- to. Este no era el caso de los nefastos modelos subidos al repositorio de co- laboración de IA de Hugging Face. Por tanto, los investigadores pueden haber estado detrás porque las cargas úti- les tenían enlaces a direcciones IP de KREOnet y Korea Research Environment Open Network. Problemas en la detección Los ejemplos de manipulación de datos de entrenamiento se remontan a los orí- genes del aprendizaje automático. Hace una década, los investigadores demos- traron que los ataques sutiles a los datos de entrada provocaban que un modelo diera una respuesta incorrecta con un alto grado de confianza. Incluso es po- sible que los modelos de IA generativa que extraen información de Internet se “envenenen” a sí mismos a medida que sus salidas se conviertan en entradas para futuros conjuntos de entrenamien- to, en un proceso conocido como “co- lapso degenerativo del modelo”. Lo que complica aún más la situación es que la reproducibilidad de modelos de IA es en sí misma un desafío, ya que hay enormes cantidades de datos utiliza- dos para entrenar modelos, y los analis- tas y científicos de datos pueden incluso no entender exactamente qué entró en un modelo y qué está saliendo. Esta si- tuación agrava la detección y trazabili- dad del código malicioso. Por incómodo que suene todo esto, en la fiebre del oro de la IA, hacer la vista gorda ante el envenenamiento y mani- pulación de datos puede envalentonar a los atacantes para centrarse en exploits furtivos de puerta trasera en el software de IA. Los resultados pueden ser la eje- cución de código malicioso, como en el caso de Hugging Face, nuevos vectores para llevar a cabo exitosamente ataques de phishing y salidas de modelos mal clasificadas que conducen a comporta- mientos inesperados, dependiendo de los objetivos del atacante. De hecho, en un mundo cada vez más cubierto por un ecosistema de IA interconectada, GenIA, LLM y API, la in- dustria global de ciberseguridad debería temblar colectivamente y tomar medidas para protegerse contra el aumento de ataques a modelos de IA. Envenenamiento de datos: una amenaza silenciosa para la IA S am C urry Vicepresidente global y CISO en residencia en Zscaler