Red Seguridad 107

red seguridad cuarto trimestre 2024 141 opinión Protección Los expertos aconsejan varias técnicas para proteger los sistemas impulsados por IA de campañas de envenenamiento o manipulación de datos. La mayoría se enfoca en la etapa de entrenamiento de datos y en los propios algoritmos. En su lista Top 10 para Aplicaciones LLM , la Fundación de Código Abier- to para la Seguridad de Aplicaciones (OWASP) recomienda medidas para prevenir este envenenamiento, comen- zando con prestar atención a la cadena de suministro de datos de entrenamiento internos y externos, con verificación con- tinua de las fuentes de datos en las fases de preentrenamiento, ajuste e incrusta- ción y señalización de cualquier sesgo o anomalía. OWASP también recomienda “des- infectar” los datos con métodos de de- tección de anomalías y valores atípicos estadísticos para buscar cualquier dato adverso que pueda introducirse en el proceso de ajuste. De este modo, si descubres que algún dato de entrenamiento está corrupto, al- terna los algoritmos de IA utilizados para desplegar el modelo afectado. “Usa más de un algoritmo, compara los resultados y recurre a salidas predefinidas o prome- dios cuando todo lo demás falle”, apunta Urquhart. Recomienda que los desarro- lladores que examinen de cerca los al- goritmos de IA/ML que interactúan o se alimentan de otros, ya que esto puede conducir a una cascada de predicciones inesperadas. Los expertos de la industria también sugieren que los equipos de cibersegu- ridad verifiquen la solidez y resiliencia de sus sistemas de IA mediante prue- bas de penetración y simulación de un ataque de envenenamiento de datos. “Puedes construir un modelo de IA cien por ciento ciberseguro y envenenarlo usando datos de entrenamiento. No hay defensa, aparte de validar toda la salida predictiva, lo cual es muy costoso”, aña- de Urquhart. Futuro resiliente Sin confianza y fiabilidad, la mayor in- novación en tecnología puede frenarse. Las empresas necesitan prevenir ame- nazas de puerta trasera en la genera- ción de código de IA, tratando todo el ecosistema y las cadenas de suministro que sustentan a GenIA, LLM, etcétera, como parte del universo de amenazas globales. Al monitorizar las entradas y salidas de estos sistemas y detectar anomalías con inteligencia de amenazas, los hallazgos y datos de estos esfuerzos pueden ayu- dar a los desarrolladores a promover y usar controles y protecciones en el ciclo de vida del desarrollo de software de IA. En general, examinando los riesgos de los sistemas de IA dentro de los procesos empresariales más amplios, incluyendo la verificación de todo el periodo de la gobernanza de datos y monitorizando cómo se comporta la IA en aplicaciones específicas, puedes mantenerte un paso adelante de uno de los problemas más desafiantes que en- frenta la ciberseguridad. La industria global de ciberseguridad debería tomar medidas para protegerse contra el aumento de ataques a modelos de IA