Red Seguridad 105

red seguridad segundo trimestre 2024 31 inteligencia artificial monográfico tor legítimo con la finalidad de intro- ducir nuevos datos, corrompiendo así la autenticidad de éstos. Componente de modelo: Ataques de envenenamiento . Buscan corromper el conjunto de entrena- miento del modelo para reducir la pre- cisión del modelo IA. Están enfocados a inyectar datos orientados a degradar partes específicas del modelo. Ataques del adversario . Buscan aprender los patrones internos del algoritmo con el fin de poder inferir información alterada. Componente de entorno: Legitimidad . Estos ataques explotan puertas traseras introducidas en el código fuente de librerías y reposito- rios no autorizados. Acceso al modelo . En necesario ase- gurar que solo las personas autoriza- das tienen acceso al modelo y que la API que se utiliza es segura, evitando así accesos no deseados y exfiltra- ción de información. Actualmente, MITRE, organización sin ánimo de lucro enfocada al estudio de amenazas y fraudes digitales, está ela- borando un marco de ataques enfocado hacia los sistemas de inteligencia artifi- cial llamado ATLAS ( Adversarial Threat Landscape for Artificial-Intelligence Systems ), de forma similar a los otros marcos que ya son una referencia en sus respectivos campos, tales como ATT&CK, PRE-ATT&CK, CAPEC y DEFEND. Otras iniciativas, también en desarrollo, son NISTIR 8269 - A Taxonomy and Termi- nology of Adversarial Machine Learning y ENISA Big Data Threat Landscape and Good Practice Guide . Expectativas En un futuro, disponer de aplicaciones seguras será un requisito indispensable para que éstas puedan ser puestas en funcionamiento. Hoy en día, dos dimen- siones ( trustworthiness y marco legal) han de permitir aumentar la calidad de los sistemas de IA. Trustworthiness . La ventaja directa de desarrollar aplicaciones teniendo en cuenta la seguridad de la IA es que la confianza que tiene el usuario final en el modelo se ve reforzada, ya que éste puede tanto entender el propio mode- lo (transparencia algorítmica) como asegurar que no tiene sesgos y que se evitan problemas de discriminación. De igual modo, avanzar hacia una IA segura ayuda a democratizarla, de manera que pueda llegar a más usua- rios y no sea vista como una amenaza. Marco legal. Las instituciones euro- peas están trabajando en diferentes marcos normativos para que la segu- ridad sea un prerrequisito para todo sistema basado en proveer decisio- nes automatizadas. Cabe destacar en este sentido la Artificial Intelligence Act, donde se propone categorizar las aplicaciones de IA de acuerdo a sus riesgos, adaptando los requisitos al nivel de riesgo para que no se dañe al usuario final. Otra iniciativa regula- dora de la Unión Europea en curso es la Civil Liability, que tiene el propósito de adaptar las normas de responsabi- lidad civil a la era digital y de la IA. La IA comporta, en algunos casos, el tratamiento masivo de datos, que pueden contener información personal- mente identificable de personas físicas. Normativas como el Reglamento Gene- ral de Protección de Datos protegen los derechos y libertades de las personas físicas en relación con el tratamiento de sus datos personales y la privacidad, y afectan también a la IA. Obstáculos Una de las principales carencias es la escasa investigación y la falta de vali- dación de ataques contra modelos IA en entornos de producción. Esta carencia también se traslada al mundo de De- vOps, donde no existe ningún framework de amplia adopción que permita agilizar y estandarizar la seguridad para siste- mas basados en IA. Otro inconveniente detectado es la falta de herramientas de benchmarking , baselines o checklist enfocadas a testear, establecer o auditar la seguridad de la IA. No en vano, benchmarks de seguridad para los módulos y sistemas de IA, rea- lizados por asociaciones como el Center for Internet Security, ayudarían a una im- plementación más segura de la IA.