FuzzyAI, la nueva herramienta de CyberArk para abordar las vulnerabilidades de modelos de IA
CyberArk ha anunciado el lanzamiento de FuzzyAI, una herramienta de código abierto que ayuda a las organizaciones a identificar y abordar las vulnerabilidades en los modelos de inteligencia artificial (IA) internos y alojados en la nube, tales como la elusión de barreras y la generación de resultados dañinos. En concreto, los modelos de IA están transformando las industrias con aplicaciones innovadoras en las interacciones con los clientes. De ahí que el uso interno de estos modelos también presente nuevos retos de seguridad para los que la mayoría de las organizaciones no están preparadas.
Por ello, FuzzyAI ayuda a resolver estos desafíos ofreciendo a las organizaciones un enfoque sistemático para probar modelos de IA contra varias incursiones maliciosas, descubriendo posibles puntos débiles en sus sistemas de seguridad y haciendo que el desarrollo y despliegue de la IA sean más seguros. Dentro de FuzzyAI se encuentra un potente fuzzer, una herramienta que revela defectos y vulnerabilidades del software, capaz de exponer vulnerabilidades encontradas a través de más de diez técnicas de ataque distintas, desde eludir filtros éticos hasta exponer indicaciones ocultas del sistema.
Entre sus características, FuzzyAI sondea los modelos de IA
Gracias al fuzzing exhaustivo, FuzzyAI sondea los modelos de inteligencia artificial con diversas técnicas de ataque para exponer vulnerabilidades como la elusión de barreras de protección, la fuga de información, la inyección de información o la generación de resultados dañinos. Además, cuenta con un marco extensible para que las organizaciones pueden añadir sus propios métodos de ataque para adaptar las pruebas a vulnerabilidades específicas del dominio. Cabe destacar que FuzzyAI tiene una amplia comunidad que garantiza los continuos avances en las técnicas de ataque y mecanismos de defensa.
En palabras de Peretz Regev, director de Producto de CyberArk: «El lanzamiento de FuzzyAI subraya el compromiso de CyberArk con la seguridad de la IA y ayuda a las organizaciones a dar un importante paso adelante en la resolución de los problemas de seguridad inherentes al cambiante panorama del uso de modelos de inteligencia artificial».
