A medida que se presentan soluciones de Inteligencia Artificial trabajando en varios sectores, aumentan las posibles amenazas, siendo necesario tener una plataforma que garantice de alguna forma que ese sistema AI es seguro.
Eso es lo que acaba de lanzar ahora Microsoft, una herramienta de código abierto llamada Counterfit, que ayuda a los desarrolladores a probar la seguridad de estos sistemas.
Lo ha publicado en GitHub, y comentan que el motivo por el que han trabajado en algo así es obvio, ya que la mayoría de las organizaciones carecen de las herramientas para abordar el aprendizaje automático adverso.
Nació con la propia necesidad de Microsoft de evaluar los sistemas de inteligencia artificial buscando vulnerabilidades. Es una herramienta de automatización genérica para atacar múltiples sistemas de IA a escala, y aunque está pensado para probar sistemas, también están explorando el uso de Counterfit en la fase de desarrollo de IA.
La herramienta se puede implementar a través de Azure Shell desde un navegador o instalarse localmente en un entorno Anaconda Python.
En su blog comentan que puede evaluar modelos alojados en cualquier entorno de nube o en las instalaciones. Counterfit es independiente del modelo y se esfuerza por ser independiente de los datos, aplicable a modelos que utilizan texto, imágenes o entradas genéricas.
Aprendizaje automático adverso
Lo que se quiere evitar es que un atacante consiga engañar a un modelo de aprendizaje automático con datos manipuladores. Es algo que ya ha pasado, como el engañó para que un Tesla malinterprete el límite de velocidad colocando cinta negra en señales de velocidad, por ejemplo.
Otro ejemplo fue cuando un chatbot comenzó a publicar en Twitter comentarios racistas después de analizar datos que eran, efectivamente, racistas, alimentados por un troll.
La herramienta viene precargada con algoritmos de ataque publicados que se pueden usar para iniciar las operaciones necesarias para evadir y robar modelos de IA, y puede ayudar con el escaneo de vulnerabilidades de estos sistemas.
Si te ha gustado el contenido Invítanos a un café. ¡Gracias por seguir leyéndonos!
