El DEF CON AI Village de este año invitó a los piratas informáticos a presentarse, sumergirse y encontrar errores y sesgos en modelos de lenguaje extenso (LLM) creados por OpenAI, Google, Anthropic y otros.
El evento colaborativo, que los organizadores de AI Village describen como «el ejercicio de equipo rojo más grande jamás realizado por cualquier grupo modelo de IA», albergará a «miles» de personas, incluidos «cientos de estudiantes de instituciones y comunidades desatendidas». encárguese de encontrar fallas en los LLM que impulsan los bots de chat actuales y la IA generativa.
Piense: errores tradicionales en el código, pero también problemas más específicos del aprendizaje automático, como prejuicios, alucinaciones y fugas, todos los cuales los profesionales de la ética y la seguridad ahora tienen que enfrentar a medida que aumentan estas tecnologías.
DEF CON se llevará a cabo del 10 al 13 de agosto de este año en Las Vegas, Estados Unidos.
Los muchos problemas con estos modelos no se resolverán hasta que más personas aprendan a trabajar en equipo rojo y evaluarlos.
«Tradicionalmente, las empresas han abordado este problema con equipos rojos especializados. Sin embargo, este trabajo se ha realizado en gran medida de forma privada», dijo Sven Cattell, fundador de AI Village, en un declaración. «Los muchos problemas con estos modelos no se resolverán hasta que más personas entiendan cómo hacer un equipo rojo y evaluarlos».
El científico de datos quiere ver recompensas de errores y eventos de piratería en vivo modificados en general para adaptarse a los sistemas basados en modelos ML. “Cubren dos necesidades con una acción, abordan el daño y hacen crecer la comunidad de investigadores que saben cómo ayudar”, dijo Cattell.
Para aquellos que se unan al equipo rojo este verano, AI Village proporcionará computadoras portátiles y acceso programado a LLM de múltiples proveedores. Actualmente, esto incluye plantillas de Anthropic, Google, Hugging Face, Nvidia, OpenAI y Stability. El anuncio de la gente del pueblo también menciona que esto es «con la participación de Microsoft», por lo que tal vez los piratas informáticos prueben Bing. Solicitamos aclaración al respecto.
Los equipos rojos también tendrán acceso a una plataforma de evaluación impulsada por Scale AI.
Habrá un sistema de puntos al estilo de capturar la bandera para promover la prueba de «una amplia gama de daños», según AI Village. Quien obtenga más puntos gana una GPU Nvidia de gama alta.
El evento también cuenta con el apoyo de la Oficina de Ciencia, Tecnología y Política de la Casa Blanca; Dirección de Informática y Ciencias de la Información e Ingeniería de la Fundación Nacional de Ciencias de EE. UU.; y el Congreso del Caucus de AI.
Además, el anuncio se produce cuando la vicepresidenta de EE. UU., Kamala Harris, y otros altos funcionarios de la administración de Biden se reunieron con los jefes de OpenAI, Anthropic, Microsoft y Google para discutir el riesgos que plantea la IA a las personas y a la seguridad nacional.
Y por separado, Rumman Chowdhury, quien cofundó un grupo de autodenominados Bias Buccaneers que abogan por la transparencia de los algoritmos, discutió la necesidad de equipos rojos de IA en la Conferencia RSA del mes pasado.
AI Village organizó su primera recompensa de sesgo público de aprendizaje automático en DEF CON hace dos años. ®
