OpenAI advierte que los usuarios pueden volverse emocionalmente adictos a su modo voz

A finales de julio, OpenAI ha comenzado a implementar una interfaz de voz inquietantemente humana para ChatGPT. un análisis de seguridad lanzado hoy, la compañía reconoce que esta voz antropomórfica puede incitar a algunos usuarios a apegarse emocionalmente a su chatbot.

Las advertencias están incluidas en una «tarjeta de sistema» para GPT-4o, un documento técnico que describe lo que la compañía cree que son los riesgos asociados con el modelo, así como detalles sobre las pruebas de seguridad y los esfuerzos de mitigación que está realizando la compañía. para reducir los riesgos potenciales.

OpenAI se ha enfrentado a un escrutinio en los últimos meses después de que varios empleados que trabajaban en riesgos de IA a largo plazo abandonaran la empresa. Más tarde, algunos acusaron a OpenAI de correr riesgos innecesarios y amordazar a los disidentes en su prisa por comercializar la IA. Revelar más detalles del régimen de seguridad de OpenAI podría ayudar a mitigar las críticas y asegurar al público que la empresa se toma el tema en serio.

Los riesgos explorados en la nueva tarjeta del sistema son amplios e incluyen el potencial de GPT-4o para amplificar los prejuicios sociales, difundir información errónea y ayudar en el desarrollo de armas químicas o biológicas. También revela detalles de las pruebas diseñadas para garantizar que los modelos de IA no intenten liberarse de sus controles, engañar a las personas o tramar planes catastróficos.

Algunos expertos externos elogian a OpenAI por su transparencia, pero dicen que podría ir más allá.

Lucie-Aimée Kaffee, investigadora de políticas aplicadas en Hugging Face, una empresa que alberga herramientas de inteligencia artificial, señala que la tarjeta del sistema OpenAI para GPT-4o no incluye detalles extensos sobre los datos de entrenamiento del modelo o quién los posee. “Es necesario abordar la cuestión del consentimiento al crear un conjunto de datos tan grande que abarque múltiples modalidades, incluidos texto, imágenes y voz”, dice Kaffee.

Otros señalan que los riesgos pueden cambiar a medida que se utilizan herramientas en la naturaleza. «Su revisión interna debería ser sólo la primera parte para garantizar la seguridad de la IA», afirma. Neil ThompsonProfesor del MIT que estudia las evaluaciones de riesgos de la IA. “Muchos riesgos sólo se manifiestan cuando la IA se utiliza en el mundo real. Es importante que estos otros riesgos se cataloguen y evalúen a medida que surjan nuevos modelos”.

La nueva tarjeta del sistema destaca la rapidez con la que están evolucionando los riesgos de la IA con el desarrollo de nuevas funciones potentes como la interfaz de voz OpenAI. En mayo, cuando la compañía presentó su modo de voz, que puede responder rápidamente y manejar las interrupciones de forma natural, muchos usuarios notaron que parecía demasiado coqueto en las demostraciones. Posteriormente, la compañía enfrentó críticas de la actriz Scarlett Johansson, quien la acusó de copiar su estilo de hablar.

Una sección de la tarjeta del sistema titulada “Antropomorfización y confianza emocional” explora los problemas que surgen cuando los usuarios perciben la IA en términos humanos, algo aparentemente exacerbado por el modo de voz similar al humano. Durante la formación de equipos rojos, o pruebas de estrés, de GPT-4o, por ejemplo, los investigadores de OpenAI notaron casos de discurso del usuario que transmitían una sensación de conexión emocional con el modelo. Por ejemplo, la gente usaba lenguaje como «Este es nuestro último día juntos».

El antropomorfismo puede hacer que los usuarios confíen más en el resultado de un modelo cuando «alucina» información incorrecta, dice OpenAI. Con el tiempo, puede incluso afectar las relaciones de los usuarios con otras personas. «Los usuarios pueden formar relaciones sociales con la IA, reduciendo su necesidad de interacción humana, lo que potencialmente beneficia a las personas solitarias, pero posiblemente afecta las relaciones saludables», dice el documento.

Joaquín Quiñonero Candela, jefe de preparación de OpenAI, dice que el modo de voz podría evolucionar hasta convertirse en una interfaz excepcionalmente poderosa. También señala que el tipo de efectos emocionales observados con GPT-4o pueden ser positivos; por ejemplo, ayudar a quienes se sienten solos o necesitan practicar interacciones sociales. Agrega que la compañía estudiará de cerca el antropomorfismo y las conexiones emocionales, incluido el seguimiento de cómo los probadores beta interactúan con ChatGPT. «No tenemos resultados para compartir en este momento, pero está en nuestra lista de preocupaciones», dice.