A medida que ChatGPT se vuelve más popular entre los escritores y creadores, es probable que otro grupo también use la tecnología: los estafadores.
Actualmente, OpenAI, creadores del popular modelo de lenguaje conversacional, restringe algunos usos indebidos de la tecnología; por ejemplo, impide que digas o hagas cosas que puedan ser racistas.
Sin embargo, Microsoft, un gran inversor en OpenAI, ha revelado recientemente planes para incorporar ChatGPT en su Servicios de IA de Azurelo que probablemente abrirá posibilidades para un uso más amplio de la tecnología.
Y a medida que avanza la tecnología, esto puede facilitar los ataques de phishing.
Chester Wisniewski, investigador principal de Sophos, un proveedor de software y hardware de seguridad, estudió recientemente la facilidad con la que los usuarios pueden manipular ChatGPT para ataques maliciosos.
En esta sesión de preguntas y respuestas, Wisniewski analiza lo que podría ser necesario para contrarrestar el uso de ChatGPT para estos ataques.
¿Cómo puede ChatGPT facilitar que aquellos con malas intenciones lancen ataques de phishing?
Chester Wisniewski: Lo primero que hago cada vez que me das algo es averiguar cómo romperlo. Tan pronto como vi la última versión de ChatGPT, pensé: ‘Está bien, ¿cómo puedo usar esto para cosas malas?’ Voy a jugar a ver qué cosas malas le puedo hacer.
Mirando una herramienta como ChatGPT desde el punto de vista de la seguridad, puede ir en dos direcciones diferentes. Puede ver lo que podría hacer tecnológicamente, sobre lo cual he visto algunas investigaciones. Por ejemplo, ¿podemos hacer que escriba programas maliciosos? ¿Podemos hacer que escriba virus? ¿Podemos hacer que haga cosas malas como esa? Y luego también están los aspectos sociales de eso.
chester wisniewski
Miré brevemente el aspecto técnico, ¿cómo podrías hacer que escribiera malware? Por supuesto, sí, puede usarlo para ayudarlo a escribir malware. Ya somos buenos detectando programas de computadora que hacen cosas malas. Realmente no importa si fue escrito por un tipo llamado Iván o una mujer llamada Carol o un Bot AI llamado ChatGPT. El código malo es un código malo. No estoy demasiado preocupado por el aspecto técnico.
Donde encontré influencia fue en el lado social de lo fácil que es conversar con ChatGPT y lo bien que escribe, específicamente en inglés americano. En los últimos 10 años, he investigado mucho sobre el impacto de la forma en que realizamos la capacitación de concientización sobre seguridad. Lo primero que escucho de los usuarios es la forma en que detectan muchos ataques que terminan en sus buzones porque la ortografía es incorrecta, la gramática es incorrecta. Si bien el inglés puede ser correcto, generalmente es inglés británico. Muchas de las personas que escriben los textos de phishing son de África, India o Pakistán. Entonces terminarán teniendo usted en la palabra coloro organización se escribirá con un s en vez de zo cosas que los estadounidenses aprenden.
Si comienza a mirar ChatGPT y comienza a pedirle que escriba este tipo de correos electrónicos, es significativamente mejor para escribir cebos de phishing que los humanos reales, o al menos los humanos que los escriben. La mayoría de los ataques de phishing escritos por humanos no tienen un alto nivel de dominio del inglés y, debido a esto, no tienen tanto éxito a la hora de comprometer a las personas.
Mi preocupación es realmente cómo las personas que nos atacan pueden aprovechar el aspecto social de ChatGPT. La única forma de detectarlos ahora es que podemos decir que no son un negocio profesional. ChatGPT hace que sea muy fácil para ellos hacerse pasar por una empresa legítima, incluso sin tener las habilidades lingüísticas u otras cosas necesarias para escribir un ataque bien diseñado.
¿Qué tipo de herramientas de IA necesitamos para detectar si un bot como ChatGPT escribió un ataque de phishing?
Wisniewski: Hemos dado un giro con la IA ahora, entre la demostración de Microsoft de [text-to-speech model] Vall-E es capaz de representar las voces de las personas y la notable capacidad de ChatGPT para mantener una conversación. Ya hemos doblado una esquina donde los seres humanos son ineficaces para saber si están siendo engañado por un bot o si están hablando con un ser humano real. No sé si podemos arreglar esto.
No podemos confiar en los usuarios para detectar si algo es realista. La gente será continuamente engañada. La tecnología es demasiado buena y los humanos nunca mejorarán.
chester wisniewskiInvestigador principal, Sophos
Desde una perspectiva humana, lo que esto realmente significa es que necesitamos cambiar drásticamente nuestras expectativas y nuestro enfoque de lo que creemos que harán los humanos.
No podemos confiar en los usuarios para detectar si algo es realista. La gente será continuamente engañada. La tecnología es demasiado buena y los humanos nunca mejorarán. No tendremos la versión 2.0 de humanos. Así que estamos al borde de la tecnología.
De modo que puede ejecutar su propio modelo de IA para cosas como el filtrado de correo electrónico. Probablemente tendremos que implementar algo como esto. Podremos analizar los cuerpos de los correos electrónicos entrantes, así como escanearlos en busca de signos de spam para ver si están tratando de vendernos una novia rusa o algún medicamento para el corazón o lo que sea. Podremos comenzar a detectarlo con programas que nos digan ‘El texto de este correo electrónico en realidad fue escrito por un humano’ y ‘Estamos 92% seguros de que probablemente realmente fue escrito por ChatGPT o algún ML similar. [machine learning] modelo.’ Creo que a medida que mejoremos con el tiempo, seremos realmente buenos para conocer las cosas que él crea.
Pero, por ejemplo, si las personas comienzan a escribir textos publicitarios o textos publicitarios con ChatGPT, puede haber una gran cantidad de texto «legítimo» que llega a su correo electrónico y que en realidad está escrito por ChatGPT. Esto no es una estafa. Así que no creo que se resuelva tecnológicamente, pero creo que podemos ayudar a los humanos a tomar decisiones.
El primer paso es esa dirección en la que vamos a comenzar a implementar la capacidad de detectar cosas escritas por él para que podamos alertar a los humanos sobre ‘algo extraño con esto’.
ChatGPT y todo lo demás es un sistema basado en reglas. Tiene un conjunto de reglas que sigue y no puede romper las reglas que se le han establecido. Y esa previsibilidad en la forma en que funciona programáticamente dentro de la computadora significa que siempre podemos decir que un modelo como este lo hizo. Hay ciertas señales que le delatan que ha seguido las reglas. Los humanos nunca siguen las reglas.
¿Cómo puede la regulación ayudar a frenar el abuso de herramientas como ChatGPT para ataques de phishing?
Wisniewski: Sospecho que la legislación no va a ser muy efectiva, porque no importa lo que le diga a las empresas que hagan en términos de IA, básicamente está prohibiendo el uso de la IA. La única manera de no abusar de ella es no existir. No hay forma de detener este tren. El tren salió de la estación y ninguna ley va a deshacer esta tecnología que está al alcance del mundo.
Nota del editor: Esta sesión de preguntas y respuestas ha sido editada para mayor claridad y brevedad.
chester wisniewski
