Combatir el fuego con fuego: la IA puede detectar artículos químicos falsos generados por IA | Noticias
químico analítico Heather Desaire y su equipo en la Universidad de Kansas (KU) creó un detector afirman que tiene una eficacia del 98 al 100 % para identificar artículos de química generados por modelos de lenguaje grandes (LLM) como ChatGPT.1 Los investigadores sostienen que su herramienta puede ayudar a los editores científicos a detectar y prevenir el uso indebido de la inteligencia artificial (IA) en revistas académicas.
Los investigadores presentó su detector por primera vez en juniocuando lo aplicaron a los artículos de Perspectives de Ciencia y descubrió que reconocía texto científico generado por ChatGPT con más del 99% de precisión.dos Pero ahora han ampliado drásticamente el alcance de la herramienta, probándola en artículos de química.
El detector KU fue entrenado en 100 pasajes introductorios de 10 revistas publicadas por la American Chemical Society. Luego, el equipo encargó a ChatGPT que escribiera pasajes similares.
El modelo de aprendizaje automático identificó correctamente los pasajes escritos por humanos el 100 % del tiempo, así como los generados a partir de indicaciones basadas únicamente en títulos de informes. Los resultados fueron casi igual de buenos cuando se entrenó a LLM en pasajes introductorios, con una identificación correcta el 98% de las veces.
“La motivación principal era analizar una selección de revistas de manera más amplia… y queríamos desafiar el enfoque con sugerencias más complejas y diversas”, explica Desaire.
Luego el detector fue sometido a una prueba más difícil. Se comparó con muestras que no se utilizaron en el entrenamiento pero que eran de naturaleza idéntica a los datos del entrenamiento; en este caso, 150 introducciones de otras tres revistas de química que no estaban en el conjunto de entrenamiento original. También se utilizó una versión posterior de ChatGPT para mejorar el texto generado por IA. El detector de IA aún pudo clasificar correctamente el texto nuevo entre el 92% y el 98% de las veces para las tres revistas.
Los expertos en fraude de investigación señalan que el buscador ChatGPT podría usarse como una herramienta para marcar artículos sospechosos, que luego serían investigados por los revisores o editores de una revista para determinar si son falsos.
Elizabeth Bik, microbiólogo y consultor de integridad científica en EE. UU., está entusiasmado con el estudio. «Esta es una nueva herramienta bienvenida que podría ayudar enormemente a los editores de revistas científicas a detectar manuscritos entrantes en busca de texto generado por computadora, de manera similar a usar… software de detección de plagio», dice. Química Mundial.
Pero Saniat (John) Sohrawardi, estudiante de doctorado de quinto año en el Instituto de Tecnología de Rochester en Nueva York que trabaja en la detección de «falsificaciones profundas», tiene algunas reservas. “Ninguna revista, ningún entorno académico debería utilizar la herramienta como única justificación para rechazar cualquier artículo”, afirma. «Creo que su trabajo tiene mérito como primer paso, siempre y cuando sea lo suficientemente eficiente y utilice eficientemente los recursos, pero debería haber un descargo de responsabilidad que diga que esto no debe usarse como evidencia definitiva para rechazar el artículo».
Preocupaciones por afirmaciones exageradas
Varios expertos en este campo se muestran escépticos ante las afirmaciones de que cualquier detector de IA alcance niveles tan altos de confiabilidad. Debby algodóndirector de práctica académica de la Universidad Plymouth Marjon en el Reino Unido, señala que los primeros experimentos con muchos de estos detectores sugirieron una alta precisión, pero esto rara vez se confirmó después de que se probaron más ampliamente.
algodón, autor un estudio reciente que examinó el uso de la IA en la educación superior3, dice que en el caso de esta última herramienta, el modelo ha sido entrenado específicamente en un campo limitado y esto lo hará mejor que la mayoría. Sin embargo, sugiere que generalmente es bastante fácil evadir tales detectores con alguna edición humana superficial, señalando que incluso hay un nuevo servicio llamado Undetectable AI que ayuda a los autores que quieren disfrazar los orígenes de la IA de su trabajo.
Barco Rubén, profesor de biología marina en la Universidad de Plymouth y coautor del artículo de Cotton, está de acuerdo. ‘¿Qué impide que los autores simplemente escriban usando LLM, examinando el resultado con el software de detección y luego modificando el resultado hasta que obtengan una puntuación baja con respecto al software de detección?’ él pide. ‘Por el momento nada.’
Desaire ahora quiere determinar hasta qué punto ChatGPT se ha infiltrado en la empresa de investigación. «Tenemos un detector que es útil para buscar contribuciones de ChatGPT a la redacción científica académica, por lo que el siguiente paso sería aplicarlo a la redacción científica académica y ver», afirma.
«No creo que nadie sepa realmente cuánto contribuye ChatGPT a la literatura académica: ¿es cero, es 20%?» Pregunta Desaire. Ella dice que el objetivo de su estudio futuro será dilucidar qué tan común es el uso inaceptable de ChatGPT en la literatura científica.
