Un estudio encuentra que los lectores califican las historias escritas por IA más alto, pero aún confían más en la etiqueta "humana".
Los investigadores también encontraron que los lectores apenas podían diferenciar entre historias generadas por IA y escritas por humanos, aunque aquellos familiarizados con herramientas de IA adivinaron algo mejor.
Si crees que la escritura de IA es fácil de identificar, un nuevo estudio sugiere que puedes estar sobreestimando tu capacidad para notar la diferencia. Investigadores de la Universidad de Villanova han descubierto que los lectores lucharon por distinguir las historias generadas por IA de las escritas por humanos y frecuentemente calificaron las versiones de IA más alto.
El estudio, dirigido por la Dra. Deena Skolnick Weisberg y publicado en la revista Judgment and Decision Making (a través de The Guardian), pidió a más de 1,600 participantes que calificaran una de seis historias cortas, tres escritas por un humano y el resto generadas por ChatGPT, en calidad y compromiso. Se les dijo a los participantes quién escribió su historia, aunque esa etiqueta no siempre era precisa.
Las historias de IA obtuvieron puntuaciones más altas, pero la etiqueta de "humano" aún ganó puntos.
Los lectores que recibieron una historia generada por IA la calificaron como más absorbente y de mayor calidad que los lectores que recibieron una escrita por un humano. Al mismo tiempo, las historias etiquetadas como escritas por humanos obtuvieron mejores puntuaciones que las etiquetadas como IA, independientemente de quién las escribió realmente.
Weisberg dice que los resultados muestran que la IA se ha vuelto mucho más capaz de producir ficción legible y atractiva de lo que la mayoría de la gente asume. Pero eso no significa que los autores humanos se hayan vuelto irrelevantes, agregó.
La mayoría de los lectores no pudieron notar la diferencia.
En una prueba de seguimiento, se les dio a los participantes una historia escrita por un humano y una escrita por IA sobre el mismo tema y se les pidió que identificaran cuál era cuál. En gran medida fallaron, adivinando correctamente solo aproximadamente tan a menudo como lo predeciría el azar. El único grupo que tuvo un rendimiento notablemente mejor fue el de las personas que se describieron a sí mismas como más familiarizadas con los sistemas de IA, lo que sugiere que detectar la escritura de IA puede ser una habilidad aprendida en lugar de un instinto.
El Premio de Cuento Corto de la Commonwealth se encontró con este problema exacto a principios de este año, cuando los lectores en línea señalaron tres de sus cinco entradas ganadoras como generadas por IA, y una herramienta de detección de IA lo respaldó. El propio editor del premio realizó una verificación separada, y esta resultó inconclusa. Si los jueces profesionales y los lectores con una reputación en juego no pueden resolver la cuestión, esperar que los lectores casuales noten la diferencia es pedir demasiado.
Otros artículos
Un estudio encuentra que los lectores califican las historias escritas por IA más alto, pero aún confían más en la etiqueta "humana".
Un nuevo estudio ha encontrado que los lectores no solo tenían dificultades para distinguir las historias escritas por IA de las escritas por humanos, sino que a menudo calificaban las versiones de IA más alto, al menos hasta que se enteraban de quién las había escrito realmente.
