Una prueba de un profesor de Brown sobre el engaño masivo de la IA
Un profesor de economía de la Universidad de Brown sospecha que la mayoría de su clase hizo trampa con IA, y tiene los números para demostrarlo. Roberto Serrano vio cómo su promedio en el examen parcial en casa alcanzó 96 de 100. Cuando cambió el final a un examen presencial, el promedio cayó a 48. Ha hecho pública la historia, diciendo a El País y Inside Higher Ed que no lo dejará pasar.
El formato de examen en casa surgió de una tragedia. Después de que un tirador matara a dos estudiantes en el campus el diciembre pasado, muchos dijeron que se sentían ansiosos al presentar exámenes en una sala llena de gente. Serrano ofreció exámenes parciales y finales en casa para aliviar eso. La ironía duele: la única vez en décadas que relajó las reglas, gran parte de la clase hizo trampa.
Los números que lo delataron
El curso de Serrano, ECON 1170, es una clase de economía avanzada para estudiantes de pregrado que generalmente atrae a un grupo pequeño y fuerte. Nunca había enseñado a más de 30 estudiantes, y una vez tuvo solo ocho. Este semestre, 86 se inscribieron. El nuevo formato de examen en casa probablemente los atrajo.
Los resultados del examen parcial fueron, en sus palabras, extraordinarios. La clase promedió 96, y 40 estudiantes obtuvieron un 100 perfecto. El promedio histórico del curso se sitúa entre 65 y 80, y este examen fue más difícil de lo habitual. El examen en casa, razonó Serrano, era una oportunidad para llevar a la clase más lejos, dado el tiempo ilimitado.
Las respuestas en sí parecían extrañas. Muchas correctas tenían un “estilo muy enrevesado”. Cuando Serrano y sus evaluadores alimentaron las preguntas a ChatGPT, obtuvieron resultados similares.
La prueba que estableció para demostrarlo
Así que tendió una trampa. Les dijo a los estudiantes que el final sería presencial, y que compararía las dos distribuciones. Si coincidían, mantendría el examen parcial. Si no, lo anularía y recalibraría el final.
La respuesta habló por sí misma. Dieciocho estudiantes abandonaron el curso, y nueve más se saltaron el final. De esos 27, notó El País, 22 habían obtenido un 100 perfecto en el examen parcial. Entre los estudiantes que sí presentaron el examen, el promedio cayó de 96 a 48. Según el conteo de Serrano, al menos 50 estudiantes hicieron trampa en el examen parcial, y él llama a la evidencia abrumadora.
Un ajuste más amplio
Brown no está sola. Una encuesta reciente a estudiantes de Princeton encontró que el 29.9 por ciento admitió haber hecho trampa en al menos un examen o tarea, la mayoría utilizando IA. Las escuelas han pasado dos años persiguiendo herramientas de detección y repensando cómo evalúan en general.
Los estudiantes también sienten la presión. El propio informe dirigido por el provost de Brown encontró que la mayoría de los estudiantes de pregrado utilizan IA generativa semanal o diariamente. Sin embargo, grandes mayorías también se preocupan por el efecto en su aprendizaje y temen lo que hace a su “capacidad cognitiva”.
Esa preocupación se sitúa junto a un cambio más amplio, ya que la IA redefine quién es contratado e incluso cómo piensan y escriben las personas. Serrano lo enmarca en los términos más contundentes.
Por qué importa
“No podemos permitirnos tener una sociedad en la que una fracción significativa de nuestras mejores mentes jóvenes piense que hacer trampa está bien”, dijo Serrano a Inside Higher Ed. “Eso conduce a una sociedad en declive, a una sociedad fallida. No podemos elegir convertirnos en idiotas”.
Su experimento es pequeño, una clase, un semestre. Pero convierte una preocupación difusa en un número concreto. Quita la IA, y la mitad del conocimiento aparente se va con ella. Esa es la cifra con la que las universidades ahora tienen que lidiar.
Otros artículos
Nvidia se une a su rival de chips d-Matrix en inferencia
Nvidia está combinando sus GPUs con los chips de inferencia de d-Matrix en un sistema conjunto, la última señal de que prefiere hacer amistad con sus rivales en el sector de los chips en lugar de pelear contra ellos.
La marca de agua SynthID de Google acaba de desmentir su primer deepfake de alto perfil: una imagen falsa de Mitch McConnell.
Snopes utilizó la marca de agua invisible SynthID de Google para desmentir una imagen viral generada por IA del senador McConnell en una cama de hospital. La marca de agua sobrevivió a las capturas de pantalla.
La startup irlandesa de entrega por drones Manna está construyendo una fábrica en Tulsa para 1,000 personas para competir con Zipline y Wing.
Manna recaudó $50 millones y está estableciendo un centro de fabricación en EE. UU. en Tulsa, empleando a 1,000 personas. Abandonó Irlanda debido a fallos en la regulación. Se evaluaron seis ciudades de EE. UU.
La NHTSA exige a las empresas de vehículos autónomos que solucionen la interferencia con los primeros respondedores antes de finales de julio.
La NHTSA dice que los vehículos sin conductor están entrando en escenas de emergencia y bloqueando ambulancias. Ha exigido a los desarrolladores de vehículos autónomos que presenten soluciones antes de fin de mes.
¿Aún esperando un Vision Pro más barato? Un nuevo informe trae malas noticias.
El Vision Pro más barato de Apple parece cada vez más improbable después de que Samsung Display decidiera supuestamente terminar el desarrollo de la tecnología de pantalla de menor costo planificada para el auricular.
La 'Red de Muerte' de IA de la OTAN en su flanco oriental
La OTAN está construyendo una 'Red de Muerte' de inteligencia artificial compuesta por sensores, drones y satélites a lo largo de su flanco oriental para detectar y atacar un ataque ruso antes de que se lleve a cabo.
Una prueba de un profesor de Brown sobre el engaño masivo de la IA
Un profesor de Brown trasladó su examen a formato presencial y el promedio de la clase se desplomó de 96 a 48, convirtiendo una preocupación difusa sobre el engaño con IA en un número concreto.