Nunca aprender a depurar: la investigación dice que los juniors que usan IA nunca aprenden a depurar

      La investigación publicada este año ha dado un nombre a algo que los empleadores han estado considerando durante un tiempo. La descalificación es lo que sucede cuando un experto deja de practicar y empeora. La falta de habilidades es lo que ocurre cuando un novato nunca mejora en primer lugar, y es el problema más incómodo, porque las personas a las que afecta son las que las empresas ya están contratando en menor cantidad.

      La evidencia más contundente proviene de un ensayo controlado aleatorio realizado por los investigadores de Anthropic Judy Hanwen Shen y Alex Tamkin, publicado en enero.

      Reclutaron a 52 ingenieros de software, en su mayoría junior, dieron a la mitad de ellos un asistente de IA, pidieron a todos que aprendieran Trio, una biblioteca de Python que ninguno de ellos conocía, y luego examinaron a todos sobre los conceptos que habían utilizado minutos antes.

      El grupo de IA promedió un 50%. El grupo de codificación manual promedió un 67%. Anthropic describe la diferencia como el equivalente a casi dos calificaciones de letras, y fue estadísticamente significativa, con un valor p de 0.01.

      El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Inscríbete ahora! El beneficio de velocidad, que es la razón principal por la que alguien recurre al asistente, no se materializó realmente. El grupo de IA terminó aproximadamente dos minutos más rápido, una diferencia que no alcanzó la significancia, en parte porque varios participantes pasaron hasta 11 minutos redactando consultas, aproximadamente un tercio de su tiempo asignado.

      Aprendieron menos, no terminaron más rápido y salieron peor en lo que más importa cuando la máquina se equivoca. Esa cosa es la depuración, donde la brecha entre los grupos fue más amplia. El grupo de control, privado de un asistente, cometió errores y tuvo que resolverlos, lo cual es una descripción justa de cómo se aprende la depuración. El grupo de IA no cometió los errores.

      La medicina ha llegado a la misma preocupación desde una dirección diferente. Una Perspectiva de Nature Medicine publicada en mayo, liderada por la Escuela de Medicina Duke-NUS con coautores de Harvard, UCL y el King's College de Londres, lo acuñó para los aprendices que dependen de la IA durante sus años clínicos formativos y nunca desarrollan el razonamiento que requiere una práctica segura e independiente.

      Agrega una tercera categoría con aún menos atención: la mala calificación, el aprendiz que acepta un error de IA de manera acrítica y lo archiva como un hecho.

      Esos autores son cuidadosos de una manera que la cobertura sobre ellos no siempre ha sido. La evidencia directa de la formación médica, escriben, está ausente. El argumento se basa en la teoría del aprendizaje y en señales tempranas de entornos no clínicos, es decir, de estudios como el de Anthropic.

      Su prescripción es un marco de tres fases: construir competencia sin IA, luego enseñar a las personas a calibrar su escepticismo, y luego introducir las herramientas bajo supervisión.

      Cómo se utiliza la herramienta importa más que si se utiliza. En el ensayo de Anthropic, los que obtuvieron altas calificaciones hicieron preguntas conceptuales o pidieron explicaciones junto con el código. Los que obtuvieron bajas calificaciones delegaron en su totalidad o se apoyaron en el asistente para depurar por ellos.

      Los empleadores ya están considerando esto. Gartner predice que la atrofia del pensamiento crítico llevará a la mitad de las organizaciones globales a requerir evaluaciones de habilidades “libres de IA” hasta 2026, lo cual es una forma educada de decir que los gerentes de contratación ya no confían en un portafolio.

      Ford, mientras tanto, ha estado recontratando ingenieros para corregir lo que sus sistemas de IA hicieron mal, una demostración costosa de lo que sucede cuando las personas que podrían haber detectado el error ya no están en la nómina.

      El ensayo tiene límites reales, y sus autores lo dicen. La muestra fue pequeña, el cuestionario midió la comprensión de inmediato en lugar de meses después, y utilizó un asistente lateral en lugar de un codificador agente. Los investigadores esperan que el impacto de esos factores sea más pronunciado, no menos.

      Vale la pena notar quién lo llevó a cabo. Anthropic vende el asistente, y ha publicado un artículo argumentando que usar el asistente descuidadamente te hace peor en tu trabajo. Eso es una candidez inusual o la apertura de un argumento para modos de aprendizaje, y ambas lecturas pueden ser ciertas.

      Lo que la investigación no dice es que los junior deberían codificar a mano. Lo que dice es que el atajo y la habilidad no son el mismo camino, y que la industria ha pasado dos años asumiendo que lo eran.