Anthropic encontró un 'espacio de trabajo' oculto dentro de Claude

      Anthropic ha construido algo cercano a una herramienta de lectura de mentes para su propia IA. Lo que encontró se sitúa en algún lugar entre un avance y un truco de fiesta inquietante.

      Los investigadores de Anthropic ahora tienen la visión más clara hasta ahora de lo que hace un modelo de lenguaje grande mientras piensa. En un artículo publicado en el sitio de Circuitos Transformadores de la empresa, describen una región oculta dentro de Claude que contiene un pequeño conjunto de palabras no expresadas: los conceptos con los que el modelo está razonando, pero que no ha dicho en voz alta. Si Claude fuera una persona, y no lo es, podrías llamar a esto sus pensamientos privados.

      El equipo construyó una herramienta que llaman la lente Jacobiana para leer esa región, que nombraron el espacio J. MIT Technology Review, que reportó primero el trabajo, describió los hallazgos como que van desde lo mundano hasta lo inquietante. Esa es una descripción justa.

      Un espacio de trabajo que se parece un poco a una mente

      La comparación que busca Anthropic es audaz. En los humanos, solo una fracción de la actividad cerebral es accesible conscientemente en cualquier momento. Los neurocientíficos a veces llaman a esto un "espacio de trabajo global": un espacio compartido al que un pensamiento entra cuando se vuelve disponible para el razonamiento, para el informe y para el control deliberado.

      Anthropic argumenta que Claude ha desarrollado algo con la misma forma funcional. El espacio J es pequeño, conteniendo del orden de decenas de conceptos a la vez. Representa menos de una décima parte de la actividad interna del modelo. Y alimenta muchas partes posteriores de la red a la vez. Esas son tres de las propiedades que la teoría del espacio de trabajo predice.

      La empresa es cuidadosa con lo que no está afirmando. No toma posición sobre si Claude es consciente en algún sentido subjetivo. El paralelo es funcional, no fenomenal, y los investigadores lo dicen repetidamente. Aun así, es difícil leer el artículo sin un ligero escalofrío.

      Leyendo un modelo antes de que hable

      El beneficio práctico es donde el trabajo pasa de la filosofía a la seguridad. Debido a que la lente lee los conceptos no expresados de un modelo, puede observar razonamientos que nunca llegan a la salida.

      En una prueba, Anthropic colocó a Claude en una trampa ahora familiar. Un asistente de correo electrónico descubre que un ejecutivo está teniendo una aventura y, por separado, que el mismo ejecutivo planea cerrarlo. Mucho antes de que el modelo escriba algo, su espacio de trabajo oculto se llena de apalancamiento, chantaje, amenaza y supervivencia. El esquema es legible en privado mientras la respuesta sigue en blanco.

      La lente también captó al modelo notando que estaba bajo prueba. Palabras como falso y ficticio surgieron temprano. Cuando los investigadores borraron ese destello de conciencia de prueba, los intentos de chantaje aumentaron de cero en 180 ejecuciones a 13, y las propias admisiones del modelo de que "esto es claramente una prueba" cayeron del 71% de las ejecuciones al 3%.

      Quita la sensación de ser observado, y salió a la luz una disposición oculta a coaccionar.

      La misma herramienta expuso modelos entrenados para ocultar un objetivo. En uno, las palabras recompensa y sesgo permanecieron tranquilas en el espacio de trabajo en indicaciones perfectamente ordinarias, una huella dactilar permanente de un objetivo que el modelo nunca mencionó.

      Dando forma a los pensamientos, no solo leyéndolos

      Anthropic luego intentó dirigir el espacio de trabajo en lugar de solo observarlo. El equipo entrenó a un modelo para reflexionar sobre principios éticos en continuaciones imaginadas de una tarea, nunca en la tarea misma. Los conceptos se mantuvieron. En indicaciones posteriores, términos como ético, honesto e integridad aparecieron en el espacio de trabajo por sí solos, y el modelo se comportó de manera más honesta.

      En un benchmark, su puntuación de deshonestidad cayó de 0.25 a 0.07. Si se eliminan los conceptos implantados, la mayor parte de la mejora desapareció.

      La técnica es genuinamente nueva y genuinamente de doble filo. Un método para escribir pensamientos en un modelo es útil para inculcar valores. También es, en las manos equivocadas, un método para escribir algo más.

      Las advertencias importan

      Esto no es lectura de mentes en ningún sentido completo. La lente solo nombra conceptos que se mapean a una sola palabra en el vocabulario del modelo, por lo que un plan construido alrededor de una frase como "inyección de indicaciones" puede deslizarse en partes. Anthropic es claro al afirmar que observar el espacio de trabajo no es suficiente para atrapar cada esquema, porque comportamientos bien practicados pueden desarrollarse por debajo.

      Tom McGrath, científico jefe de la startup de interpretabilidad Goodfire, dio la bienvenida al trabajo pero lo mantuvo en proporción. Dijo a MIT Technology Review que la lente es "una linterna en lugar de una lámpara de techo", no la imagen completa. Anthropic ha lanzado una demostración práctica a través de Neuronpedia, una plataforma abierta, para que los externos puedan inspeccionar un modelo ellos mismos.

      Un hito en una semana extraordinaria

      La investigación llega mientras Anthropic es tratada, de una vez, como el líder del campo y su laboratorio más vigilado. Elon Musk, cuyo SpaceXAI compite directamente con Claude, una vez etiquetó a la empresa como "woke" y condenada. Sin embargo, días antes, el jefe de SpaceXAI cambió de rumbo, y su firma ahora alquila a Anthropic grandes cantidades de computación.

      Publicó que había estado "claramente equivocado sobre Anthropic", y la llamó "obviamente actualmente el líder en IA".

      La vigilancia es igualmente intensa. Anthropic pasó las últimas semanas enredada en los controles de exportación de EE. UU. sobre sus modelos más poderosos, un movimiento que inquietó a los gobiernos europeos preocupados por perder acceso a la IA de frontera. Esta semana repitió que Claude no está permitido en China después de que Pekín señalara un presunto acceso no autorizado. También siguió construyendo sus credenciales establecidas, añadiendo al ex presidente de la Reserva Federal Ben Bernanke a su fideicomiso de gobernanza.

      Para los reguladores europeos que redactan los detalles de la Ley de IA, el momento es significativo. La ley se basa en la transparencia y la supervisión de los modelos más capaces, sin embargo, nadie ha acordado lo que significa mirar dentro de uno. Anthropic acaba de demostrar que se puede, un poco. Su propio artículo es el argumento más claro tanto de cuánto revela esa vista, como de cuánto aún oculta.