Anthropic insta a una pausa coordinada y verificable para la IA de frontera

      El escenario que preocupa a Anthropic es aquel en el que la tecnología deja de esperar permiso. El jueves, la empresa argumentó que los desarrolladores de IA de frontera deberían construir un mecanismo coordinado y verificable para ralentizar o pausar temporalmente el desarrollo si los sistemas avanzados comienzan a mejorarse a sí mismos más rápido de lo que la sociedad puede gestionar las consecuencias.

      La propuesta es menos un anuncio de producto que una solicitud para que la industria acuerde un freno antes de que necesite uno.

      El desencadenante que menciona Anthropic es la auto-mejora recursiva, sistemas de IA capaces de acelerar significativamente su propio desarrollo. Esa capacidad “sería un gran avance en la historia de la tecnología”, dijo la empresa, pero la auto-mejora recursiva completa “también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA”.

      Como un indicador de hasta dónde ha llegado ya la automatización de su propio trabajo, Anthropic dijo que, a partir de mayo, más del 80% del código fusionado en su base de código fue escrito por su modelo, Claude.

      La arista aguda del argumento se centra en la coordinación más que en la precaución. Una pausa unilateral por parte de una empresa sería más fácil de implementar, concedió Anthropic, pero en su mayoría solo entregaría el liderazgo a quien continuara, desplazando la frontera en lugar de ralentizarla.

      Una pausa que signifique algo requeriría un acuerdo entre “múltiples laboratorios bien financiados” en la frontera tecnológica, además de reglas sobre qué condiciones activarían o levantarían la pausa y quién supervisaría todo el arreglo.

      La preocupación por la auto-mejora no es una mera especulación por parte de Anthropic; señala sus propias operaciones como evidencia. Si un modelo ya escribe la abrumadora mayoría del código que construye el siguiente modelo, el bucle entre un sistema y su propia mejora ya no es teórico, sino meramente parcial.

      El argumento de Anthropic es que el bucle se estrecha a partir de aquí, y que el momento de acordar un freno es mientras aún es parcial en lugar de después de que se cierre.

      Esa es la parte difícil, y Anthropic no pretende lo contrario. Una pausa verificable implica laboratorios capaces de confirmar que los rivales realmente se han detenido, umbrales acordados sobre lo que cuenta como demasiado rápido, y algún organismo con la autoridad para declararlo. Nada de eso existe hoy, y las empresas que tendrían que participar son competidores directos en un mercado donde ser el primero ha sido el objetivo principal.

      La respuesta de Anthropic es comenzar a hablar. En los próximos meses, la empresa dijo que planea convocar discusiones con responsables de políticas, investigadores, grupos de la sociedad civil y otras empresas de IA para trabajar en cómo gestionar riesgos como la auto-mejora recursiva y cómo mejorar los mecanismos de coordinación. Se está posicionando como convocador de una conversación en la que quiere que el resto de la industria participe.

      El movimiento se ajusta a un patrón para una empresa que ha construido su marca señalando los peligros de lo que vende. La objeción obvia se escribe sola: un laboratorio que propone que la industria acuerde cuándo detenerse es también un laboratorio que sigue construyendo hasta que lo haga.

      Si los competidores tratan la propuesta como un verdadero problema de coordinación o como un intento de un rival de establecer los términos es la pregunta que responderán los próximos meses. Por ahora, Anthropic ha puesto un freno sobre la mesa. Nadie más ha acordado alcanzarlo.