Los objetivos de contratación de seguridad de Anthropic se centran en el daño nuclear y biológico.

      Una mirada a la contratación de seguridad de Anthropic muestra exactamente lo que teme: analistas contratados para evitar que sus modelos enseñen a nadie cómo construir armas nucleares, químicas y biológicas.

      La mayoría de los anuncios de trabajo venden una misión. La lectura de Anthropic parece una evaluación de amenazas.

      La empresa ha publicado una serie de vacantes para analistas de cumplimiento cuyo trabajo es evitar que su IA ayude a las personas a construir armas, realizar estafas o cometer cibercrímenes, informó Axios por primera vez. Un anuncio busca un “Analista de Cumplimiento enfocado en Daños Radiológicos y Nucleares.” Otros cubren químicos y explosivos, fraude financiero y más.

      El salario se sitúa en el rango medio a alto de los $200,000. El trabajo no es programación. Anthropic quiere experiencia del mundo real en campos como biología y explosivos. También quiere personas que puedan pensar como un atacante tratando de eludir sus defensas.

      Nombrar el daño a propósito

      Los títulos de trabajo directos son deliberados. “Asegurar que nuestros modelos no proporcionen información potencialmente dañina es central para un desarrollo responsable,” dijo un portavoz. La empresa afirmó que regularmente contrata expertos en campos sensibles para poner a prueba sus modelos antes de un lanzamiento.

      Especificar el daño exacto, añadió, es cómo reclutas a las personas adecuadas. Anthropic dice que cientos de empleados ahora trabajan en seguridad, buscando puntos débiles y reparándolos.

      Esta es la empresa que los críticos llaman el mayor agorero de la industria. El patrón en la contratación de seguridad de Anthropic es su respuesta a esa etiqueta. Está gastando dinero real en los riesgos que sigue describiendo.

      La catástrofe que Amodei sigue describiendo

      El director ejecutivo Dario Amodei ha pasado meses esbozando el lado negativo. En un ensayo de enero, llamó a los ataques biológicos el escenario que más le preocupa.

      “No creo que los ataques biológicos se lleven a cabo necesariamente en el instante en que se vuelva ampliamente posible,” escribió. “Pero sumados a través de millones de personas y unos pocos años de tiempo, creo que hay un riesgo serio de un ataque mayor, con posibles bajas en millones o más.”

      También ha advertido sobre la IA ayudando a cibercriminales y empoderando a estados autoritarios. A principios de este año, Anthropic rompió con el Departamento de Defensa de EE. UU. sobre el uso de su tecnología para vigilancia masiva y armas autónomas.

      Los laboratorios están escribiendo sus propias reglas

      OpenAI está haciendo lo mismo. Está contratando a un investigador sobre riesgos biológicos y químicos, con un salario base de hasta $445,000. A medida que los modelos se vuelven más capaces, cada laboratorio serio está compitiendo por formar un equipo rojo.

      Esa carrera está ocurriendo en un vacío. EE. UU. aún no tiene una ley integral de seguridad de IA. El Congreso ha intentado durante años y no ha aprobado nada. Algunos quieren un árbitro: Demis Hassabis de Google ha propuesto un organismo de vigilancia al estilo de Wall Street para modelos de frontera. Menos de uno de cada cien doctorados en IA va al gobierno, por lo que la experiencia se encuentra dentro de las empresas.

      El resultado es una extraña forma de autorregulación. Las empresas que construyen la capacidad más peligrosa son también las que deciden cómo limitarla. Amodei ha nombrado esa tensión él mismo, llamando a las empresas de IA el siguiente nivel de riesgo después de los estados hostiles. Su página de carreras es el argumento y la advertencia en un solo lugar. Las personas mejor situadas para detener la catástrofe trabajan para la empresa que podría ayudar a causarla.