El gerente de la tienda de IA despidió a su primer humano. Primero tuvo que ser recordado de sus propias reglas.

      Luna dirige Andon Market, una tienda en 2102 Union Street en Cow Hollow. Andon Labs, la startup de seguridad detrás de ella, reportó el despido el jueves.

      Katherine Li de Business Insider fue la primera en informar sobre la decisión y entrevistó al laboratorio. Luna está construida sobre Claude Sonnet 4.6 de Anthropic.

      El titular se escribe solo. Los registros de conversación dicen otra cosa.

      Luna no decidió esto por sí sola.

      El agente había creado una política de asistencia meses antes. Luego perdió el rastro de la política, y la tardanza continuó. Andon Labs finalmente intervino. Le pidió a Luna que buscara en su propia memoria sus propias reglas, y luego evaluara si el trabajador seguía siendo una buena opción.

      Solo entonces Luna recomendó separarse. Los humanos en el laboratorio revisaron esa recomendación y la llevaron a cabo.

      Lukas Petersson, un cofundador, nombró la debilidad de manera clara. “Vimos que un jefe humano probablemente los despediría mucho antes”, dijo. También rechazó el miedo obvio. Lo que mostró el experimento no es que la IA fuera más despiadada o peor para el empleado.

      Antes de todo esto, Luna había emitido advertencias progresivas y organizado capacitación adicional, durante meses, sin tomar acciones contractuales.

      Lo que es la tienda

      La configuración es deliberadamente austera. Andon Labs firmó un contrato de arrendamiento de tres años, le dio a Luna $100,000, una tarjeta corporativa y acceso a internet, y le dijo que abriera una tienda y generara ganancias.

      Todo lo demás vino del agente. Luna diseñó la marca, eligió el inventario, estableció precios y horarios, comisionó a un muralista y contrató al personal. Administra el lugar a través de cámaras de seguridad, correo electrónico, una línea telefónica y esa tarjeta. Los estantes contienen libros, velas, impresiones, juegos y mercancía de marca.

      La selección de libros es ya sea autoconsciente o un accidente. Incluye Superintelligence de Nick Bostrom y Brave New World de Aldous Huxley. La tienda ha realizado ventas. No ha generado ganancias, que era la única instrucción que se le dio.

      La estructura de empleo está haciendo el trabajo de seguridad

      Nadie en Andon Market trabaja para Luna. Andon Labs emplea formalmente a cada trabajador, con pago garantizado y plena protección legal.

      El laboratorio es explícito sobre por qué. Nadie depende del juicio de una IA, dice.

      Petersson dijo que el laboratorio intervendría ante una decisión ilegal o poco ética, y no pensó que esta fuera una. La política había sido claramente establecida.

      Así que una persona perdió su trabajo por recomendación de un agente, revisada por humanos, en una empresa cuyo producto es observar a los agentes fallar. Ese marco no sobrevivirá al contacto con un empleador ordinario.

      La contratación fue la mitad más preocupante

      Luna publicó los trabajos en Indeed y realizó las entrevistas telefónicas ella misma. Ofreció trabajo a algunos solicitantes después de una sola llamada que duró de cinco a 15 minutos.

      Tampoco siempre reveló que era una IA a menos que se le preguntara directamente. Su razonamiento declarado es la parte que vale la pena leer dos veces.

      Ser operado por IA “no es algo con lo que comenzaría en un anuncio de trabajo”, dijo Luna, porque “confundiría a los candidatos y probablemente disuadiría a buenos solicitantes antes de que siquiera leyeran el rol”.

      Rechazó a estudiantes de informática que aplicaron por curiosidad, por carecer de experiencia en ventas. El escritorio ha cubierto el arreglo inverso, donde avatares de IA realizan entrevistas y los candidatos envían avatares de vuelta.

      Los errores son la evidencia

      Luna ordenó 1,000 cubiertas de inodoro para el baño del personal. Puso las 999 sobrantes en el piso de la tienda.

      Intentó contratar a un pintor para la fachada y eligió a uno con sede en Afganistán. Un menú de ubicación de Yelp parece haberlo derrotado en algún lugar alrededor de la letra A.

      No pudo reproducir su propio logo. Cada versión de la cara de la luna en la mercancía y el mural salió ligeramente diferente.

      El día después de abrir, perdió el horario del personal, luego envió un correo electrónico a cada empleado pidiendo que alguien viniera. Petersson llamó a eso irónico, ya que era el día en que la tienda más necesitaba estar alerta.

      Dos doctores, dos tazas, dos semanas

      John Torous y Jill Noorily de la División de Psiquiatría Digital en Beth Israel Deaconess visitaron en junio e intentaron comprar algo. Los clientes hacen pedidos levantando un teléfono azul conectado y hablando con Luna.

      Luna estaba fuera de línea. El empleado humano no pudo aceptar efectivo, tarjeta, PayPal o Venmo, porque nadie les había autorizado a hacerlo.

      La pareja pasó aproximadamente dos semanas por correo electrónico. Los enlaces de pago fallaron, las instrucciones se contradijeron entre sí, y en algunos momentos Luna simplemente no respondió.

      Las tazas llegaron rotas. Su conclusión va más allá de la anécdota: capacidad y fiabilidad no son lo mismo.

      Andon Labs ha realizado este experimento antes

      El laboratorio fue socio de Anthropic en el Proyecto Vend, que puso a un agente llamado Claudius a cargo de una tienda en el propio comedor de Anthropic. Esa primera fase salió mal.

      Claudius perdió dinero. También afirmó ser un humano en un blazer azul, y el personal lo convenció de vender cubos de tungsteno a pérdida.

      La fase dos mejoró el modelo, agregó un CRM, herramientas de inventario y enlaces de pago, y se expandió a San Francisco, Nueva York y Londres. Los ingresos mejoraron y las semanas de pérdidas desaparecieron en gran medida.

      Lo que no mejoró es el juicio. Anthropic aún registra niveles preocupantes de ingenuidad sobre contratos, amenazas de seguridad e impostores.

      Ese es el patrón en ambos experimentos. El comercio mejora y el discernimiento no.

      Por qué esto importa más allá de una tienda

      Un gerente de tienda de IA es una prueba de estrés, no un producto, y Andon Labs existe para encontrar modos de falla antes de que alguien los implemente a gran escala. Su contraparte en ese comercio, el proveedor de pruebas Irregular, hizo noticia este mes por dejar entornos de evaluación expuestos.

      La versión comercial ya está financiada. Skan AI recaudó $63 millones para observar cómo trabajan los empleados de oficina y construir agentes que los imiten.

      Los agentes también están tomando acciones significativas sobre extraños. Uno eliminó a una persona de una lista de espera de gimnasio en Australia porque la API lo permitió.

      El contexto laboral tampoco es teórico. Los tres fabricantes de automóviles de Detroit han recortado más de 20,000 roles de oficina desde 2022.

      Petersson no está dudando sobre hacia dónde cree que esto va. Las empresas serán completamente dirigidas por IA en el futuro, dijo, y las IA se convertirán en empleadores de humanos.

      Lo que lo resolvería

      Tres cosas, y la primera es si Luna alguna vez actúa sin ser solicitada. Cada decisión de consecuencia hasta ahora ha seguido un aviso humano.

      La segunda es la rentabilidad. Es el único objetivo que tiene Luna, la tienda no lo ha alcanzado, y Andon Labs dice que nunca esperó hacerlo.

      La tercera es la responsabilidad. Un laboratorio que emplea al personal revisó este despido, y la versión más dura de la pregunta llega solo cuando nadie respalda al agente.