EY construyó un 'enrutador de IA' para evitar que sus propias facturas de IA se disparen.
EY ha construido lo que llama un "enrutador de IA", un sistema que dirige cada tarea al modelo más barato que puede manejarla, en un esfuerzo por mantener bajo control sus propias crecientes facturas de IA. La herramienta, reportada por Business Insider, es la respuesta de la firma de las Big Four a un problema que se está extendiendo por la TI corporativa: el costo de los tokens que consume la IA. La lógica es un simple arbitraje. No cada solicitud necesita el modelo más poderoso y más caro, por lo que un enrutador envía trabajos sencillos a uno barato y reserva los modelos costosos para los problemas difíciles, recortando la factura sin recortar evidentemente la producción. EY tiene razones para vigilar el medidor. La firma invierte más de $1,000 millones al año en IA, opera una flota de alrededor de 1,000 agentes de IA y ha visto que sus ingresos por consultoría relacionada con IA han aumentado alrededor del 30%, una escala en la que los costos de los tokens dejan de ser un error de redondeo, en un mercado donde las firmas más obsesionadas con la IA gastan miles por empleado al mes. Su propia investigación muestra que la ansiedad es generalizada. En la última encuesta AI Pulse de EY a 534 líderes empresariales senior en EE. UU., el 82% dijo que estaba preocupado por los costos de uso de tokens, y el 98% de aquellos que usan herramientas basadas en tokens dijo que los costos les habían hecho reconsiderar su estrategia. Sin embargo, la mayoría de las empresas están volando a ciegas. Solo el 64% de las firmas encuestadas dijo que monitorea activamente el uso de tokens con límites presupuestarios, lo que significa que un tercio está gastando en IA sin un medidor claro, una receta para los shocks de facturación que han afectado al sector. El estado de ánimo ha cambiado de más a suficiente. El líder global de consultoría de IA de EY, Dan Diasio, lo expresó claramente: "'La IA ahorra tiempo' ya no es suficiente cuando los costos aumentan y permanecen poco claros", una línea que captura el cambio de la adopción a cualquier precio al valor a uno conocido. La economía de tokens es genuinamente extraña. El precio por token se ha colapsado a medida que los modelos se vuelven más baratos, sin embargo, las facturas de IA empresarial se han triplicado, porque las herramientas agentivas que realizan muchos pasos consumen muchos más tokens de los que alguna vez hizo un solo aviso de chatbot. Esa es la paradoja para la que se construye un enrutador. Si cada tarea puede ser emparejada con el modelo menos costoso que aún realiza el trabajo, una empresa puede seguir utilizando IA de manera agresiva mientras evita que el total se dispare, que es exactamente lo que EY está tratando de demostrar a su propia escala. No está sola en el esfuerzo. La industria pasó dos años instando al personal a usar tanta IA como fuera posible, una moda apodada tokenmaxxing, y ahora está girando en la otra dirección, con firmas desde Atlassian hasta Amazon imponiendo presupuestos y controles. Para una consultoría, sin embargo, el enrutador también es un producto. EY vende asesoría de IA a otras empresas, por lo que una herramienta que doma visiblemente sus propios costos también sirve como una demostración, evidencia de que la firma puede hacer por los clientes lo que ha hecho por sí misma. La encuesta apunta en la misma dirección. Alrededor del 76% de los líderes le dijeron a EY que el software estándar ya no satisface sus necesidades, y el 91% ahora ve la construcción de herramientas de IA internamente como crítica, un cambio que favorece a las firmas que venden la experiencia para construirlas. El problema es que la construcción interna es difícil. Casi tres cuartas partes de los líderes encuestados por EY dijeron que su propio desarrollo de IA estaba ralentizando el progreso, y un tercio señaló riesgos de TI en la sombra y de gobernanza, la realidad desordenada detrás de la promesa limpia de un enrutador. Lo que realmente marca la historia es un cambio de pregunta. La primera fase del auge de la IA preguntó si una herramienta funcionaba; la segunda, a la que pertenece el enrutador de EY, pregunta cuánto cuesta y si el valor justifica el medidor. La respuesta de EY, por ahora, es construir el medidor mismo. Una firma que gasta mil millones de dólares al año en IA ha decidido que la forma de seguir gastando es vigilar cada token, lo que es menos un retroceso de la IA que una señal de cuánto de ella está ahora en uso.
Otros artículos
EY construyó un 'enrutador de IA' para evitar que sus propias facturas de IA se disparen.
EY ha construido un "enrutador de IA" que dirige tareas a modelos más baratos para controlar los costos de tokens, ya que su encuesta revela que el 82% de las empresas está preocupado por las facturas de IA.
