Apple pone su mirada en la IA en el dispositivo de PrismML para el iPhone

      Apple está en conversaciones iniciales con PrismML, una startup que reduce grandes modelos de IA para funcionar directamente en un teléfono. La propuesta de IA en el dispositivo de la compañía podría ayudar a Apple a mantener más del trabajo de Siri fuera de la nube.

      El director ejecutivo de PrismML, Babak Hassibi, dijo a CNBC que Apple y otras empresas estaban evaluando su tecnología. Llamó a las discusiones muy tempranas y dijo que no estaba claro a dónde conducirían, pero que "las cosas están progresando bien". Apple no comentó. The Information informó por primera vez sobre el interés de Apple la semana pasada.

      La startup es una escisión respaldada por Khosla Ventures del Instituto de Tecnología de California. Caltech posee las patentes subyacentes y las licencia exclusivamente a PrismML. La compañía recaudó una ronda de financiación inicial de 16.25 millones de dólares en marzo.

      Lo que PrismML construyó

      El martes, PrismML lanzó Bonsai 27B. Es una versión comprimida del modelo Qwen de código abierto de Alibaba, no uno nuevo entrenado desde cero. La compañía lo redujo de aproximadamente 54GB a tan solo 3.9GB.

      El 💜 de la tecnología de la UE Las últimas novedades de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris, y un arte de IA cuestionable. Es gratis, cada semana, en tu bandeja de entrada. ¡Suscríbete ahora! PrismML envía dos versiones bajo una licencia gratuita. Una versión ternaria funciona en una laptop. Una versión más pequeña de 1 bit, de aproximadamente 3.9GB, está diseñada para ajustarse al presupuesto de memoria de un iPhone 17 Pro. PrismML dice que es el primer modelo de ese tamaño que funciona en un teléfono.

      El truco está en cómo el modelo almacena sus valores internos. PrismML reduce cada uno de 16 bits a solo uno o tres valores posibles. Dice que esto reduce el uso de memoria de 10 a 15 veces, acelera las respuestas de seis a ocho veces y disminuye el uso de energía de tres a seis veces.

      Hay un costo. Hassibi dijo que los modelos comprimidos pierden algunos puntos porcentuales de rendimiento. La recuperación de hechos se debilita primero, dijo, antes de habilidades como el razonamiento, las matemáticas y la codificación. PrismML dice que sus versiones mantienen alrededor del 95% del rendimiento completo en la versión ternaria y el 90% en la de 1 bit.

      Por qué le importa a Apple

      El momento no es un accidente. PrismML lanzó el modelo un día después de que Apple abriera la beta pública de iOS 27, que lleva su tan retrasada renovación de Siri. Apple está tratando de hacer que Siri sea competitiva con los asistentes de OpenAI y Anthropic.

      Ejecutar más IA en el dispositivo ayudaría. Apple ya envía solicitudes complejas a modelos en la nube. Mantener más trabajo local reduciría la latencia, disminuiría los costos en la nube y apoyaría la propuesta de privacidad de la compañía. Algunas funciones también funcionarían sin conexión.

      También hay un ángulo de costo. Morgan Stanley estima que los costos de memoria de Apple podrían aumentar drásticamente en su año fiscal 2027. El banco espera que la compañía aumente los precios del iPhone para proteger los márgenes. Modelos más pequeños ayudan a Apple a encajar IA capaz en hardware ajustado sin pagar por más memoria.

      Reclamaciones aún por probar

      Los analistas instaron a la precaución. Tarun Pathak de Counterpoint Research dijo que la verdadera prueba serían millones de consultas a través de miles de dispositivos. Phil Solis de IDC dijo que el uso de energía era la mayor pregunta abierta, ya que un modelo que funciona a menudo podría seguir drenando una batería.

      El lanzamiento también alimenta un debate sobre si las ganancias de eficiencia reducirán la demanda de memoria y chips de centros de datos. Gil Luria, un analista de D.A. Davidson, dijo que reducir modelos no eliminaría la necesidad de procesadores. Simplemente movería algunos de ellos de los centros de datos a los teléfonos, parte de un cambio más amplio hacia la IA en el borde.

      Hassibi dijo que el modelo Gemma de código abierto de Google es el siguiente en la lista, seguido de modelos fronterizos más grandes. "Es muy importante que la inteligencia sea local y que pueda funcionar rápido", dijo.