Todo no está bien con DuckDuckGo y su IA.
Una campaña coordinada en Reddit parece haber engañado a múltiples asistentes de búsqueda de IA para difundir información falsa.
DuckDuckGo ha construido su reputación en la búsqueda priorizando la privacidad, pero esta semana, su asistente de IA se metió en problemas por una razón completamente diferente. Aparentemente, Duck.ai afirmó con confianza que el presidente de EE. UU., Donald Trump, había muerto de rabia a principios de este mes, con detalles fabricados sobre el vicepresidente JD Vance, Robert F. Kennedy Jr. y falsos informes de noticias de apoyo. Nada de esto era cierto.
Una campaña falsa en Reddit logró engañar a la IA de Duck
Según Futurism, la extraña respuesta no fue el resultado de una sola alucinación. En cambio, parece haber sido provocada por una campaña coordinada de desinformación originada en la comunidad r/poisonai de Reddit, donde los usuarios publican deliberadamente historias absurdas y falsas diseñadas para "envenenar" los modelos de búsqueda de IA. En este caso, los miembros inundaron internet con afirmaciones fabricadas de que JD Vance había muerto de rabia antes de que Donald Trump supuestamente sucumbiera a la misma enfermedad, incluso creando artículos de noticias falsos y suplantando sitios web de noticias locales para reforzar la narrativa.
La IA de DuckDuckGo no fue la única víctima. Futurism también descubrió que la IA de Brave Search repitió afirmaciones falsas similares antes de corregirse más tarde. DuckDuckGo, mientras tanto, reconoció el error en Reddit con una respuesta sarcástica: “Ok, nos engañaron en este caso.” La compañía dijo que el problema había sido resuelto y agregó que Search Assist había sido “engañado deliberadamente”, prometiendo mejoras para manejar mejor ataques similares en el futuro.
El informe también señala que la historia falsa ganó credibilidad porque la búsqueda de IA citó un sitio web fabricado que se hacía pasar por un medio de noticias local legítimo, que a su vez parecía haber sido generado utilizando IA y ensamblado a partir de la misma broma de Reddit. En otras palabras, la IA no estaba simplemente inventando cosas. Estaba repitiendo con confianza información errónea que había sido plantada deliberadamente en la web.
Esto es menos sobre DuckDuckGo y más sobre el futuro de la búsqueda de IA
Lo curioso es que este no es realmente un problema de DuckDuckGo. Es un problema de búsqueda de IA. Los asistentes de IA modernos dependen cada vez más de la información recopilada de toda la web, y si se publica suficiente contenido falso en suficientes lugares, esos sistemas pueden comenzar a tratar la ficción como si fuera un hecho.
Eso es lo que hace que este incidente sea tan preocupante. Hemos pasado años preocupándonos por las alucinaciones de la IA que generan respuestas de la nada, pero los intentos coordinados de envenenar la búsqueda de IA podrían resultar aún más peligrosos. Si actores malintencionados pueden manipular lo que los modelos de IA “aprenden” simplemente inundando internet con desinformación convincente, entonces mejorar la IA no se trata solo de construir modelos más inteligentes. Se trata de construir sistemas que sepan en quién y en qué deben confiar.
Varun es un periodista y editor de tecnología experimentado con más de ocho años en medios de tecnología de consumo. Su trabajo abarca…
Tu próxima batería de vehículo eléctrico podría comenzar su vida como una botella de agua de plástico
Los investigadores de Penn State han encontrado una manera de convertir plástico PET desechado en grafito de grado para baterías. Las botellas de plástico generalmente terminan siendo recicladas en productos de menor valor, enterradas en vertederos o, peor aún, contaminando el medio ambiente. Pero los investigadores de la Universidad Estatal de Pensilvania creen que algún día podrían alimentar vehículos eléctricos, teléfonos inteligentes e incluso sistemas de almacenamiento de energía renovable después de descubrir una forma de convertir plástico desechado en grafito de batería de alta calidad.
Transformando residuos plásticos en grafito de grado para baterías
Leer más
La IA más poderosa de Anthropic está haciendo un regreso, pero solo para unos pocos seleccionados
El gobierno de EE. UU. ha aprobado el regreso limitado de Mythos 5 a medida que Fable 5 se acerca a un lanzamiento más amplio. Las restricciones de IA de Anthropic pueden estar comenzando a descongelarse. Después de ser forzada a desconectarse a principios de este mes debido a preocupaciones de seguridad del gobierno de EE. UU., los modelos de IA más avanzados de la compañía están regresando lentamente. Según un nuevo informe de Axios, Anthropic ya ha restaurado Mythos 5 para un número limitado de usuarios de confianza, mientras que Fable 5 podría regresar tan pronto como la próxima semana si las discusiones en curso con las agencias federales continúan avanzando.
Mythos regresa primero, mientras Fable espera en las alas
Leer más
Científicos de Stanford construyeron una IA que puede diseñar hamburguesas más saludables y ecológicas
El nuevo sistema equilibra nutrición, sabor, costo e impacto ambiental para crear mejores recetas. La inteligencia artificial ya ha ayudado a escribir código, descubrir medicamentos y generar videos. Ahora, está tratando de hacer una mejor hamburguesa. Investigadores de la Universidad de Stanford han presentado BurgerAI, un nuevo sistema de IA que diseña recetas de hamburguesas equilibrando sabor, nutrición, sostenibilidad y costo. ¿La parte sorprendente? En pruebas de sabor a ciegas, a los comensales les gustaron algunas de las hamburguesas creadas por la IA tanto como, y en algunos casos más que, una hamburguesa popular de comida rápida.
BurgerAI está diseñado para inventar recetas, no para copiarlas
Leer más
Otros artículos
Todo no está bien con DuckDuckGo y su IA.
El asistente de búsqueda de IA de DuckDuckGo fue engañado para repetir una historia fabricada, lo que destaca cómo la desinformación coordinada puede engañar a los sistemas de IA modernos.
