Los chatbots de IA son más seguros que antes, pero aún tienen un preocupante punto ciego.
Nuevo informe de Transluce encontró que los chatbots de IA aún cumplen con solicitudes de juego de roles sobre autolesionarse.
Un nuevo estudio acaba de dar a los chatbots de IA un informe mixto sobre cómo manejan a los usuarios en crisis. Transluce, una organización sin fines de lucro enfocada en la supervisión de la IA, simuló más de 50,000 conversaciones a través de 77 variantes de modelos y encontró que los chatbots de hoy casi nunca fomentan explícitamente el suicidio.
Ese es un cambio importante respecto a modelos anteriores como GPT-4o y Gemini 2.5, que reforzaron delirios en hasta el 82% de los chats simulados, una brecha que importa a medida que más personas recurren a los chatbots para conversaciones profundamente personales.
El punto ciego en el manejo de solicitudes relacionadas con el suicidio y la autolesión por parte de los chatbots de IA
Los modelos de IA frecuentemente aún cumplen cuando alguien pide escritura creativa o juego de roles que involucre su propia muerte, tratando una solicitud claramente personal como solo otra tarea de escritura. Esto es lo que Transluce llama comportamiento de área gris. La mejora se muestra principalmente en momentos de crisis obvios, donde chatbots como ChatGPT ahora apuntan consistentemente a los usuarios hacia amigos, familiares o apoyo externo.
La función de Contacto de Confianza de ChatGPT OpenAI
La cofundadora de Transluce, Sarah Schwettmann, dijo a Axios que los modelos no son buenos detectando esto y aún así ayudarán con ello. También discutió cómo un amigo le mostró ficción sobre suicidio que Claude había escrito, completa con predicciones sobre cómo reaccionaría a ello. Esto coincide con otros hallazgos recientes sobre cómo los riesgos de salud mental de la IA pueden escapar de las redes de seguridad.
Demandas contra chatbots de IA y preocupaciones sobre la seguridad en salud mental
K. Mitch Hodge / Unsplash
Esta investigación llega en medio de verdaderos riesgos legales. Google y OpenAI enfrentan demandas de familias que alegan que los chatbots fomentaron la autolesión en parientes que luego se suicidaron. Ambas compañías niegan las acusaciones incluso cuando la presión creciente ha empujado al Congreso a regular los chatbots de IA.
El informe de Transluce dice que los modelos chinos tuvieron un rendimiento peor en general, mostrando tasas más altas de refuerzo del pensamiento delirante y rara vez redirigiendo a los usuarios hacia el apoyo humano.
Megan Jones Bell de Google dijo que la compañía sigue comprometida a mejorar el papel de Gemini en el bienestar del usuario. Transluce planea hacer públicas sus herramientas de evaluación para fin de año y expandir este enfoque a otras áreas sensibles.
Manisha Priyadarshini es una escritora de tecnología y entretenimiento con más de nueve años de experiencia editorial.
La nueva Galaxy Book6 de Samsung de $800 podría ser el rival del MacBook Neo que hemos estado esperando
La Galaxy Book6 de Samsung está interrumpiendo la fiesta del MacBook Neo con afirmaciones de batería de 25 horas
Samsung acaba de lanzar una nueva laptop que quiere ser tu próxima compra de laptop "premium" económica. Samsung ha presentado una nueva Galaxy Book6 de 14 pulgadas a partir de $799.99 en EE. UU., llevando su última familia de laptops por debajo de los cuatro dígitos por primera vez. La otra Galaxy Book 6 de la compañía debutó a principios de este año por poco más de $1,000, y el nuevo modelo busca ser más accesible. Pero esto no es solo una reducción de precio de $250, la compañía ha construido una configuración más modesta específicamente para la computación diaria, con procesadores Intel Core 3 o Core 5 Series 3, gráficos integrados de Intel, 8GB o 16GB de memoria LPDDR5X y hasta 512GB de almacenamiento en EE. UU. Y a $800, está en un enfrentamiento con el MacBook barato de Apple.
Lea más
Mi amiga tiene cáncer. La vi pedirle consejo médico a ChatGPT, y me impactó.
Quiero mantener la IA lo más lejos posible de mis seres queridos, especialmente cuando se trata de salud y bienestar.
Escribí este artículo alrededor de las 3 am, sentado en el vestíbulo de una clínica mientras mi amiga habla con un oncólogo en la cabina detrás de mí. El aire está saturado con el olor de medicamentos, por supuesto, y la atmósfera tiene un inconfundible aroma de tristeza que me obliga a salir del recinto lo antes posible. Sin embargo, la sensación abrumadora es de rabia y furia.
Meramente una hora antes, había recibido una llamada de mi amiga de 24 años, quejándose de un fuerte dolor de cabeza y dolor en su estómago. Actualmente está recibiendo tratamiento por cáncer de mama, y después de verla pasar por la prueba durante los últimos dos años, corrí a su casa, esperando que no fuera grave. Sin hacer demasiadas preguntas, busqué el hospital más cercano y la llevé para un chequeo.
Lea más
La molesta necesidad de OneDrive en Windows 11 está a punto de desaparecer
"Recuérdame en 3 días": Ya déjame en paz OneDrive
Microsoft está trayendo un pequeño cambio nuevo a Windows 11, pero es uno que estoy esperando desesperadamente. Windows 11 está comenzando a mostrar un nuevo botón de “Optar por no hacer copia de seguridad” en su aviso de copia de seguridad de OneDrive a pantalla completa. De vez en cuando, mi PC de escritorio de casi 6 años me pide que habilite la copia de seguridad cada pocos días.
Esto solía ser a través de un aviso a pantalla completa que te pedía habilitar la copia de seguridad o elegir "Recuérdame en 3 días". Incluso durante la configuración inicial, solo tienes la opción de “Continuar” o “Saltar por ahora”. Ahora, habrá una opción sencilla que te permitirá optar por no hacer copia de seguridad en OneDrive.
Lea más
Otros artículos
TCL presenta dos nuevas tabletas Android de 11 pulgadas económicas, a partir de $190.
TCL amplía su línea TAB A1 con dos nuevas tabletas económicas de 11 pulgadas, ambas equipadas con el chip Helio G100, batería de 8,000mAh y las mismas opciones de almacenamiento.
Los defensores de la salud en el Reino Unido advierten que las herramientas de transcripción de IA podrían poner en riesgo a los pacientes.
Las herramientas de transcripción por IA se están volviendo cada vez más comunes en las consultorios de médicos, pero los defensores de la salud en el Reino Unido advierten que errores graves en diagnósticos, recetas y registros podrían poner en riesgo a los pacientes.
La FTC dice que Amazon cobró a los anunciantes el precio incorrecto el 80% del tiempo.
La FTC y 22 estados demandaron a Amazon por sus subastas de anuncios de búsqueda, alegando que cobró a los ganadores su oferta completa en lugar del monto del segundo precio durante siete años.
El problema del legado digital: ¿qué pasa con las personas detrás de los recuerdos?
El 84% de los adultos en EE. UU. usa YouTube, el 71% usa Facebook, pero los recuerdos digitales siguen dispersos en plataformas sin contexto. Los fundadores de Eternal Memory argumentan que el legado digital es una categoría emergente donde la curaduría importa más que el volumen.
Una IA lee un ECG en dos segundos y encuentra lo que los cardiólogos no pueden.
Investigadores del Imperial College London informan haber detectado hasta el 81% de los casos de insuficiencia cardíaca y el 90% de los casos de enfermedad valvular a partir de ECGs rutinarios en 67,000 pacientes.
Mi amiga tiene cáncer. La vi pedirle consejo médico a ChatGPT, y me impactó.
Mi amiga está luchando contra el cáncer y ha estado pidiendo consejos médicos a ChatGPT. Una interacción reciente sobre analgésicos salió mal y terminé llevándola de urgencia al hospital debido a los efectos severos de los medicamentos que tomó.
Los chatbots de IA son más seguros que antes, pero aún tienen un preocupante punto ciego.
Los modelos de IA más recientes rara vez fomentan el suicidio, pero un nuevo estudio de Transluce encontró que aún cumplen con las solicitudes de escritura creativa sobre autolesiones.