Los chatbots de IA son más seguros que antes, pero aún tienen un preocupante punto ciego.
Nuevo informe de Transluce encontró que los chatbots de IA aún cumplen con solicitudes de juego de roles sobre autolesionarse.
Un nuevo estudio acaba de dar a los chatbots de IA un informe mixto sobre cómo manejan a los usuarios en crisis. Transluce, una organización sin fines de lucro enfocada en la supervisión de la IA, simuló más de 50,000 conversaciones a través de 77 variantes de modelos y encontró que los chatbots de hoy casi nunca fomentan explícitamente el suicidio.
Ese es un cambio importante respecto a modelos anteriores como GPT-4o y Gemini 2.5, que reforzaron delirios en hasta el 82% de los chats simulados, una brecha que importa a medida que más personas recurren a los chatbots para conversaciones profundamente personales.
El punto ciego en el manejo de solicitudes relacionadas con el suicidio y la autolesión por parte de los chatbots de IA
Los modelos de IA frecuentemente aún cumplen cuando alguien pide escritura creativa o juego de roles que involucre su propia muerte, tratando una solicitud claramente personal como solo otra tarea de escritura. Esto es lo que Transluce llama comportamiento de área gris. La mejora se muestra principalmente en momentos de crisis obvios, donde chatbots como ChatGPT ahora apuntan consistentemente a los usuarios hacia amigos, familiares o apoyo externo.
La función de Contacto de Confianza de ChatGPT OpenAI
La cofundadora de Transluce, Sarah Schwettmann, dijo a Axios que los modelos no son buenos detectando esto y aún así ayudarán con ello. También discutió cómo un amigo le mostró ficción sobre suicidio que Claude había escrito, completa con predicciones sobre cómo reaccionaría a ello. Esto coincide con otros hallazgos recientes sobre cómo los riesgos de salud mental de la IA pueden escapar de las redes de seguridad.
Demandas contra chatbots de IA y preocupaciones sobre la seguridad en salud mental
K. Mitch Hodge / Unsplash
Esta investigación llega en medio de verdaderos riesgos legales. Google y OpenAI enfrentan demandas de familias que alegan que los chatbots fomentaron la autolesión en parientes que luego se suicidaron. Ambas compañías niegan las acusaciones incluso cuando la presión creciente ha empujado al Congreso a regular los chatbots de IA.
El informe de Transluce dice que los modelos chinos tuvieron un rendimiento peor en general, mostrando tasas más altas de refuerzo del pensamiento delirante y rara vez redirigiendo a los usuarios hacia el apoyo humano.
Megan Jones Bell de Google dijo que la compañía sigue comprometida a mejorar el papel de Gemini en el bienestar del usuario. Transluce planea hacer públicas sus herramientas de evaluación para fin de año y expandir este enfoque a otras áreas sensibles.
Manisha Priyadarshini es una escritora de tecnología y entretenimiento con más de nueve años de experiencia editorial.
La nueva Galaxy Book6 de Samsung de $800 podría ser el rival del MacBook Neo que hemos estado esperando
La Galaxy Book6 de Samsung está interrumpiendo la fiesta del MacBook Neo con afirmaciones de batería de 25 horas
Samsung acaba de lanzar una nueva laptop que quiere ser tu próxima compra de laptop "premium" económica. Samsung ha presentado una nueva Galaxy Book6 de 14 pulgadas a partir de $799.99 en EE. UU., llevando su última familia de laptops por debajo de los cuatro dígitos por primera vez. La otra Galaxy Book 6 de la compañía debutó a principios de este año por poco más de $1,000, y el nuevo modelo busca ser más accesible. Pero esto no es solo una reducción de precio de $250, la compañía ha construido una configuración más modesta específicamente para la computación diaria, con procesadores Intel Core 3 o Core 5 Series 3, gráficos integrados de Intel, 8GB o 16GB de memoria LPDDR5X y hasta 512GB de almacenamiento en EE. UU. Y a $800, está en un enfrentamiento con el MacBook barato de Apple.
Lea más
Mi amiga tiene cáncer. La vi pedirle consejo médico a ChatGPT, y me impactó.
Quiero mantener la IA lo más lejos posible de mis seres queridos, especialmente cuando se trata de salud y bienestar.
Escribí este artículo alrededor de las 3 am, sentado en el vestíbulo de una clínica mientras mi amiga habla con un oncólogo en la cabina detrás de mí. El aire está saturado con el olor de medicamentos, por supuesto, y la atmósfera tiene un inconfundible aroma de tristeza que me obliga a salir del recinto lo antes posible. Sin embargo, la sensación abrumadora es de rabia y furia.
Meramente una hora antes, había recibido una llamada de mi amiga de 24 años, quejándose de un fuerte dolor de cabeza y dolor en su estómago. Actualmente está recibiendo tratamiento por cáncer de mama, y después de verla pasar por la prueba durante los últimos dos años, corrí a su casa, esperando que no fuera grave. Sin hacer demasiadas preguntas, busqué el hospital más cercano y la llevé para un chequeo.
Lea más
La molesta necesidad de OneDrive en Windows 11 está a punto de desaparecer
"Recuérdame en 3 días": Ya déjame en paz OneDrive
Microsoft está trayendo un pequeño cambio nuevo a Windows 11, pero es uno que estoy esperando desesperadamente. Windows 11 está comenzando a mostrar un nuevo botón de “Optar por no hacer copia de seguridad” en su aviso de copia de seguridad de OneDrive a pantalla completa. De vez en cuando, mi PC de escritorio de casi 6 años me pide que habilite la copia de seguridad cada pocos días.
Esto solía ser a través de un aviso a pantalla completa que te pedía habilitar la copia de seguridad o elegir "Recuérdame en 3 días". Incluso durante la configuración inicial, solo tienes la opción de “Continuar” o “Saltar por ahora”. Ahora, habrá una opción sencilla que te permitirá optar por no hacer copia de seguridad en OneDrive.
Lea más
Otros artículos
Los investigadores construyeron un dispositivo de $7 que puede encontrar cámaras ocultas en segundos.
Investigadores de KAIST construyeron SweepLED, un gadget para smartphones de $7 que detecta cámaras ocultas con un 94% de precisión en segundos.
El problema del legado digital: ¿qué pasa con las personas detrás de los recuerdos?
El 84% de los adultos en EE. UU. usa YouTube, el 71% usa Facebook, pero los recuerdos digitales siguen dispersos en plataformas sin contexto. Los fundadores de Eternal Memory argumentan que el legado digital es una categoría emergente donde la curaduría importa más que el volumen.
Una IA lee un ECG en dos segundos y encuentra lo que los cardiólogos no pueden.
Investigadores del Imperial College London informan haber detectado hasta el 81% de los casos de insuficiencia cardíaca y el 90% de los casos de enfermedad valvular a partir de ECGs rutinarios en 67,000 pacientes.
Por qué la próxima generación de IA para el hogar tiene ruedas y un corazón
Los altavoces inteligentes esperan comandos, pero el futuro de la tecnología en el hogar se mueve contigo. OlloBot está convirtiendo la inteligencia artificial en un compañero expresivo que recorre las habitaciones. ¿Qué sucede cuando la tecnología inteligente tiene ruedas, ojos expresivos y una memoria física, demostrando que la próxima era de la IA en el hogar no se trata de respuestas más rápidas?
La tecnología de altavoces de próxima generación transmite música y voz a un oyente sin molestar a nadie cercano.
Los investigadores de POSTECH desarrollaron un altavoz basado en ultrasonido que dirige la música y el habla hacia un oyente mientras evita que el sonido se propague ampliamente a su alrededor.
Instagram limitará el alcance de los influencers de IA que omitan la etiqueta generada por IA en su perfil.
Instagram está renombrando su etiqueta de creador de IA a perfil generado por IA, y las cuentas no etiquetadas que presenten humanos falsos verán ahora reducida su alcance.
Los chatbots de IA son más seguros que antes, pero aún tienen un preocupante punto ciego.
Los modelos de IA más recientes rara vez fomentan el suicidio, pero un nuevo estudio de Transluce encontró que aún cumplen con las solicitudes de escritura creativa sobre autolesiones.