Cuando los chatbots de IA dan malos consejos, nadie puede ver el daño
·5 mins·
Notaspampeanas
Inteligencia Artificial
IA Generativa
Universidad De Binghamton
Chatbot
Matthew R. DeVerna
Harry Yaojun Yang
Kai-Cheng Yang
Filippo Menczer
Nature Health
Autor
Notaspampeanas
Notaspampeanas
Tabla de contenido
Tabla de contenido
A medida que más y más personas recurren a los chatbots de IA para obtener asesoramiento médico rápido y disponible las 24 horas del día, un nuevo artículo de opinión, escrito en colaboración por profesores de la Universidad de Binghamton, perteneciente a la Universidad Estatal de Nueva York, explora los riesgos que conlleva esta práctica y que son en gran medida invisibles para los usuarios y los sistemas de atención médica.
El artículo, escrito por investigadores de la Universidad de Binghamton, la Universidad de Stanford, la Universidad de Texas A&M y la Universidad de Indiana, y publicado en Nature Health, examina qué sucede cuando un chatbot ofrece malos consejos de salud. Los autores argumentan que el daño es difícil de detectar porque la conversación se mantiene en la plataforma de la empresa de IA, la persona no tiene dónde reportar el problema y los investigadores externos no pueden medir el daño.
Los investigadores citaron el caso de un hombre de 60 años que consultó con ChatGPT sobre cómo reducir el cloruro en su dieta y sustituyó la sal de mesa por bromuro de sodio. El hombre terminó hospitalizado por intoxicación con bromuro tras sufrir alucinaciones y paranoia. El problema que destaca este estudio es que, dado que el hombre recibió este consejo de un chatbot y no pudo recuperar la conversación, sus médicos no tenían forma de saber con exactitud qué se le dijo, lo que hizo prácticamente imposible reconstruir lo sucedido.
Dado que las empresas de IA carecen de un sistema de transparencia en lo que respecta a la visibilidad de los consejos de salud que generan para los pacientes, este artículo afirma que esta falta de visibilidad, inherente al sistema, es un aspecto clave de la información sanitaria generada por IA, ya que impide activamente la supervisión. «Los daños no solo son posibles, sino que están estructuralmente ocultos para los médicos, investigadores y reguladores que, de otro modo, podrían detectarlos y corregirlos», señalaron los autores.
Este artículo también destaca un aspecto clave de los chatbots que generan respuestas a preguntas de salud: pueden ser erróneos. Los chatbots pueden generar respuestas erróneas con seguridad, simplificar demasiado la información o basarse en información desactualizada o afirmaciones falsas. Sin embargo, los autores también señalan que estos riesgos pueden afectar a quienes no buscan activamente respuestas. Con la prevalencia de los resúmenes de IA en los motores de búsqueda y la integración de la IA en plataformas de redes sociales como X y Meta, no es necesario buscar activamente una respuesta para recibir información incorrecta.
“A veces ni siquiera busco información sobre salud, pero con solo navegar por mis redes sociales, ahí está. Simplemente aparece, y creemos que eso podría tener consecuencias indeseables, especialmente si hay desinformación médica o agentes estatales que intentan manipular el debate en línea”, dijo Yang.
Independientemente de si una persona busca activamente respuestas o las encuentra de forma incidental, los autores de este artículo sostienen que el daño rara vez deja rastros que los médicos, los reguladores o los investigadores puedan verificar.
Para combatir este problema, los autores proponen varios métodos para aumentar la transparencia y la responsabilidad de las empresas de IA. Señalan que estas empresas deberían brindar a los usuarios acceso a sus conversaciones sobre salud para que puedan compartir esta información con los profesionales clínicos y así investigar mejor el proceso que condujo a un evento adverso. También recomiendan que dichas empresas desarrollen un sistema de divulgación que permita identificar, denunciar e investigar las recomendaciones de salud.
Además, recomiendan que las empresas de redes sociales asuman una mayor responsabilidad mejorando el etiquetado del contenido de salud generado por IA, reteniendo dicho contenido hasta que sea revisado por organismos médicos reguladores y, de igual manera, que los motores de búsqueda solo utilicen información verificada en los resúmenes. Los autores sugieren que los responsables políticos también deberían extender la responsabilidad por negligencia médica a las empresas de chatbots con IA.
«No creemos que debamos confiar en que las empresas se encarguen de esto, ya que su incentivo siempre es ganar más dinero», dijo Yang. «Crear un sistema así va en contra de ese incentivo. Por lo tanto, necesitamos algún tipo de sistema de monitoreo externo, una evaluación independiente», concluyó.
El artículo The Invisible Risks of AI-Generated Health Information (Los riesgos invisibles de la información sanitaria generada por IA) fue publicado en Nature Health. Autores: Matthew R. DeVerna, Harry Yaojun Yan, Kai-Cheng Yang & Filippo Menczer
Los investigadores agradecieron “a R. Street Jr. por las conversaciones que sirvieron de base para este artículo. Reconocemos el uso de inteligencia artificial generativa (Gemini y Claude Code) para realizar búsquedas bibliográficas preliminares y la revisión del manuscrito; redactamos todo el texto, verificamos todas las fuentes citadas y asumimos la plena responsabilidad de este trabajo”.
