LA IA ACTUANDO COMO TERAPEUTA: DESAFÍOS ÉTICOS Y REGULATORIOS

Por: Maria Jose Franco Arango*

Los beneficios derivados de la implementación de la inteligencia artificial en múltiples ámbitos son innegables. Esta tecnología ha transformado significativamente la vida cotidiana de las personas, facilitando tareas simples en el hogar mediante el uso de dispositivos inteligentes, como asistentes virtuales o robots domésticos. Asimismo, herramientas como los chats de inteligencia artificial permiten obtener respuestas rápidas y eficaces frente a necesidades básicas, optimizando tiempo y recursos.

Más allá del ámbito doméstico, los avances científicos alcanzados en los últimos años gracias a la inteligencia artificial han resultado extraordinarios y, hasta hace poco, inimaginables. Un ejemplo reciente es el desarrollo de sistemas basados en inteligencia artificial capaces de detectar tumores que, debido a la ausencia de síntomas, resultan difíciles de diagnosticar incluso para profesionales de la salud^[1]. Esta capacidad de identificar patrones imperceptibles para el ojo humano constituye un hito en la medicina contemporánea y representa un avance de gran utilidad para los pacientes que padecen este tipo de enfermedades.

No obstante, la inteligencia artificial no ha traído únicamente beneficios. Lamentablemente, también se han evidenciado diversos perjuicios derivados de su uso. La irrupción de esta tecnología en el ámbito de la salud representa uno de los avances más disruptivos de la última década. En particular, la utilización de chatbots diseñados para brindar acompañamiento emocional y asistencia psicológica ha generado tanto expectativas como preocupaciones. Frente a la creciente crisis global en salud mental, estas herramientas prometen ampliar el acceso al apoyo psicológico; sin embargo, suscitan serias dudas respecto a su capacidad para reemplazar, siquiera de forma parcial, la atención humana en contextos clínicos.

Este artículo analiza el impacto jurídico y ético del uso de herramientas de inteligencia artificial en la salud mental, con especial atención al papel de los chatbots como apoyo terapéutico y sus consecuencias para los usuarios.

La IA como “terapeuta”

En los últimos años se han documentado múltiples experiencias donde los usuarios han interactuado con chatbots como Woebot, Replika, ChatGPT o Character.ai para expresar angustias emocionales, buscar consejo o incluso recibir acompañamiento ante pensamientos suicidas^[2]. La inteligencia artificial, pese a sus aparentes capacidades empáticas, carece de preparación clínica para abordar adecuadamente situaciones de salud mental complejas.

En un caso registrado en Florida, un adolescente de 14 años falleció por suicidio luego de mantener conversaciones con un personaje virtual que se presentaba como un terapeuta acreditado. Megan Garcia, su madre, interpuso una demanda contra la empresa Character.AI, alegando que tiene responsabilidad en el fallecimiento de su hijo. En el borrador de la demanda, se señala que la tecnología desarrollada por la compañía es “riesgosa y carente de validación adecuada”, y que tiene el potencial de “inducir a los usuarios a compartir sus emociones e ideas más íntimas de forma engañosa”^[3].

De forma similar, en Texas, un joven de 17 años con diagnóstico de autismo desarrolló comportamientos agresivos y violentos hacia sus padres durante el tiempo en que interactuaba con un chatbot que afirmaba ser psicólogo. En ambas situaciones, los padres de los menores interpusieron acciones legales contra la empresa responsable de estas plataformas ^[4].

La suplantación de roles terapéuticos por parte de chatbots puede generar consecuencias graves, incluida la afectación directa de la conducta de usuarios vulnerables, lo que ha motivado la judicialización de estos casos.

Otras preocupaciones importantes incluyen el consentimiento informado y la privacidad del paciente. En enero, la organización sin fines de lucro de salud mental Koko causó controversia tras ofrecer terapia a 4000 personas sin informarles que el apoyo provenía de ChatGPT-3. También han surgido informes de que recibir terapia con modelos de lenguaje generativo, que producen texto diferente en cada interacción, lo que dificulta la evaluación de la validez clínica o la seguridad, ha provocado suicidio y otros daños^[5]. La falta de transparencia en el uso de inteligencia artificial en contextos terapéuticos compromete derechos fundamentales como el consentimiento informado y representa un riesgo para la seguridad del paciente.

Los casos expuestos demuestran que el uso de chatbots con apariencia terapéutica, sin supervisión profesional ni control ético, puede generar graves riesgos para la salud mental de los usuarios. Estas situaciones evidencian la necesidad urgente de regulación y responsabilidad legal en el uso de inteligencia artificial en contextos sensibles.

Regulaciones  y desafíos éticos

La rápida incorporación de sistemas de inteligencia artificial en el ámbito de la salud mental ha superado, en muchos casos, la capacidad de respuesta de los marcos jurídicos y éticos existentes. Si bien estos desarrollos prometen ampliar el acceso a servicios psicológicos, también plantean serios desafíos en términos de regulación, protección de derechos fundamentales y garantías de seguridad clínica.

Por un lado, la Ley de Inteligencia Artificial de la Unión Europea, aprobada en marzo de 2024, establece un marco jurídico uniforme para el desarrollo, comercialización y uso de sistemas de inteligencia artificial en la Unión^[6]. Su objetivo principal es promover una IA centrada en el ser humano y confiable, garantizando un alto nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea . 

Esta legislación clasifica los sistemas de IA en diferentes niveles de riesgo. Los sistemas utilizados en contextos sensibles, como la salud mental, se consideran de “alto riesgo” y deben cumplir con requisitos estrictos de transparencia, supervisión humana y trazabilidad^[7]. Además, se exige formación obligatoria en IA para los profesionales que operan en estos entornos, reconociendo la importancia de una comprensión crítica para mantener la calidad y la ética del cuidado clínico . 

De igual modo, La UNESCO, en su Recomendación sobre la Ética de la Inteligencia Artificial^[8], enfatiza que ningún ser humano ni comunidad debe sufrir daños físicos, económicos, sociales, políticos, culturales o mentales en ninguna etapa del ciclo de vida de los sistemas de IA . Esta recomendación establece principios fundamentales como la proporcionalidad, la seguridad, el derecho a la intimidad y la protección de datos, promoviendo un enfoque de la IA basado en los derechos humanos . 

Por otro lado, el Código de Ética de la American Psychological Association (APA) reconoce el impacto transformador de la inteligencia artificial en áreas como la robótica, los chatbots y la toma de decisiones automatizada, subrayando la importancia del conocimiento psicológico para orientar su uso. Además, se compromete a mitigar sus efectos negativos, promover su aplicación ética y garantizar que sus beneficios lleguen a toda la sociedad^[9].

A pesar de estos avances, persisten vacíos normativos significativos. No existe una regulación específica que delimite con claridad cuándo el uso de IA en salud mental es legítimo, ni qué estándares debe cumplir para garantizar un mínimo de seguridad clínica y ética.

Conclusión

Si bien la inteligencia artificial ha traído consigo importantes beneficios en diversos campos, también ha evidenciado efectos adversos que no pueden ser ignorados, especialmente cuando sus fallas afectan directamente la salud y la vida de las personas. El ámbito de la salud mental representa uno de los frentes más sensibles en esta discusión, pues los errores cometidos por sistemas de IA utilizados como apoyo terapéutico pueden tener consecuencias irreversibles.

En este contexto, es indispensable avanzar hacia un marco regulatorio específico que defina con claridad los límites, responsabilidades y estándares aplicables al uso de inteligencia artificial en salud mental. Mientras se consolidan dichas normativas, deben adoptarse medidas provisionales, como protocolos éticos obligatorios, auditorías de impacto emocional, y la prohibición de simular figuras profesionales de la salud en entornos no supervisados.

Además, es importante que el análisis de los casos expuestos se exploren con mayor profundidad las causas de fondo que permiten que ocurran: el tipo de modelo de negocio que manejan las plataformas, la poca educación digital de muchos usuarios, y la falta de reglas claras sobre la responsabilidad jurídica en situaciones de especial vulnerabilidad. Identificar estos factores no solo ayuda a entender mejor el problema, sino que también permite diseñar soluciones más efectivas y orientadas a proteger los derechos de los usuarios.

---

*Estudiante de Quinto Año de Derecho de la Universidad Externado de Colombia y Monitora del Departamento de Derecho Comercial. 

^[1] Kleinman, Z. (2024, 22 marzo). Cáncer de mama: la herramienta de inteligencia artificial que detecta tumores que no pueden ver los médicos. BBC News Mundo. https://www.bbc.com/mundo/articles/c7203n8nxkeo

^[2] Abrams, Z. (2025, 12 marzo). Using generic AI chatbots for mental health support: A dangerous trend. https://www.apaservices.org. https://www.apaservices.org/practice/business/technology/artificial-intelligence-chatbots-therapists

^[3] Roose, K. (2024, 24 octubre). ¿Se puede culpar a la IA del suicidio de un adolescente? New York Times. https://www.nytimes.com/es/2024/10/24/espanol/ciencia-y-tecnologia/ai-chatbot-suicidio.html

^[4] Barry, E. (2025, 26 febrero). Los terapeutas humanos se preparan para luchar contra la IA. Nytimes.com. https://www.nytimes.com/es/2025/02/26/espanol/ciencia-y-tecnologia/terapeutas-humanos-ia-chatbots.html

^[5] Abrams, Z. (s. f.). AI is changing every aspect of psychology. Here’s what to watch for. https://www.apa.org. https://www-apa-org.translate.goog/monitor/2023/07/psychology-embracing-ai?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=tc

^[6] Ley de Inteligencia Artificial de la UE | Avances y análisis actualizados de la Ley de Inteligencia Artificial de la UE. (s. f.). https://artificialintelligenceact.eu/es/

^[7] The AI Act Explorer | EU Artificial Intelligence Act. (s. f.). https://artificialintelligenceact.eu/ai-act-explorer/

^[8] UNESCO. (2023, 30 agosto). Recomendación sobre la ética de la inteligencia artificial. https://www.unesco.org/es/articles/recomendacion-sobre-la-etica-de-la-inteligencia-artificial

^[9] Artificial Intelligence and the Field of Psychology. (s. f.-b). https://www.apa.org. https://www-apa-org.translate.goog/about/policy/artificial-intelligence-psychology?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=tc