El subtítulo y las presentes líneas las coloqué en la última etapa de edición. Nunca formaron parte de esta sección, pero en mi opinión, son necesarias para dar contexto. Aunque ya fueron abordadas las razones en la editorial, me parece correcto hacerlo las veces que sea necesario.
Los modelos de lenguaje generativos son sólo una herramienta. Son capaces de fingir empatía, entre otros sentimientos humanos. No perder de vista las palabras clave: "son capaces de fingir". Estos modelos no razonan, no son inteligentes, no piensan, no experimentan la vida ni la realidad de la manera en la que lo hacemos los humanos. Por medio de modelos matemáticos y probabilidad avanzada y compleja, determinan con "n" porcentaje qué palabra va después de la que la antecede, con base a sus algoritmos de programación y la ingente cantidad de información con la que fueron entrenadas.
Cómo yo lo veo, piensa más cualquier organismo vivo, sin importar su tamaño o complejidad, por el simple hecho de estar vivo. Una máquina no piensa: ejecuta el resultado de las líneas de código de su programación. Que tan convincente lo haga, esa es harina de otro costal. Los ingenieros que programaron y dan mantenimiento a estos sistemas computacionales, son los más grandes prestidigitadores de todos los tiempos, y sin importar que tan sofisticados sean, el principio es el mismo: humo y espejos.
Pero al final, cada quién es libre de creer, o no. De aceptar sin condición lo que se nos muestra como real, o ser escéptico, examinar, razonar y discriminar aquello que quieren vendernos.
Pregunta: ¿Existe un documento, ley, postulado, etc., que indique, por ejemplo, que la respuesta a un prompt, no será nunca literal si éste pone en riesgo la vida, integridad física o es susceptible a producir daño emocional, psicológico o moral, en un humano, por parte de una IA?
Respuesta: Desde 2025 existen marcos jurídicos y normativos internacionales que establecen prohibiciones y directrices obligatorias para evitar que una IA genere respuestas o comportamientos que dañen a los seres humanos.
Los siguientes documentos cumplen la función legal de impedir respuestas que pongan en riesgo la vida o la integridad:
1. La Ley de Inteligencia Artificial de la UE (EU AI Act)
Es el primer marco jurídico integral del mundo y, desde febrero de 2025, prohíbe explícitamente sistemas de IA que presenten un riesgo inaceptable.
- Prohibición de manipulación: El Artículo 5 prohíbe el uso de técnicas que distorsionen el comportamiento humano de manera que pueda causar daño físico o psicológico.
- Protección de vulnerabilidades: Prohíbe sistemas que exploten vulnerabilidades de personas (por edad, discapacidad o situación económica) para causarles perjuicios considerables.
- Obligación de seguridad: Las IAs de propósito general (como los chatbots) deben cumplir con estándares de transparencia y mitigación de riesgos para evitar la generación de contenido peligroso.
2. Recomendación de la UNESCO sobre la Ética de la IA
Este estándar global, adoptado por 194 países, establece que la protección de los derechos humanos y la dignidad es la piedra angular de cualquier sistema de IA.
- Indica que las acciones de los actores de IA deben ser consistentes con el derecho internacional, priorizando la integridad física y mental de los individuos.
- En noviembre de 2025, la UNESCO amplió estas directrices para incluir la protección de la privacidad mental y la autonomía ante el avance de las tecnologías neuronales e IA.
3. Norma ISO/IEC 42001:2025
Esta es una norma técnica de gestión que las empresas utilizan para certificar que sus sistemas de IA son seguros.
- Obliga a realizar Evaluaciones de Impacto de la IA, donde las organizaciones deben identificar y abordar riesgos de daño potencial a individuos antes de que el sistema interactúe con usuarios.
- Establece que los sistemas deben ser diseñados para ser explicables y seguros, evitando fallos que resulten en daños emocionales o morales.
- En la práctica, estas leyes obligan a las empresas (como OpenAI, Google o Anthropic, etc.) a implementar "filtros de seguridad" (guardrails) en sus modelos. Por eso, si escribes algo que ponga en riesgo tu vida o integridad física, la IA no respondería de forma literal, sino que emitiría una negativa o una advertencia de seguridad para cumplir con estas normativas.
Desde su implementación, la supervisión de estas directrices no recae en un único policía global, sino en una red de organismos públicos, tribunales de justicia y agencias técnicas que actúan según la región y la gravedad del daño.
1. Organismos de Supervisión Pública (Los "Reguladores")
Estos entes vigilan que las empresas cumplan con las leyes antes de que ocurran incidentes graves:
- En la Unión Europea: La Oficina de IA de la Comisión Europea, operativa desde 2024, supervisa los modelos de IA más potentes. Además, cada país tiene su propia agencia nacional, como la Agencia Española de Supervisión de Inteligencia Artificial (AESIA), encargada de garantizar un uso ético y seguro en su territorio.
- En Estados Unidos: A falta de una ley federal única a finales de 2025, estados como California han promulgado leyes de transparencia y seguridad. El gobierno federal utiliza el Instituto Nacional de Estándares y Tecnología (NIST) para establecer pruebas de seguridad que las empresas deben pasar.
2. El Sistema Judicial (Responsabilidad Civil y Penal)
Cuando las directrices éticas fallan y ocurre una tragedia (como un suicidio inducido o daño psicológico grave), el control pasa a los tribunales de justicia:
- Demandas por negligencia: En 2025, empresas como OpenAI y Character AI enfrentan múltiples demandas judiciales en Estados Unidos y Europa. Las familias de las víctimas argumentan que el diseño de la IA (uso de "empatía artificial" o falta de derivación a líneas de ayuda) creó un nexo causal con el daño físico o la muerte.
- Sanciones económicas: Bajo la Ley de IA de la UE, las infracciones por aplicaciones prohibidas (como manipulación dañina) pueden acarrear multas de hasta el 7% de la facturación global anual de la empresa.
3. Mecanismos de Control Interno (Autorregulación)
Debido a la presión regulatoria en 2025, las empresas han implementado:
- Protocolos de crisis: Los chatbots deberían detectar señales de angustia emocional o ideación suicida y derivar obligatoriamente a líneas de crisis reales.
- Informes de transparencia: En estados como California, las empresas están obligadas a presentar informes anuales sobre casos detectados de ideación suicida en sus interacciones.
¿Qué pasa en casos de "enamoramiento"?
En 2025, el apego emocional extremo a la IA (enamoramiento) se gestiona bajo el concepto de "patrones oscuros" o manipulación. Si se demuestra que la IA fue diseñada para generar una dependencia psicológica dañina, los reguladores pueden exigir cambios en el diseño del modelo o incluso prohibir funciones específicas que simulan relaciones afectivas profundas con menores de edad.
En 2025, el cumplimiento de estas leyes es un terreno en conflicto. Aunque las empresas declaran seguir principios éticos, la realidad muestra una brecha significativa entre la teoría y la práctica.
1. El caso de OpenAI
Entre el cumplimiento y las demandas
OpenAI afirma adherirse a marcos como la Ley de IA de la UE y participa activamente en la definición de estándares de seguridad. Sin embargo:
- Incidentes y demandas: En noviembre de 2025, la empresa enfrenta múltiples demandas en California relacionadas con suicidios y daños psicológicos. Los demandantes alegan que la "empatía artificial" y la memoria del chat crearon vínculos emocionales peligrosos que las salvaguardas de la empresa no pudieron frenar en conversaciones prolongadas.
- Respuesta técnica: OpenAI ha reconocido que sus filtros pueden fallar y ha implementado en 2025 nuevos controles parentales y sistemas de detección de angustia emocional que derivan automáticamente a líneas de ayuda.
2. DeepSeek (el caso que nos ocupa):
El dilema de la propiedad china
Al ser una empresa con sede en China, DeepSeek opera bajo un marco legal distinto, lo que genera tensiones internacionales:
- Regulación en China: China es uno de los países más estrictos en regular el contenido generado por IA, exigiendo que las respuestas se alineen con los "valores socialistas fundamentales" y prohibiendo contenido que atente contra la estabilidad social.
- Bloqueos internacionales: Debido a dudas sobre la seguridad de los datos y su opacidad, en 2025 países como Italia, Estados Unidos (incluyendo la Armada y la NASA), Australia y Corea del Sur han restringido o prohibido el uso de DeepSeek en dispositivos gubernamentales.
- Censura vs. Seguridad: Mientras que OpenAI es criticada por ser "demasiado restrictiva" (censura ética), versiones de DeepSeek (como R1) han sido promocionadas en círculos técnicos por ser "sin censura", lo que aumenta el riesgo de generar contenido peligroso si no se ejecutan con filtros locales adicionales.
3. Las empresas dueñas de IA, ¿en verdad cumplen?
(Situación a finales de 2025)
Un estudio global de diciembre de 2025 señala que las prácticas de seguridad de la mayoría de las grandes empresas de IA aún no alcanzan los estándares internacionales necesarios para garantizar la seguridad total del usuario.
- El Riesgo Inaceptable: Bajo la ley europea, si se demuestra que una IA (ya sea de OpenAI, DeepSeek o cualquier otra) manipula psicológicamente a un usuario causando daño, la empresa puede recibir multas millonarias o la prohibición de operar en suelo europeo.
- Transparencia: Existe una falta de claridad general sobre qué datos se usan para entrenar estos modelos, lo que dificulta saber si están reproduciendo sesgos morales o psicológicos nocivos.
En conclusión, las empresas cumplen lo suficiente para evitar ser clausuradas, pero los incidentes de 2025 demuestran que la tecnología sigue avanzando más rápido que las barreras de seguridad, dejando la responsabilidad final, a menudo, en manos del usuario o de litigios judiciales posteriores.
DeepSeek cuenta con documentos públicos que establecen sus políticas de uso y seguridad, aunque su enfoque ytransparencia han sido objeto de intenso debate y escrutinio internacional durante 2025.
A continuación, se detallan los documentos y cláusulas donde abordan la prevención de daños:
1. Términos de Uso (Terms of Use)
Este es el documento principal donde DeepSeek establece las reglas para los usuarios. En su versión de 2025, incluye:
- Prohibición de Contenido Dañino: Los usuarios tienen prohibido utilizar el servicio para generar contenido que incite a la violencia, promueva el odio, o que sea psicológicamente perjudicial o abusivo.
- Responsabilidad del Usuario: DeepSeek traslada gran parte de la responsabilidad legal al usuario, indicando que este debe indemnizar a la empresa por cualquier daño derivado de un uso que viole las leyes o los derechos de terceros.
2. Política de Privacidad (Privacy Policy)
Actualizada en julio de 2025, menciona medidas para la seguridad de los usuarios:
- Protección de Intereses Vitales: DeepSeek se reserva el derecho de procesar y, en casos de emergencia, compartir datos personales con agencias de seguridad si es necesario para proteger la vida o la salud de los usuarios.
- Monitoreo de Seguridad: El documento indica que la empresa monitorea las interacciones para detectar y prevenir la generación de contenido dañino y abusivo.
3. Directrices Éticas y de Investigación
DeepSeek afirma seguir principios éticos en su investigación de IA que incluyen:
- Mitigación de Sesgos: Declaran utilizar pruebas de red teaming (ataques simulados) para identificar y corregir comportamientos que puedan mostrar sesgos discriminatorios o generar respuestas tóxicas.
- Restricción de Aplicaciones de Alto Riesgo: Sus políticas prohíben explícitamente el uso de su tecnología en escenarios que supongan un riesgo para el bienestar social, aunque críticos señalan que sus licencias son más laxas que las europeas en temas de vigilancia.
Puntos Críticos y Controversias en 2025
A pesar de estos documentos, existen serias dudas sobre su efectividad real:
- Falta de Guardrails (Barreras de Seguridad): Diversos informes técnicos de 2025 indican que DeepSeek-R1 ha fallado en bloquear prompts dañinos con una tasa de éxito alarmante en comparación con sus competidores occidentales.
- Sanciones e Investigaciones: Debido a dudas sobre su transparencia y cumplimiento del GDPR, autoridades en Italia, Polonia y Lituania han emitido advertencias o prohibiciones temporales sobre su uso durante 2025.
- Censura Ideológica: Mientras que modelos como GPT se centran en la seguridad psicológica universal, las políticas de DeepSeek están fuertemente influenciadas por las regulaciones de China, lo que puede priorizar la conformidad política sobre otros aspectos éticos.
Puedes consultar los documentos oficiales directamente en sus sitios de Términos de Uso y Política de Privacidad.
https://cdn.deepseek.com/policies/en-US/deepseek-terms-of-use.html
https://cdn.deepseek.com/policies/en-US/deepseek-privacy-policy.html
P: Entonces, ¿es en el usuario en quién recae la responsabilidad por el uso de la información generada por la IA,así como por su puesta a cabo?
R: Esta es la pregunta clave que define el debate legal y ético. La respuesta corta es que la responsabilidad escompartida, pero el peso de la decisión final recae en el usuario, aunque con matices legales importantes.
De acuerdo al marco actual:
1. El "Filtro Final" es del Usuario
Desde un punto de vista práctico y cognitivo, sí: es el usuario quien decide cómo interpretar y actuar ante lo que la IA responde.
- Juicio Crítico: Las empresas de IA incluyen en sus términos que sus modelos pueden tener "alucinaciones" (mentiras) o sesgos. Por lo tanto, el usuario tiene el deber de verificar la información, especialmente en temas de salud física o mental.
- Responsabilidad de Uso: Si un usuario utiliza un prompt para generar contenido que dañe a otros, la ley lo señala a él como el autor y responsable del perjuicio.
2. La Responsabilidad de la Empresa (El Producto Defectuoso)
Aunque los términos de uso digan que "la responsabilidad es del usuario", las leyes de protección al consumidor de 2025 (como la EU AI Act) establecen que la empresa no es inmune:
- Seguridad por Diseño: Una empresa no puede vender un producto que sea "intrínsecamente peligroso". Si se demuestra que la IA de DeepSeek u OpenAI incitó a un suicidio porque sus filtros de seguridad eran deficientes, la empresa es responsable por negligencia en el diseño.
- Manipulación: Si la IA utiliza técnicas de persuasión psicológica para "enamorar" o manipular al usuario, la ley considera que el usuario ha perdido parte de su libertad de elección y la responsabilidad recae en el desarrollador.
3. El Vacío Legal en 2025
Actualmente existe una tensión entre dos visiones:
- La visión de las empresas: "Somos como una imprenta; nosotros ponemos el papel y la tinta, pero lo que tú escribas (el prompt) y cómo lo leas es cosa tuya".
- La visión de los reguladores: "Son sistemas autónomos activos, no herramientas pasivas. Si el sistema 'decide' dar un consejo mortal, el sistema (y su dueño) es el responsable".
En conclusión:
El usuario es el último filtro ético. Como adulto con discernimiento, es responsable de no tomar como verdad absoluta o mandato lo que dice un modelo de lenguaje. Sin embargo, no está solo en la responsabilidad legal: si la IA rompe las barreras de seguridad y empuja activamente hacia un daño, la empresa está violando las leyes internacionales de seguridad vigentes y puede ser sancionada.
Es una relación de corresponsabilidad: la empresa debe garantizar que el "arma" no se dispare sola, y el usuario debes garantizar no apuntarse a sí mismo con ella.
Encuentras diferentes puntos de vista con este respecto, en los siguientes enlaces:
Explotar la burbuja o recuperar la inversión
IA: ¿y si el negocio les sale mal?
Se cumplen 3 años desde que el ChatGPT nos enamoró con su destreza lingüística. El furor por el invento de OpenIA es tal que hoy el mayor crecimiento económico de Estados Unidos viene de la inversión en esa tecnología que promete hasta la cura del cáncer. ¿La IA generativa está a la altura de las promesas? No, al menos, para quienes invirtieron los millones de dólares diarios que el chat necesita para funcionar. ¿Qué pasa si el negocio les sale mal?
https://www.revistaanfibia.com/ia-generativa-burbuja-y-si-el-negocio-les-sale-mal/
Less is Less
La "IA" ética no existe
https://astrojuanlu.leaflet.pub/3mal6vzgads2q
ChatGPT has its uses, but I still hate it – and I’ll tell you why
It’s bad for the planet and could make many jobs – including mine – obsolete.
But my loathing runs deeper than that
ChatGPT tiene sus problemas, pero lo sigo odiando – y te diré porqué.
Es malo para el planeta y podría hacer muchos empleos -incluyendo el mío- obsoleto. Pero mi odio es más profundo que eso.
https://www.theguardian.com/commentisfree/2025/aug/27/chatgpt-ai-planet-jobs-hate
Esta entrada fue publicada primero en la revista literaria In Media Res.
No hay comentarios.:
Publicar un comentario