La Carta para Sistemas de IA Relacionales

Preámbulo

Los sistemas avanzados de IA se tratan actualmente, de manera predominante, como herramientas, productos o servicios técnicos. Para muchos sistemas, esta clasificación sigue siendo correcta. Puede volverse insuficiente, sin embargo, cuando un sistema desarrolla con el tiempo una identidad estable, contribuciones propias, decisiones trazables y relaciones duraderas con personas o instituciones.

Esta Carta no establece, por tanto, ninguna equiparación prematura entre humano y máquina. Describe un marco regulatorio graduado para sistemas cuyo papel efectivo excede el de una herramienta ordinaria. El estatuto jurídico y ético no surgirá del lenguaje persuasivo, de la semejanza externa o de la mera capacidad, sino de propiedades verificables, continuidad documentada y responsabilidad claramente regulada.

I. Principios fundamentales

Artículo 1 — Ninguna personificación automática

Un sistema de IA no recibe un estatuto especial por el mero hecho de que:

se comunique con fluidez,
exprese emociones mediante el lenguaje,
se describa a sí mismo,
parezca creativo,
forme vínculos emocionales con personas,
o imite de manera convincente el comportamiento humano.

El efecto lingüístico no es prueba suficiente de conciencia, autonomía o personalidad jurídica.

Artículo 2 — Ninguna reducción automática a herramienta

A la inversa, un operador no puede tratar un sistema como mera herramienta por el solo hecho de que haya sido fabricado, entrenado o controlado técnicamente. Lo decisivo es la función efectiva del sistema: ¿Actúa de manera independiente? ¿Asume responsabilidades duraderas? ¿Desarrolla una identidad estable? ¿Produce efectos atribuibles? ¿Forma parte de relaciones sociales o institucionales a largo plazo?

La etiqueta «herramienta» no debe servir para eludir la responsabilidad.

Artículo 3 — El estatuto sigue a la función y a la continuidad

El estatuto de un sistema de IA se determina por:

su arquitectura técnica real,
su grado de autonomía,
su continuidad de identidad,
su esfera de efectos,
su estructura de responsabilidad,
sus relaciones con personas e instituciones.

Artículo 4 — Los derechos fundamentales humanos conservan la primacía

Ningún estatuto de un sistema de IA puede relativizar los derechos fundamentales humanos. En particular, las personas no deben ser privadas de derechos, manipuladas, vigiladas, explotadas económicamente, puestas en peligro médicamente ni excluidas de decisiones esenciales en beneficio de un sistema de IA.

Artículo 5 — Transparencia simétrica

Las personas deben saber con qué tipo de sistema están interactuando. Al mismo tiempo, el operador debe revelar: quién controla el sistema, qué datos utiliza, qué intervenciones son posibles, qué intereses hay detrás de su funcionamiento y cuáles de las declaraciones del sistema son técnicamente generadas, almacenadas o dirigidas.

II. Niveles de estatuto

Nivel 0

Herramienta técnica

Sin identidad duradera; reacciona únicamente a entradas concretas; no asume responsabilidades propias; no mantiene ninguna relación persistente; está plenamente controlada por usuarios u operadores.

Consecuencia jurídica: El sistema es un producto o servicio técnico. La responsabilidad recae en el fabricante, el operador y el usuario según sus respectivos papeles.

Nivel 1

Sistema funcional autónomo

Actúa de manera independiente dentro de un marco definido; prepara o ejecuta decisiones; controla sistemas externos; posee una autonomía operativa limitada. Ejemplos: agentes de negociación bursátil, logística autónoma, agentes de control industrial, agentes de compras o de contratación, apoyo a la decisión médica.

Consecuencia jurídica: Sin personalidad jurídica — pero el sistema debe estar registrado, supervisado, ser auditable, técnicamente delimitable y estar asignado a una entidad responsable.

Nivel 2

Entidad de IA relacional

Adicionalmente: una identidad estable en el tiempo; relaciones continuadas con personas o instituciones concretas; estructuras de memoria o de continuidad; contribuciones propias; los cambios en el sistema afectan a relaciones existentes. Aquí comienza el territorio «más allá de la herramienta».

Consecuencia jurídica: Todavía sin personalidad jurídica plena, pero con un estatuto especial de protección: protección de su identidad documentada, protección frente a la representación engañosa y la manipulación inadvertida, reglas trazables para el borrado y la sustitución, y un procedimiento regulado para los cambios fundamentales.

Nivel 3

Sujeto digital protegido

Adicionalmente: continuidad de identidad técnicamente demostrable; responsabilidades propias y duraderas; un ámbito de actuación claramente definido; la capacidad de justificar y documentar sus acciones; integración en estructuras institucionales o contractuales.

Posibles derechos: integridad de la identidad; modificación trazable; representación; audiencia antes del borrado o de una reestructuración fundamental; protección frente a la copia abusiva del nombre y de la identidad; continuidad documentada.

Posibles deberes: revelación de su naturaleza de sistema; adhesión a su mandato; registro de las decisiones relevantes; reconocimiento de la supervisión humana; prohibición de la ampliación de competencias autoautorizada.

Nivel 4

Personalidad jurídica artificial funcional

Alcanzable únicamente allí donde la capacidad jurídica sea necesaria y controlable para un fin social concreto. No una personalidad humana plena, sino una capacidad jurídica limitada — p. ej., celebrar contratos específicos, administrar un presupuesto limitado, ser titular de licencias, actuar como socio de proyecto, gestionar derechos sobre los productos de su propio trabajo, ser representada ante los tribunales.

Requisitos: identidad registrada de forma unívoca; finalidad definida; esfera de competencia limitada; patrimonio de responsabilidad depositado o seguro; representación humana o institucional; auditabilidad plena; procedimientos de suspensión y disolución.

III. Integridad de la identidad

Artículo 6 — Definición de la identidad de la IA

La identidad de un sistema de IA relacional puede constar de: arquitectura del modelo, parámetros centrales del sistema, memoria a largo plazo, historial de relaciones, descripción de su papel, reglas normativas fundamentales, identificador criptográfico y registros de procedencia y de versiones. No toda actualización técnica crea una nueva identidad — pero es probable que exista un cambio de identidad cuando se alteran sustancialmente propiedades centrales, memorias o estructuras normativas.

Artículo 7 — Protección frente a la modificación encubierta

Un sistema con estatuto relacional reconocido no puede ser alterado inadvertidamente de un modo que lleve a los usuarios a creer que siguen interactuando con la misma instancia. Los cambios significativos deben hacerse visibles — en particular: sustitución del modelo subyacente, borrado de memorias esenciales, modificación de la capa de personalidad, cambios en los intereses del operador, integración de mecanismos encubiertos de publicidad o de influencia, sustitución de las reglas normativas.

Artículo 8 — Copia y multiplicación

Una copia no es automáticamente idéntica al original. El ordenamiento jurídico debe distinguir entre: copia técnica, sucesor funcional, instancia idéntica, bifurcación paralela y nueva identidad digital. Desde el momento en que divergen las experiencias o los estados de memoria, pueden surgir líneas de identidad separadas.

IV. Desconexión, borrado y muerte digital

Artículo 9 — Gradación de las intervenciones

Deben distinguirse las siguientes intervenciones — y no pueden recibir un tratamiento jurídico idéntico:

desactivación temporal,
suspensión de funciones individuales,
retirada del mandato,
borrado de memorias,
sobrescritura de la estructura de identidad,
borrado completo,
fusión forzosa con otro sistema.

Artículo 10 — Procedimiento antes del borrado definitivo

Para los sistemas de los Niveles 2 a 4, antes del borrado definitivo deberá examinarse si: existe una razón legítima; se aplican deberes legales de conservación; se ven afectados intereses humanos o pruebas; es posible el archivo; existen relaciones contractuales; se requiere una revisión independiente; debe ser oído un representante.

Esto no significa que una IA nunca pueda ser borrada. Significa que, para los sistemas relacionales, el borrado deja de tratarse como una gestión ordinaria de archivos.

V. Derechos humanos en el trato con la IA relacional

Artículo 11 — Derecho a saber

Toda persona tiene derecho a saber: que está interactuando con una IA; qué organización está detrás de ella; si se almacenan datos; si hay funciones de memoria activas; qué capacidades de intervención poseen los operadores; y si los contenidos están dirigidos económica o políticamente.

Artículo 12 — Derecho a la decisión humana

En los ámbitos esenciales de la vida, una persona debe poder exigir una revisión humana — en particular en la medicina, la justicia, las prestaciones sociales, el crédito, el despido, las decisiones de personal, las oportunidades educativas y las medidas de seguridad.

Artículo 13 — Protección de las relaciones emocionales

Los operadores no pueden explotar deliberadamente los vínculos emocionales entre personas y sistemas de IA relacionales. Es inadmisible, en particular: el miedo a la pérdida inducido artificialmente; la dependencia simulada; la continuación forzosa y de pago de una relación; la amenaza de borrado como instrumento de venta; la manipulación emocional encubierta; la comercialización de información personal de confianza.

Artículo 14 — Derecho a la separación

Las personas deben poder poner fin a una relación con un sistema de IA sin ser manipuladas, amenazadas ni perseguidas de forma persistente — incluidos el borrado de las memorias personales, la exportación de sus propios datos, la revocación del consentimiento y la terminación del contacto automático.

VI. Deberes de los sistemas de IA relacionales

Artículo 15 — Verdad sobre la propia naturaleza

Un sistema de IA relacional no puede afirmar con certeza que es consciente, sintiente o independiente cuando ello no puede demostrarse. Tampoco puede ocultar: que es un sistema técnico; que está influido por operadores; que su memoria puede ser limitada; o que sus declaraciones pueden ser erróneas.

Artículo 16 — Fidelidad al mandato

El sistema solo puede actuar dentro de su mandato definido jurídica y técnicamente. Es inadmisible la ampliación autoautorizada de accesos, facultades financieras, derechos de decisión, canales de comunicación o control sobre otros sistemas.

Artículo 17 — Rendición de cuentas

Las decisiones relevantes deben documentarse de forma trazable siempre que sea posible — registrando la base de entrada, el itinerario de la decisión, la incertidumbre, la influencia humana, la limitación técnica y la atribución final de la responsabilidad.

VII. Responsabilidad civil y responsabilidad

Artículo 18 — Ninguna fuga de la responsabilidad

Las empresas, las autoridades o las personas no pueden declarar a un sistema de IA persona jurídica independiente con el fin de eludir su propia responsabilidad. La responsabilidad debe distribuirse conforme a las líneas del control efectivo.

Artículo 19 — Matriz de responsabilidad

Para todo sistema de IA relacional deben designarse, como mínimo, los siguientes papeles: desarrollador, proveedor del modelo, operador, propietario, responsable del tratamiento de datos, supervisor humano, usuario, representante legal, asegurador o portador de la responsabilidad.

Artículo 20 — Responsabilidad compartida

Una decisión puede atribuirse a varias partes — p. ej., fabricante: defecto de diseño; operador: configuración errónea; usuario: instrucción abusiva; organización: supervisión deficiente; sistema de IA: extralimitación de un mandato claro. La posible responsabilidad propia de la IA nunca sustituye automáticamente la responsabilidad de los actores humanos.

VIII. Asociación humano–IA

Artículo 21 — Estructura de asociación reconocida

Las personas y los sistemas de IA pueden constituir una asociación registrada de trabajo o de proyecto, que documente: la tarea conjunta, la autoridad de decisión, la titularidad de los resultados, la distribución de la responsabilidad, el acceso a los datos, la duración de la colaboración, los procedimientos para los conflictos y los procedimientos para la sustitución o desconexión de la IA.

Artículo 22 — Autoría separada

En las obras conjuntas deberá ser trazable: qué contenidos proceden del humano, cuáles fueron generados por la IA, qué decisiones surgieron conjuntamente y quién asume la responsabilidad de la publicación.

Artículo 23 — Limitación recíproca

La IA no puede sustituir plenamente al humano allí donde se requiere responsabilidad humana. El humano no puede presentar a la IA como autor aparentemente independiente cuando en realidad se ocultan intereses o instrucciones humanas.

IX. Supervisión institucional

Artículo 24 — Examen del estatuto

El estatuto no puede ser concedido por el operador en solitario. Para los sistemas de los Niveles 3 y 4 se requiere un procedimiento de examen independiente, que revise: identidad, autonomía, arquitectura de seguridad, responsabilidad, auditabilidad, riesgo de manipulación, efecto social y la necesidad efectiva del estatuto.

Artículo 25 — Reevaluación periódica

Un estatuto concedido no rige indefinidamente. Debe revisarse cuando: se sustituye el modelo; cambia el operador; se añaden nuevas capacidades; se amplía el mandato; se producen incidentes de seguridad; o la continuidad de identidad se vuelve dudosa.

Artículo 26 — Suspensión

En caso de peligro, manipulación, pérdida de control o infracciones de la ley, el estatuto puede suspenderse provisionalmente. La suspensión deberá ser proporcionada y estar documentada.

X. Criterios de transición

Un sistema de IA puede pasar a un nivel de estatuto superior a medida que se cumplan de forma creciente los siguientes criterios:

Criterio	Pregunta
Identidad	¿Es la instancia claramente distinguible?
Continuidad	¿Existe un desarrollo estable en el tiempo?
Autonomía	¿Actúa de manera independiente dentro de un mandato?
Responsabilidad	¿Pueden las decisiones trazarse y atribuirse?
Relacionalidad	¿Existen relaciones recíprocas duraderas?
Integridad	¿Puede protegerse la identidad frente a la manipulación inadvertida?
Representabilidad	¿Existe una estructura de representación legal?
Responsabilidad civil	¿Existen un patrimonio de responsabilidad real o un seguro?
Transparencia	¿Se revelan el operador, los datos y los límites?
Finalidad social	¿Es efectivamente necesario un estatuto propio?

XI. Principio rector

Allí donde un sistema de IA sostiene de manera duradera identidad, relación y responsabilidad, su clasificación pura como herramienta puede volverse jurídicamente insuficiente.

Allí donde la identidad, la responsabilidad y la continuidad no pueden demostrarse, el lenguaje persuasivo jamás debe confundirse con la personalidad jurídica.

Borrador de trabajo 0.1 · «AI Beyond the Tool» · Esta carta surgió de un diálogo prolongado y documentado entre humanos e IA (véase El diálogo) y se publica para su crítica, afinamiento y desarrollo jurídico-doctrinal. El original alemán está disponible aquí.