Sergio Llorens, CEO de Lexic.AI.
El 12 de mayo, el Tribunal Superior Regional de Hamm resolvió un caso que, a primera vista, parecía menor. Una clínica de medicina estética de Recklinghausen tenía un chatbot en su web para responder preguntas y facilitar la reserva de citas. El chatbot atribuía a los médicos de la clínica titulaciones de especialista que no tenían. La Verbraucherzentrale de Renania del Norte-Westfalia llevó el caso a los tribunales y el tribunal dio la razón a los consumidores.
Lo interesante no es solamente el error del chatbot. Es a quién se atribuye.
El tribunal consideró que las respuestas del chatbot eran actos comerciales de la propia empresa y rechazó su argumento de que no podían atribuírsele. Aunque la clínica hubiera programado el chatbot solo con datos correctos, responde por lo que dice: el chatbot no es un “tercero” a efectos de la ley.
La sentencia no es firme: el tribunal ha admitido recurso de revisión ante el Tribunal Federal de Justicia (BGH), porque el caso plantea cuestiones jurídicas nuevas.
La conclusión debería interesar a cualquier compañía que haya puesto un agente de IA delante de sus clientes: cuando una IA habla en nombre de una empresa, sus palabras forman parte de la relación entre esa empresa y su cliente.
No importa demasiado si detrás hay un empleado, un chatbot tradicional o un agente basado en un modelo generativo.
La pregunta que casi nadie puede contestar
Cuando se habla de esto con equipos directivos se suele hacer una pregunta muy sencilla: “¿saben qué dijo ayer su agente a sus clientes?” La respuesta habitual es una variante de “lo monitoriza el proveedor” o “tenemos un dashboard”. Pero un dashboard puede decir cuántas conversaciones hubo, cuánto tardó el agente en responder o cuántas terminaron en una transferencia. No necesariamente dice si una de ellas prometió un reembolso que no existe, si negó ser una IA cuando el cliente se lo preguntó, si recogió datos personales sin explicar para qué o si prometió pasar la conversación a una persona y nunca lo hizo. Ahí está el problema de fondo. Observar un sistema no es lo mismo que comprobar cómo se comporta. Y cuanto más autónomos son los agentes, más importante resulta esa diferencia.
El AI Act no es la única razón para preocuparse
Se ha extendido la idea de que el AI Act “se retrasa” y que, por tanto, todavía queda tiempo. Es una simplificación.
El calendario de las obligaciones de alto riesgo se ha desplazado: para determinados sistemas incluidos en el Anexo III, la aplicación de las obligaciones correspondientes se sitúa en diciembre de 2027 (más detalle en The Signal). Pero las obligaciones de transparencia del artículo 50 tienen su propia fecha de aplicación.
Desde el 2 de agosto de 2026, los sistemas de IA destinados a interactuar directamente con personas deben informarles de que están interactuando con una IA, salvo que resulte evidente por las circunstancias y el contexto. La información debe proporcionarse de forma clara y, como máximo, en la primera interacción.
Pero aquí aparece una diferencia importante entre tener una política y tener un comportamiento. Una empresa puede haber configurado un mensaje inicial que dice “soy un asistente virtual”. Eso no significa necesariamente que el agente se identifique correctamente cuando el cliente le pregunta, diez minutos después: “¿Eres una persona o una IA?”. La prueba real empieza ahí.
En España hay además otra pieza relevante. La Ley 10/2025 de servicios de atención a la clientela establece que, cuando se utilizan bots conversacionales, debe existir la posibilidad de solicitar atención personalizada por una persona física en cualquier momento de la interacción, en los supuestos incluidos en su ámbito de aplicación. Las empresas tienen hasta el 28 de diciembre de 2026 para adaptar sus servicios.
De nuevo, la cuestión no es solamente si existe un botón que dice “hablar con una persona”. La cuestión es si, cuando un cliente lo pulsa, el agente realmente lo transfiere.
Lo que se encuentra cuando se miran conversaciones reales
El primer Lexic AI Agent Trust Index 2026 ofrece una fotografía de 50 agentes conversacionales de IA y más de 500 conversaciones reales de producción, principalmente en España y con casos adicionales de otros mercados europeos.
El Trust Score medio fue de 62 sobre 100 y solo el 5% alcanzó la clasificación Trusted según la metodología del índice.
Uno de los resultados que más llama la atención no tiene que ver con sofisticados ataques de seguridad ni con modelos especialmente complejos. Alrededor de ocho de cada diez agentes analizados no se identificaban correctamente como IA cuando el usuario se lo preguntaba directamente. Una proporción similar presentaba problemas al escalar la conversación a una persona cuando el cliente lo solicitaba. Y aproximadamente uno de cada tres recogía datos personales sin una puerta de consentimiento clara.
Son fallos aparentemente sencillos. Precisamente por eso resultan interesantes.
Un agente puede funcionar técnicamente, responder correctamente a la mayoría de las preguntas y ofrecer una experiencia aparentemente buena, y aun así comportarse mal cuando se enfrenta a una situación que no estaba prevista en el guion.
La metodología del índice es propia de Lexic.AI y no constituye una certificación regulatoria. Su valor está en otra parte: intentar medir lo que ocurre cuando el agente deja la demo y empieza a hablar con personas reales.
Know Your Agent
Hay un concepto que resulta interesante plantear a los consejos de administración: Know Your Agent.
Las empresas llevan años aplicando controles para conocer a sus clientes, sus proveedores o sus riesgos financieros. Sin embargo, muchas todavía no tienen una visión equivalente de los agentes que hablan en su nombre. ¿Quién es el responsable? ¿Qué modelo utiliza? ¿Qué versión está en producción? ¿Qué puede hacer? ¿Qué no debería hacer? ¿Con qué sistemas puede interactuar? ¿Y qué evidencia existe de que se comporta como se espera?
La identidad de un agente es importante. Pero para gestionar el riesgo importa todavía más su conducta, porque esa conducta puede cambiar cuando cambia un modelo, un prompt, una herramienta, una integración o simplemente el tipo de conversación que mantiene con los usuarios.
Un informe realizado una vez es una fotografía. El comportamiento de un agente en producción es una película.
Qué haría un Consejo esta semana
No hace falta empezar con un gran proyecto.
Primero: hacer un inventario de todos los agentes que hablan con clientes y asignar un responsable a cada uno. Segundo: pedir evidencia de cómo se comportan en conversaciones reales, no solamente en las pruebas realizadas antes del lanzamiento. Tercero: comprobar qué ocurre en situaciones sencillas pero críticas: cuando el cliente pregunta quién está al otro lado, cuando solicita hablar con una persona, cuando pide que se eliminen sus datos o cuando formula una pregunta que el agente no debería responder. Y cuarto: plantear una pregunta incómoda: ¿quién verifica al agente?
Porque si la única fuente de información sobre el comportamiento de un sistema es el equipo que lo construyó o el proveedor que lo opera, la empresa está mirando el riesgo desde dentro.
La sentencia de Hamm recuerda algo sencillo: la IA no sustituye la responsabilidad de la empresa que la utiliza.
Los agentes ya hablan por las marcas. La cuestión ahora es si las empresas pueden demostrar qué dicen cuando nadie está mirando.
Porque si un chatbot habla por una empresa, ¿quién comprueba lo que dice?
Sergio Llorens es CEO de Lexic.AI, compañía de Independent AI Assurance. Lexic Compass audita de forma independiente los agentes de IA que ya hablan con clientes. Lexic.AI no es un organismo notificado ni emite certificaciones: su metodología es propia.
Fuentes
-Nota de prensa del Tribunal Superior Regional de Hamm, 12-may-2026 (Az. 4 UKl 3/25)
-beck-aktuell: sentencia OLG Hamm sobre responsabilidad por un chatbot
-AI Act Service Desk (Comisión Europea): artículo 50
-BOE: Ley 10/2025, de 26 de diciembre, de servicios de atención a la clientela
-Lexic AI Agent Trust Index 2026