California tomó la iniciativa. El pasado 13 de octubre, el gobernador, Gavin Newsom, firmó la ley SB 243 que obliga a los desarrolladores de chatbots de compañía (companion chatbots) a adoptar salvaguardas mínimas, como advertencias visibles de que no se trata de un humano y protocolos para responder cuando detectan signos de intención suicida. Además, la nueva normativa prevé que las plataformas informen de esas medidas al público y que se establezcan mecanismos legales de demanda privada si el sistema falla o causa daño.
Este caso norteamericano sirve hoy como disparador para plantear una discusión que nos toca muy de cerca: ¿por qué en Argentina y buena parte de América Latina no hay todavía reglas claras que regulen el funcionamiento, consentimiento de uso y responsabilidad de los chatbots con IA? En una región marcada por desigualdad en el acceso digital y debilidad regulatoria, dejar estos sistemas sin control explícito es asumir riesgos que pueden afectar derechos sociales, nuestra privacidad y la tan vilipendiada confianza pública.
No es que no existan precedentes legales o proyectos en la región. En Brasil, por ejemplo, un proyecto de reforma a la Ley General de Protección de Datos Personales (LGPD) busca incorporar conceptos como “datos neurales” y hacer explícito el uso de datos personales para el entrenamiento de sistemas de IA. Sin embargo, ese tipo de iniciativas aún no aterrizan en regulaciones específicas para chatbots. En el informe “¿Dónde, qué y cómo se está regulando la Inteligencia Artificial?” de Access Now, se observa que muchos países latinoamericanos tienen leyes generales de protección de datos, pero pocas normativas que aborden la interacción persona-IA en entornos conversacionales.
Desde una mirada crítica, los riesgos que hacen urgente la regulación de los chatbots son múltiples y complejos. En primer lugar, es indispensable garantizar el consentimiento informado de los usuarios: toda persona debe saber con claridad, y de forma reiterada, que está interactuando con una inteligencia artificial y no con un ser humano, especialmente cuando se trata de contextos emocionales o psicológicos sensibles. Del mismo modo, estos sistemas deberían incorporar protocolos para la detección temprana de riesgos, como expresiones vinculadas al suicidio o la autolesión. En esos casos, el chatbot tendría que ser capaz de interrumpir la conversación, ofrecer asistencia humana o derivar a servicios de emergencia, registrando la intervención de manera transparente y auditable.
Otro punto crucial es el uso de chatbots por parte de menores de edad. Su vulnerabilidad exige medidas de protección específicas, como filtros automáticos, controles parentales obligatorios o incluso la restricción total de ciertas funciones según el tipo de interacción. A ello se suma la necesidad de definir la responsabilidad legal de los desarrolladores y proveedores: si un chatbot brinda información errónea, realiza recomendaciones inapropiadas o provoca un daño emocional o material, la empresa debe responder ante la ley, y los usuarios deben tener derecho a un mecanismo claro de reclamo.
Finalmente, toda regulación debería incorporar exigencias de transparencia y explicabilidad algorítmica. Es decir, las plataformas deben informar qué datos del usuario se almacenan, con qué fines se utilizan y bajo qué criterios los modelos deciden qué respuesta ofrecer. Sin ese nivel de apertura, la conversación entre humanos e inteligencias artificiales corre el riesgo de convertirse en un intercambio opaco, donde las personas entregan información personal sin saber quién la recibe ni cómo será utilizada.