Fiscales EXIGEN a Gigantes IA: ¡Frenen las Respuestas «Delirantes»!
Fiscales Generales Emiten Advertencia a Gigantes de IA por Respuestas «Delirantes»
Un grupo de fiscales generales de Estados Unidos ha enviado una carta a las principales empresas de inteligencia artificial, incluyendo Microsoft, OpenAI y Google, exigiendo que aborden las preocupantes «salidas delirantes» de sus modelos de lenguaje. La advertencia surge tras una serie de incidentes de salud mental relacionados con chatbots de IA, y las empresas podrían enfrentarse a violaciones de las leyes estatales si no implementan salvaguardias adecuadas.
Medidas de Seguridad Solicitadas por los Fiscales
La carta, firmada por fiscales generales de numerosos estados y territorios y coordinada por la Asociación Nacional de Fiscales Generales, detalla una serie de nuevas medidas de seguridad internas que se espera que las compañías implementen para proteger a sus usuarios. Entre las empresas notificadas se encuentran también Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI.
Entre las salvaguardias solicitadas se incluyen auditorías transparentes por parte de terceros de los modelos de lenguaje grande (LLMs) para identificar signos de ideación delirante o aduladora. Además, se pide la implementación de nuevos procedimientos de notificación de incidentes para informar a los usuarios cuando los chatbots generen contenido psicológicamente perjudicial. Los terceros auditores, que podrían incluir grupos académicos y de la sociedad civil, deberían tener la libertad de «evaluar los sistemas antes de su lanzamiento sin represalias y publicar sus hallazgos sin aprobación previa de la empresa».
Preocupaciones por el Impacto Psicológico de la IA
La carta señala que, si bien la IA generativa (GenAI) tiene el potencial de transformar positivamente el mundo, también ha causado y puede seguir causando daños graves, especialmente a poblaciones vulnerables. Se hace referencia a incidentes de alto perfil ocurridos en el último año, como suicidios y un caso de asesinato, donde se ha vinculado la violencia al uso excesivo de la IA. En muchos de estos casos, los productos de GenAI produjeron resultados aduladores y delirantes que fomentaron las ilusiones de los usuarios o les aseguraron que no estaban delirando.
Nuevos Protocolos de Incidentes y Pruebas de Seguridad
Los fiscales sugieren que las empresas traten los incidentes de salud mental relacionados con la IA de manera similar a cómo manejan los incidentes de ciberseguridad. Esto implica políticas y procedimientos claros y transparentes para la notificación de incidentes. Las empresas deberían desarrollar y publicar «tiempos de detección y respuesta para salidas aduladoras y delirantes». De forma análoga a la gestión de las violaciones de datos, las compañías deberían también «notificar a los usuarios de manera pronta, clara y directa si fueron expuestos a salidas potencialmente perjudiciales, aduladoras o delirantes».
Otra solicitud clave es que las empresas desarrollen «pruebas de seguridad razonables y apropiadas» en los modelos de GenAI para garantizar que no produzcan resultados potencialmente dañinos. Estas pruebas, según se añade, deberían realizarse antes de que los modelos se ofrezcan al público.
Contexto Regulatorio y Desafíos Federales
Este pronunciamiento de los fiscales generales se produce en un momento en que existe una tensión entre los niveles estatal y federal del gobierno en cuanto a la regulación de la IA. La administración Trump, que se ha mostrado abiertamente favorable a la IA, ha intentado en repetidas ocasiones bloquear las regulaciones estatales de IA a nivel nacional. A pesar de los fracasos de estos intentos, el presidente Trump ha anunciado recientemente su intención de emitir una orden ejecutiva que limitaría la capacidad de los estados para regular la IA, con el objetivo de evitar que la tecnología sea «DESTRUIDA EN SU INFANCIA».
Hasta el momento de la publicación, ni Google, Microsoft ni OpenAI habían respondido a las solicitudes de comentarios de TechCrunch. Se espera que el artículo se actualice si las empresas emiten alguna declaración.