La inteligencia artificial avanza, y tambié avanzan los malos usos que se puede hacer con ella. esto es lo que advirtió Marcela Monti, Fiscal ante los Juzgados de Primera Instancia del fuero Contencioso Administrativo, Tributario y de Relaciones de Consumo de la CABA, a cargo de la Unidad Especializada en Litigios Complejos.
Monti inició la primera demanda colectiva de consumo por “clonación de rostro y de voz” contra el Gobierno de la Ciudad Autónoma de Buenos Aires, que quedó radicada ante el Juzgado de primera instancia en lo contencioso administrativo, tributario y de relaciones de consumo N° 25.
El escrito inicial apunta contra el Gobierno, solicitando al juzgado que se le ordene a “ejercer acciones concretas en concepto de poder de policía en materia de consumo” para “proteger a los consumidores y usuarios” que acceden gratuita u onerosamente a páginas web “que prestan servicio de clonación de voz y rostro con inteligencia artificial (IA)”.
Todo esto, en tanto existiría una violación a los derechos de información, seguridad, trato digno (Ley 24.240), identidad, privacidad, intimidad (arts. 19 y 75 inc. 22 CN, 12 y 39 CCCABA y CCYCN), las previsiones de la ley de protección de datos personales (25.326) y la seguridad pública.
La clonación de voz y rostro por medio de programas que emplean IA consiste en un proceso complejo que implica capturar y analizar datos biométricos de una persona a los fines de crear, de forma sintética o artificial, una copia virtual de la voz e imagen original
La fiscal también requirió que se ordene al GCBA a que adopte en forma periódica acciones para bloquear el acceso a esas páginas web en todas las redes de acceso a internet administradas por la demandada, incluyendo la red BA WIFI y en cualquier otra red que se opere en espacios públicos bajo su gestión.
Esto en tanto, esas páginas surgirían bajo diversas denominaciones para permitir el servicio de forma ilícita. Finalmente se peticionó que se realice una campaña masiva de concientización sobre los riesgos y consecuencias del uso del servicio de clonación de voz y rostro con IA.
Según la demanda, “la clonación de voz y rostro por medio de programas que emplean IA consiste en un proceso complejo que implica capturar y analizar datos biométricos de una persona a los fines de crear, de forma sintética o artificial, una copia virtual de la voz e imagen original”, la que luego se utiliza para fines ilícitos, como la suplantación de identidad, estafas, ciberbullying, difusión de fake news y otras defraudaciones.
La propia fiscal, cuenta en su escrito que desde la fiscalía se realizaron pruebas con distintas plataformas de IA abiertas al público vía web donde se comprobó que existen “serias deficiencias” en los proveedores del servicio que deben garantizar los derechos de los usuarios y consumidores.
Las plataformas no piden el consentimiento informado del usuario previo a la carga de datos biométricos, ni existen términos de uso o condiciones claras sobre la gestión de los datos biométricos derivados de esas acciones, generando un riesgo para los usuarios.
En las pruebas además se corroboró que las plataformas no piden el consentimiento informado del usuario previo a la carga de datos biométricos, ni existen términos de uso o condiciones claras sobre la gestión de los datos biométricos derivados de esas acciones, generando un riesgo para los usuarios.
Según señalan, algunas aplicaciones incluso permiten la clonación de voz o de rostro con la simple carga de una nota de voz o una imagen, aunque sea de una persona distinta del usuario que utiliza el servicio, lo que implica un riesgo para la comunidad al permitir la clonación libre de voz y rostro para cualquier fin.
Al punto tal se ha llegado que inclusive se ha clonado la voz o la imagen de famosos, políticos y autoridades, en lo que se conoce como “deepfake”, apareciendo a modo de ejemplo el caso de una cuenta de tiktok donde un usuario creó un chatbot con la voz de la modelo Silvina Luna, ya fallecida.
La demanda incluye un listado ejemplificativo de sitios web encontrados con una simple búsqueda en internet que permiten llevar adelante esas tareas, identificando que en todos los casos la complejidad de la acción era mínima y llevaba unos pocos minutos completar el proceso, sin que ninguna solicite el consentimiento sobre la entrega de datos biométricos.
Remarca también la fiscal, que “tampoco cuentan con sistemas de seguridad que permitan comprobar que la persona que accede a la plataforma sea la misma” que facilita la voz o la titular del rostro que se carga.
Ante estos riesgos la fiscalía cuestiona la “omisión en el ejercicio del poder de policía del GCBA” que surge del art. 34 de la CCABA.
Como medida cautelar, se requirió que se ordene al GCBA a que bloquee el acceso a las páginas web que prestan servicio de clonación de voz y de rostro de modo ilícito en todo el territorio de la CABA, con especial énfasis en las redes BA WIFI y las que tengan alcance en establecimientos y espacios públicos de la ciudad.