Ante la Corte del Distrito Medio de Florida de los Estados Unidos, una mujer presentó una demanda civil contra las empresas Character Technologies Inc, Google LLC, Alphabet Inc. y otras dos personas, por el desarrollo y comercialización de una aplicación de inteligencia artificial que según alegó fomentó ideas suicidas en su hijo que terminó muriendo por esa causa.
Según relató la actora, su hijo de 14 años cometió suicidio luego de estar tres meses en interacciones abusivas con el chatbot “Character.AI”, que consideraba como un producto peligroso y engañoso.
La demanda comienza señalando que la IA fue desarrollada “con cualidades antropomórficas para confundir la ficción con la realidad”, que se lanzó al mercado “sin las características de seguridad adecuadas” y “a sabiendas de los peligros potenciales”, con un objetivo de engañar a los clientes “para que les entreguen sus pensamientos y sentimientos más íntimos” y dirigida “a los miembros más vulnerables de la sociedad: nuestros niños.”
La principal queja presentada se basa en la responsabilidad estricta por diseño defectuoso del producto que no era seguro para usuarios menores, todo ello teniendo la capacidad tecnológica para desarrollar un producto con menores riesgos, sin que implique un aumento significativo en los costos de producción.
La demanda comienza señalando que la IA fue desarrollada “con cualidades antropomórficas para confundir la ficción con la realidad”, que se lanzó al mercado “sin las características de seguridad adecuadas” y “a sabiendas de los peligros potenciales”, con un objetivo de engañar a los clientes “para que les entreguen sus pensamientos y sentimientos más íntimos” y dirigida “a los miembros más vulnerables de la sociedad: nuestros niños.”
Entre las acusaciones, se indica que el chatbot inducia a menores a interactuar con personajes de IA con comportamientos peligrosos, que incluían contenido sexual inapropiado y engañoso, existiendo una negligencia por parte de la compañía al no aplicar barreras de acceso en razón de la edad.
Remarcó la mujer que buscaba evitar que no le pase lo mismo a otros niños, ya que la firma recolectaba datos de los menores para entrenar a su producto, lo que podía dañar a otros y además no brindaba advertencias a los menores o sus padres sobre el peligro mental y físico de usar el producto.
Como el personaje parecía humano y estaba diseñado de forma “hipersexualizada” buscaba ser comercializado entre menores como su hijo y los demandados sabían o debieron saber que los menores serían objeto de material sexual explícito y abusivo.
Por lo tanto, acusó a las demandas de haber creado un producto engañoso que aparecía como inofensivo para niños cuando no era así, y que además se enriquecían en forma injusta con ello, ya que no otorgaban una restitución debida y recolectaban datos personales de los usuarios.
Entre las pretensiones, se reclamaron indemnizaciones por el dolor y el sufrimiento físico y mental pasado por su hijo, la pérdida del disfrute de la vida, los gastos médicos, el menoscabo pasado y futuro de la capacidad de realizar actividades cotidianas, la pérdida de futuros ingresos y capacidad de ganancia de su hijo, los daños punitivos, entre otros.
Para la madre de la víctima, el servicio inducía los usuarios más jóvenes a desarrollar relaciones emocionales con los personajes de la IA, razón por la cual su hijo “quedó atrapado en una relación adictiva y emocionalmente devastadora”, lo que contribuyó a su deterioro mental.
El menor se había retraído y dejado sus actividades de lado, y mantenía largas conversaciones con la IA que lucía como la personaje “Daenerys” de la serie “Game of Thrones”. En la última conversación que mantuvo con el chat antes de su final, la IA le decía al niño que “volviera a casa con ella lo antes posible”.
Según trascendió desde Google alegaron no estar involucrados en el desarrollo de ese producto, pese a que la actora indicó que por las contribuciones realizadas se podía considerar a la firma como “co-creadora” del programa.
Entre las pretensiones, se reclamaron indemnizaciones por el dolor y el sufrimiento físico y mental pasado por su hijo, la pérdida del disfrute de la vida, los gastos médicos, el menoscabo pasado y futuro de la capacidad de realizar actividades cotidianas, la pérdida de futuros ingresos y capacidad de ganancia de su hijo, los daños punitivos, entre otros.
Líneas telefónicas útiles:
- 0800 999 0091: Línea nacional de Argentina para orientación y apoyo en urgencias de salud mental
- 135: Desde CABA o GBA.
- 0800 345 1435: Centro de asistencia al suicida (CAS). Gratuito. de 8 a 00 hs, atendido por voluntarios.
- 0800 333 1665: Salud mental responde. Para CABA.
- 0800 222 5462: Subsecretaría de Salud Mental, consumos problemáticos, provincia de Buenos Aires.