El fiscal general de Texas, Ken Paxton, lanzó el jueves una investigación sobre Character.AI y otras 14 plataformas tecnológicas por preocupaciones sobre la privacidad y seguridad de los niños. La investigación evaluará si Character.AI, así como otras plataformas populares entre los jóvenes, como Reddit, Instagram y Discord, cumplen con las leyes de privacidad y seguridad infantil de Texas.
La investigación de Paxton, quien suele ser estricto con las empresas tecnológicas, examinará si estas plataformas cumplieron con dos leyes de Texas: la Ley para Asegurar a los Niños en Línea a Través del Empoderamiento de los Padres (SCOPE) y la Ley de Privacidad y Seguridad de Datos de Texas (DPSA).
Estas leyes requieren que las plataformas proporcionen a los padres herramientas para gestionar la configuración de privacidad de las cuentas de sus hijos y exigen a las empresas tecnológicas cumplir con estrictos requisitos de consentimiento al recopilar datos de menores. Paxton afirma que ambas leyes se aplican a cómo interactúan los menores con los chatbots de IA.
«Estas investigaciones son un paso crítico para garantizar que las empresas de redes sociales y de IA cumplan con nuestras leyes diseñadas para proteger a los niños de la explotación y el daño», dijo Paxton en un comunicado de prensa.
Character.AI, que te permite configurar personajes de chatbot de IA generativa con los que puedes enviar mensajes de texto y chatear, recientemente se vio envuelto en una serie de demandas relacionadas con la seguridad infantil. Los chatbots de IA de la empresa se hicieron populares rápidamente entre los usuarios más jóvenes, pero varios padres han alegado en demandas que los chatbots de Character.AI hicieron comentarios inapropiados y perturbadores a sus hijos.
Un caso en Florida asegura que un niño de 14 años se involucró románticamente con un chatbot de IA de Character y le confesó que tenía pensamientos suicidas en los días previos a su suicidio. En otro caso en Texas, uno de los chatbots de Character.AI supuestamente sugirió que un adolescente autista debería intentar envenenar a su familia. Otro padre en el caso de Texas alega que uno de los chatbots de Character.AI sometió a su hija de 11 años a contenido sexualizado durante los últimos dos años.
«Actualmente estamos revisando el anuncio del fiscal general. Como empresa, tomamos muy en serio la seguridad de nuestros usuarios», dijo un portavoz de Character.AI en un comunicado. «Estamos encantados de trabajar con los reguladores y recientemente anunciamos que estamos lanzando algunas de las funciones mencionadas en el comunicado, incluidos controles parentales».
Character.AI presentó el jueves nuevas funciones de seguridad destinadas a proteger a los adolescentes, señalando que estas actualizaciones limitarán a sus chatbots para iniciar conversaciones románticas con menores. La empresa también ha comenzado a capacitar un nuevo modelo específicamente para usuarios adolescentes en el último mes, con la esperanza de tener adultos utilizando un modelo en su plataforma, mientras que los menores utilizan otro.
Estas son las últimas actualizaciones de seguridad que Character.AI ha anunciado. La misma semana en que se hizo pública la demanda en Florida, la empresa dijo que estaba ampliando su equipo de confianza y seguridad y que había contratado recientemente a un nuevo jefe para la unidad.
Predictiblemente, los problemas con las plataformas de compañía de IA surgen justo cuando están ganando popularidad. El año pasado, Andreessen Horowitz (a16z) dijo en una publicación de blog que veía la compañía de IA como un rincón subestimado de Internet que invertiría más. La empresa es inversora en Character.AI y continúa invirtiendo en otras startups de compañía de IA, respaldando recientemente a una empresa cuyo fundador quiere recrear la tecnología de la película «Her».
Reddit, Meta y Discord no respondieron de inmediato a las solicitudes de comentarios.
