(São Paulo, Brasil) - Las fotos personales de infantes brasileños son utilizadas para crear potentes herramientas de inteligencia artificial (IA) sin conocimiento ni consentimiento de ellos, denunció hoy Human Rights Watch. Estas fotos son extraídas de la web en un gran conjunto de datos que las empresas utilizan después para entrenar sus herramientas de IA. A su vez, otros están utilizando estas herramientas para crear imágenes deepfake maliciosas que ponen incluso a más niños en riesgo de explotación y daño.
“Los niños no deberían vivir con el temor de que sus fotos sean robadas y utilizadas para hacerles daño”, afirmó Hye Jung Han, defensora e investigadora sobre derechos de niños y tecnología de Human Rights Watch. “El gobierno debería adoptar urgentemente políticas para proteger los datos de los infantes ante el uso indebido impulsado por la IA”.
El análisis de Human Rights Watch descubrió que LAION-5B, un conjunto de datos utilizado para entrenar herramientas populares de IA y construido al extraer datos de la mayor parte de internet, contiene enlaces a fotos identificables de niños brasileños. Los nombres de algunos niños figuran en el pie de foto que las acompaña o en la URL donde está almacenada la imagen. En muchos casos, sus identidades son fácilmente rastreables, incluyendo información sobre cuándo y dónde estaba el niño en el momento en que se tomó su foto.
Una de estas fotos muestra a una niña de 2 años, con los labios entreabiertos de asombro mientras toca los diminutos dedos de su hermana recién nacida. El pie de foto y la información incrustada en ella revelan no sólo los nombres de ambas niñas, sino también el nombre y la ubicación exacta del hospital de Santa Catarina donde nació la niña hace nueve años, una tarde de invierno.
Human Rights Watch encontró 170 fotos de niños de al menos 10 estados: Alagoas, Bahía, Ceará, Mato Grosso do Sul, Minas Gerais, Paraná, Río de Janeiro, Río Grande do Sul, Santa Catarina y São Paulo. Es probable que se trate de un recuento significativamente inferior a la cantidad total de datos personales de niños que existen en LAION-5B, ya que Human Rights Watch revisó menos del 0,0001 por ciento de los 5.850 millones de imágenes y pies de foto que contiene el conjunto de datos.
Las fotos revisadas abarcan la totalidad de la infancia. Captan momentos íntimos de bebés que nacen en las manos enguantadas de médicos, niños pequeños que soplan las velas de su pastel de cumpleaños o bailan en ropa interior en casa, estudiantes que hacen una presentación en el colegio y adolescentes que posan para fotos en el carnaval de su instituto.
Muchas de estas fotos fueron vistas originalmente por pocas personas y parecen haber gozado previamente de cierta privacidad. No parece posible encontrarlas de otro modo mediante una búsqueda en línea. Algunas de estas fotos fueron publicadas por los niños, sus padres o su familia en blogs personales y sitios para compartir fotos y vídeos. Algunas se subieron años o incluso una década antes de que se creara el LAION-5B.
Una vez que sus datos son barridos e introducidos en los sistemas de IA, estos niños se enfrentan a nuevas amenazas a su privacidad debido a los defectos de la tecnología. Los modelos de IA, incluidos los entrenados en el LAION-5B, tienen la reputación de filtrar información privada; pueden reproducir copias idénticas del material con el que fueron entrenados, incluidos historiales médicos y fotos de personas reales. Las barreras de seguridad establecidas por algunas empresas para evitar la filtración de datos sensibles han sido infringidas repetidamente.
Estos riesgos para la privacidad allanan el camino para mayores daños. El entrenamiento con fotos de niños reales ha permitido a los modelos de IA crear clones convincentes de cualquiera de ellos, basándose en un puñado de imágenes o incluso en una sola. Actores maliciosos han utilizado herramientas de IA entrenadas con LAION para generar imágenes sexualmente explícitas de niños utilizando fotos inocuas, así como imágenes explícitas de niños sobrevivientes cuyas imágenes de abusos sexuales fueron recopiladas en LAION-5B.
Asimismo, la presencia de niños brasileños en LAION-5B contribuye a la capacidad de los modelos de IA entrenados en este conjunto de datos para producir imágenes realistas de infantes brasileños. Esto amplifica sustancialmente el riesgo existente de que alguien robe su apariencia a partir de fotos o vídeos suyos en internet y utilice la IA para manipularlos para que digan o hagan cosas que nunca dijeron o hicieron.
Al menos 85 niñas de Alagoas, Minas Gerais, Pernambuco, Río de Janeiro, Río Grande do Sul y São Paulo han denunciado acoso por parte de compañeros de clase que usaron herramientas de IA para crear imágenes deepfake sexualmente explícitas de ellas, a partir de fotos de sus perfiles en redes sociales, y las hicieron circular por internet.
Los materiales falsos siempre han existido, pero su creación requería tiempo, recursos y conocimientos especializados y, en general, no eran muy realistas. Las herramientas de IA actuales crean productos realistas en cuestión de segundos, suelen ser gratuitas y fáciles de usar, lo que supone un riesgo de proliferación de deepfakes no consentidos que podrían recircular en línea durante toda la vida e infligir daños duraderos.
En respuesta, LAION, la organización alemana sin ánimo de lucro que gestiona LAION-5B, confirmó que el conjunto de datos contenía las fotos personales de niños encontradas por Human Rights Watch y se comprometió a retirarlas. Negó que los modelos de IA entrenados en LAION-5B pudieran reproducir datos personales al pie de la letra. LAION también afirmó que los niños y sus tutores eran los responsables de eliminar dichas fotos personales de internet, lo que, en su opinión, constituía la protección más eficaz contra el uso indebido.
Los legisladores han propuesto prohibir el uso no consentido de la IA para generar imágenes sexualmente explícitas de personas, incluidos los niños. Estos esfuerzos son urgentes e importantes, pero sólo abordan un síntoma del problema más profundo de que los datos personales de los niños siguen estando en gran medida desprotegidos contra el uso indebido. Tal y como está redactada, la Ley General de Protección de Datos Personales de Brasil no ofrece suficientes garantías a los niños.
El gobierno debería reforzar la ley de protección de datos adoptando salvaguardas adicionales y exhaustivas para la privacidad de los datos de los infantes. En abril, el Consejo Nacional de los Derechos del Niño y del Adolescente, un órgano deliberativo establecido por ley para proteger sus derechos, publicó una resolución en la que se ordenaba a sí mismo y al Ministerio de Derechos Humanos y Ciudadanía desarrollar una política nacional para proteger los derechos de niños y adolescentes en el entorno digital en un plazo de 90 días. Deberían hacerlo.
La nueva política debería impedir la incorporación de datos personales de infantes a sistemas de inteligencia artificial, dados los riesgos que entraña para la privacidad y el potencial de nuevas formas de uso indebido a medida que evoluciona la tecnología. También debería prohibir la reproducción o manipulación digital no consentida de la imagen de niños. Y debería proporcionar, a quienes sufran daños, mecanismos de justicia y reparación significativas.
El Congreso de Brasil también debería garantizar que las normativas propuestas sobre IA incorporen protecciones de la privacidad de los datos para todos, especialmente para niños.
“La IA generativa es una tecnología incipiente, y el daño asociado que los niños ya están experimentando puede evitarse”, dijo Han. “Proteger la privacidad de sus datos ahora ayudará a moldear el desarrollo de esta tecnología para que promueva sus derechos, en lugar de violarlos”.
