Los sistemas de recomendación que favorecen la explotación sexual infantil

Durante años se han diseñado reglas y protocolos para luchar contra la difusión de contenido de explotación sexual infantil en Internet. Estos mecanismos, que se estructuran sobre leyes nacionales e internacionales, se han enfocado sobre todo en contener y detectar redes que trafican imágenes y videos de menores de edad, que los acosan en línea o pretenden llevar a cabo encuentros presenciales. Sin embargo, en los últimos años se ha añadido un fenómeno a la ecuación: el contenido producido y puesto en venta directamente por menores de edad.

Una investigación reciente del Internet Observatory de la Universidad de Stanford, identificó una red de más de 400 cuentas en Instagram, presumiblemente manejadas por menores, que ofrecen contenido sexual infantil producido por ellos mismos. El estudio encontró además 128 cuentas con actividad similar en Twitter.

De acuerdo con el documento, estas cuentas ofrecen un menú de contenidos prohibidos que no solo incluyen material explícito, sino autolesiones, venta de servicios sexuales y zoofilia. Dada la edad de los vendedores y su falta de bancarización, las transacciones se estarían haciendo a través de tarjetas de regalo y G2G, una plataforma de compra y venta de bienes digitales.

El comercio y la divulgación de este tipo de material, además constituir delitos, están prohibidos por las políticas de las plataformas. Sin embargo, la investigación demostró que los usuarios pueden acceder fácilmente a estas publicaciones. Por ejemplo, cuando se busca palabras clave y hashtags relacionados con contenido de explotación sexual infantil en Instagram, es posible encontrar el material y las cuentas que lo divulgan simplemente esquivando un mensaje de advertencia que se despliega sobre los resultados.

Por otra parte, la investigación da cuenta de cómo estos perfiles se valen del uso de publicaciones efímeras, como las historias, para ofrecer su contenido.

Más allá de las fallas de moderación, que existen tanto en este tema como en los demás contenidos prohibidos por las normas de las plataformas, la razón por la que estas redes encuentran un ambiente más propenso en Instagram y Twitter está en las decisiones de diseño.

Los investigadores encontraron que la función de cuentas recomendadas de estas dos redes sociales favorece a quienes buscan contenido de abuso sexual infantil. De esta manera, cuando un usuario encuentra un perfil que se dedica a publicar este material en Instagram o en Twitter, los sistemas de recomendación de estas plataformas le ofrecen la posibilidad de seguir cuentas análogas.

Es esta misma razón la que explica por qué, a pesar de su popularidad entre el público infantil y adolescente, TikTok no es una red social particularmente útil para estas actividades. De acuerdo con la investigación, el sistema de recomendaciones de esta plataforma no está diseñado para construir comunidades, sino para distribuir contenido, lo que dificulta que los usuarios encuentren este material intencionalmente. Además, las búsquedas de palabras claves y hashtags no arrojaron resultados relevantes.

La investigación incluyó también el estudio de espacios como Telegram y Discord, donde se sospecha que estas redes de distribución pueden tener lugar, pues varias cuentas identificadas en Instagram dirigían a enlaces a grupos en estas plataformas. Sin embargo, al tratarse de comunidades privadas, se tomó la decisión de no ingresar y de denunciarlas en el NMEC (National Center for Missing and Exploited Children), el centro de reporte de abuso infantil en Estados Unidos.

Por su parte, plataformas como Mastodon y Facebook resultan menos atractivas para la promoción de estos contenidos. La primera, por limitaciones en su estructura, como la ausencia de mensajes directos y su carácter descentralizado, en el que servidores con menores estándares de moderación terminan relegados y son de difícil acceso. La segunda, por su falta de popularidad entre los usuarios más jóvenes y por su política de nombres reales, que impide el uso de seudónimos para incursionar en esta clase de delitos.

El contenido sexual producido por menores de edad es un problema creciente en el nivel global. De acuerdo con la Internet Watch Foundation, la pandemia disparó este fenómeno, pues se redujeron las posibilidades de los agresores sexuales de cometer abusos en la vida offline y se aumentó la demanda de imágenes de menores en Internet. En 2020, el año de los confinamientos, las denuncias sobre material autogenerado registraron un aumento del 77% respecto al año anterior.

Según cifras de Te Protejo, una línea de reporte para la protección de menores en Colombia desarrollada por la organización Red PaPaz, en 2021 se registraron más de 14.600 denuncias de material de explotación sexual infantil, de las cuales el 61% correspondía a contenidos producidos por menores.

Ese mismo año, una investigación llevada a cabo por Viguías, el centro de Internet seguro de Red PaPaz, identificó que entre los principales factores de vulnerabilidad que llevan a niños, niñas y adolescentes a producir esta clase de contenidos se encuentran síntomas de depresión y el acceso a internet por tiempos prolongados y sin supervisión. A su vez, un informe de amenazas globales de la alianza WeProtect sugiere que la pobreza puede influir en el aumento del comercio del contenido sexual producido por menores.

Luego de que se publicara la investigación del Stanford Internet Observatory, Meta, la compañía matriz de Instagram, aseguró que establecería un equipo de trabajo interno para evitar que sus sistemas de recomendación favorecieran el crecimiento de estas redes.

De acuerdo con los investigadores, además de resolver estos incentivos negativos del diseño de las plataformas, es necesario un trabajo coordinado entre compañías de Internet que permita detectar señales, como las publicaciones que ofrecen material a través de enlaces a otras redes sociales o la actividad de usuarios mayores de edad que se contactan constantemente con menores.

En cuanto al tratamiento de las cuentas de niños, niñas y adolescentes que ofrecen este contenido, el informe llama la atención sobre la necesidad de aplicar las suspensiones correspondientes, que deben ir acompañadas de recursos que desestimulen la reincidencia, como la advertencia de consecuencias legales, los riesgos de ser víctima de extorsiones sexuales o acoso y enlaces a centros de apoyo.

Este artículo apareció originalmente en Botando Corriente, nuestro newsletter. Puedes suscribirte aquí:‍

‍