“Suas fotos e informações pessoais vazaram. Vamos conversar.”
Quando a estudante universitária, da Coreia do Sul, entrou no bate-papo para ler a mensagem, recebeu uma foto sua tirada alguns anos atrás, enquanto ainda estava na escola, seguida por uma segunda imagem, usando a mesma foto, só que sexualmente explícita — e falsa.
Apavorada, Heejin, que não é seu nome verdadeiro, não respondeu, mas as imagens continuaram chegando.
Em todas elas, seu rosto havia sido anexado a um corpo realizando um ato sexual, usando a sofisticada tecnologia de deepfake.
A pornografia deepfake — que combina, em sua maioria, o rosto de uma pessoa real com um corpo falso e sexualmente explícito — está sendo gerada cada vez mais por meio de ferramentas de inteligência artificial.
“Fiquei petrificada, me senti tão sozinha”, contou Heejin à BBC. Mas ela não estava sozinha.
Dois dias antes, a jornalista sul-coreana Ko Narin havia publicado o que se tornaria o maior furo de reportagem da sua carreira. Recentemente, tinha vindo à tona que a polícia estava investigando redes de pornografia deepfake em duas das principais universidades do país, e Ko estava convencida de que deveria haver mais.
Ela começou a pesquisar nas redes sociais, e descobriu dezenas de grupos de bate-papo no aplicativo de mensagens Telegram, em que os usuários compartilhavam fotos de mulheres que conheciam, e usavam um software de inteligência artificial para convertê-las em imagens pornográficas falsas em segundos.
“A cada minuto, as pessoas estavam enviando fotos de garotas que conheciam, e pedindo que fossem transformadas em deepfakes”, disse Ko à BBC.
Ko descobriu que estes grupos não tinham como alvo apenas estudantes universitárias. Havia salas de bate-papo dedicadas a escolas específicas do ensino médio e até mesmo do ensino fundamental.
Se fosse criado muito conteúdo usando imagens de uma aluna em particular, ela poderia até ganhar sua própria sala. Com o rótulo genérico de “salas de humilhação” ou “salas de amigas de amigos”, elas costumam ter termos de entrada rigorosos.
A reportagem de Ko, publicada no jornal Hankyoreh, chocou a Coreia do Sul. Na segunda-feira (2/9), a polícia anunciou que estava considerando abrir uma investigação sobre o Telegram, seguindo o exemplo das autoridades da França, que recentemente acusaram o fundador do aplicativo de crimes relacionados à plataforma. O governo prometeu impor punições mais severas para os envolvidos, e o presidente pediu que os jovens fossem mais educados.
O Telegram afirmou, por sua vez, que “combate ativamente conteúdo prejudicial em sua plataforma, incluindo pornografia ilegal”, em uma declaração enviada à BBC.
‘Pornô fake’: criminosos usam tecnologia para falsificar vídeos pornográficos
‘Um processo sistemático e organizado’
A BBC teve acesso às descrições de várias destas salas de bate-papo. Uma delas pede que os membros postem mais de quatro fotos de alguém, junto ao nome, idade e região em que a pessoa vive.
“Fiquei chocada com o quão sistemático e organizado era o processo”, declarou Ko.
“A coisa mais horrível que descobri foi um grupo para alunos menores de idade de uma escola que tinha mais de 2 mil membros.”
Nos dias após a publicação da reportagem de Ko, ativistas em defesa dos direitos das mulheres também começaram a vasculhar o Telegram — e seguir pistas.
Até o fim daquela semana, mais de 500 escolas e universidades haviam sido identificadas como alvos. O número real de pessoas afetadas ainda não foi estabelecido, mas acredita-se que muitas tenham menos de 16 anos, que é a idade de consentimento na Coreia do Sul. Uma grande parte dos supostos perpetradores são adolescentes.
Heejin disse que tomar conhecimento da dimensão da crise piorou sua ansiedade, porque ela passou a se preocupar com quantas pessoas poderiam ter visto seus deepfakes. Inicialmente, ela se culpou.
“Eu não conseguia parar de pensar que isso aconteceu porque postei minhas fotos nas redes sociais: será que eu deveria ter sido mais cuidadosa?”
Dezenas de mulheres e adolescentes em todo o país removeram suas fotos das redes sociais ou desativaram suas contas por completo, com medo de serem exploradas na sequência.
“Estamos frustradas e com raiva por termos que censurar nosso comportamento e nosso uso das redes sociais, quando não fizemos nada de errado”, desabafou Ah-eun, uma estudante universitária cujas colegas foram alvo.
Ah-eun contou que uma vítima da sua universidade foi informada pela polícia para não se preocupar em levar o caso adiante, pois seria muito difícil pegar o perpetrador — e que “não era realmente um crime”, uma vez que “as fotos eram falsas”.
No centro deste escândalo, está o aplicativo de mensagens Telegram. Diferentemente de sites públicos, que as autoridades podem acessar facilmente e, em seguida, solicitar que as imagens sejam removidas, o Telegram é um aplicativo de mensagens privado e criptografado.
Os usuários geralmente são anônimos, as salas de bate-papo podem ser configuradas como “chats secretos”, e seus conteúdos são rapidamente excluídos sem deixar rastros. Isso fez com que a plataforma se tornasse um espaço privilegiado para o comportamento criminoso prosperar.
Na semana passada, políticos e a polícia responderam energicamente, prometendo investigar estes crimes e levar os perpetradores à Justiça.
Na segunda-feira (2/9), a Agência Nacional de Polícia de Seul anunciou que investigaria o Telegram por permitir a distribuição de imagens pornográficas falsas de crianças.
Mas ativistas em defesa dos direitos das mulheres acusam as autoridades na Coreia do Sul de permitir que o abuso sexual no Telegram tenha ficado por tanto tempo sem controle, porque o país já enfrentou esta crise antes. Em 2019, descobriu-se que uma rede sexual criminosa estava usando o Telegram para coagir mulheres e crianças a criar e compartilhar imagens sexualmente explícitas de si mesmas.
Na época, a polícia pediu ajuda ao Telegram para a investigação, mas o aplicativo ignorou todas as sete solicitações. Embora o chefe da rede criminosa tenha sido condenado a mais de 40 anos de prisão, nenhuma medida foi tomada contra a plataforma, por causa de temores em relação à censura.
“Eles condenaram os protagonistas, mas, por outro lado, negligenciaram o problema, e acho que isso agravou a situação”, avalia Ko.
Park Jihyun, que revelou o escândalo conhecido como Nth room, em 2019, como uma jovem estudante de jornalismo, se tornou uma ativista política em defesa das vítimas de crimes sexuais digitais. Ela disse que desde que o escândalo do deepfake estourou, alunos e pais ligam para ela várias vezes ao dia chorando.
“Eles viram a escola deles na lista compartilhada nas redes sociais e estão apavorados.”
Park tem liderado os apelos para que o governo regule ou até mesmo proíba o aplicativo na Coreia do Sul.
“Se estas empresas de tecnologia não vão cooperar com as agências de segurança pública, o Estado precisa regulá-las para proteger seus cidadãos”, afirmou.
Antes da última crise estourar, o Centro de Defesa das Vítimas de Abuso Sexual Online da Coreia do Sul (ACOSAV, na sigla em inglês) já estava notando um aumento acentuado no número de vítimas menores de idade da pornografia deepfake.
Em 2023, eles aconselharam 86 vítimas adolescentes. Este número saltou para 238 apenas nos primeiros oito meses deste ano. Só na semana passada, outras 64 vítimas adolescentes se apresentaram.
Uma das líderes do centro, Park Seonghye, contou que na última semana sua equipe recebeu uma enxurrada de ligações — e estava trabalhando 24 horas por dia.
“Foi uma emergência em grande escala para nós, como uma situação de guerra”, afirmou.
“Com a tecnologia deepfake mais avançada, agora há muito mais imagens do que costumava haver, e estamos preocupados que isso só vai aumentar.”
Além de aconselhar as vítimas, o centro monitora conteúdo prejudicial e trabalha com as plataformas digitais para removê-lo. Park disse que houve alguns casos em que o Telegram removeu conteúdo a pedido deles.
“Portanto, não é impossível”, observou.
‘Deepfake ao vivo’: tecnologia que muda rosto e voz em videochamada já existe na vida real
Em uma declaração, o Telegram disse à BBC que seus moderadores “monitoram proativamente partes públicas do aplicativo, usam ferramentas de IA e aceitam denúncias de usuários para remover milhões de conteúdos todos os dias que violam os termos de uso do Telegram”.
Embora as organizações de direito das mulheres admitam que a inteligência artificial está facilitando a exploração das vítimas, elas argumentam que esta é apenas a forma mais recente de misoginia online a se manifestar na Coreia do Sul.
Primeiro, as mulheres foram submetidas a ondas de abuso verbal na internet. Depois, veio a epidemia de câmeras escondidas, na qual elas foram filmadas, sem conhecimento, usando banheiros públicos e vestiários.
“A causa principal disso é o sexismo estrutural, e a solução é a igualdade de gênero”, diz uma declaração assinada por 84 grupos de mulheres.
Esta é uma crítica direta ao presidente do país, Yoon Suk Yeol, que negou a existência de sexismo estrutural, cortou o financiamento para grupos de apoio às vítimas e está abolindo o Ministério da Igualdade de Gênero do governo.
Lee Myung-hwa, que trata de jovens infratores sexuais, concorda que, embora o surto de abuso de deepfake possa parecer repentino, ele já estava há muito tempo à espreita.
“Para os adolescentes, os deepfakes se tornaram parte da sua cultura, são vistos como um jogo ou uma pegadinha”, afirmou a terapeuta, que dirige o Aha Seoul Youth Cultural Centre.
Lee acrescentou que era fundamental educar os jovens, citando pesquisas que mostram que quando se diz aos infratores exatamente o que eles fizeram de errado, eles se tornam mais conscientes do que é considerado abuso sexual, o que os impede de reincidir.
Enquanto isso, o governo disse que vai aumentar as penas para aqueles que criam e compartilham imagens deepfake — e também vai punir aqueles que veem pornografia.
Isso foi anunciado após críticas de que não havia perpetradores suficientes sendo punidos. Um dos problemas é que a maioria dos suspeitos são adolescentes, que normalmente são julgados pela vara da infância e da juventude, onde recebem penas mais brandas.
Desde que as salas de bate-papo foram expostas, muitas foram fechadas, mas novas certamente vão ocupar seu lugar. Uma sala da humilhação já foi criada para atingir jornalistas que estão cobrindo este caso. Ko, que deu a notícia, diz que isso tem tirado seu sono.
“Continuo checando a sala para ver se minha foto foi enviada”, revela.
Esta ansiedade é vivenciada por quase todas as adolescentes e mulheres jovens da Coreia do Sul. Ah-eun, a estudante universitária, disse que isso a fez desconfiar de conhecidos homens.
“Agora não posso ter certeza de que as pessoas não vão cometer esses crimes pelas minhas costas, sem que eu saiba”, afirmou.
“Me tornei hipervigilante em todas as minhas interações com as pessoas, o que não pode ser bom.”
*Reportagem adicional de Hosu Lee e Suhnwook Lee.
