Meghan Garcia, mãe da adolescente, que se suicidou na Flórida, após uma relação amoroso com um “chatbot”, conversou com a mídia vaticana sobre os motivos que a levou a abrir um processo contra a empresa que administrava o programa de IA: “Faço isso para fomentar a consciência sobre os riscos que correm e para que outros pais não tenham que passar pelo que eu passei”.
Roberto Paglialonga - Cidade do Vaticano O desafio da Inteligência Artificial (IA) encontra-se na fronteira de uma mudança antropológica e não apenas técnico-científica. Esta "mudança de época" — sobre a qual o Papa Francisco falou em 2015 — é também resultado de uma mudança nos critérios, que, antes, caracterizavam a humanidade como tal e que, hoje, estão intrinsecamente ligados ao virtual. Tanto que a distinção entre “o que é natural e humano”, e o que não é, torna-se difícil de discernir, a ponto de, em muitos casos, deslizar para o terreno do pós-humano (senão até perigosamente des-umano). Tal interação tem demonstrado impactos significativos, sobretudo, no desenvolvimento psicológico, social, biológico e neurológico de crianças e jovens, que os leva, nos piores casos, a atividades que violam seus direitos e dignidade. Consideremos os episódios de exploração e abusos, especialmente sexuais, que ocorrem com frequência crescente, entre e através dos chamados ‘ambientes de mídias sociais’. Questão ética e moral A "Declaração de Roma", de 6 de outubro de 2017, sobre a dignidade do menor no mundo digital, reconhecia: “Os avanços tecnológicos exponenciais e sua integração em nosso dia-a-dia não estão apenas mudando o que fazemos e como fazemos, mas também quem somos, suscitando, assim, uma questão moral e ética na gestão de tais avanços. A consciência de que o ambiente on-line, embora abra espaços para a criatividade e a conexão, é um lugar onde também a inocência das crianças é frequentemente exposta a ameaças: isso esteve no centro do Encontro de Alto Nível sobre a Dignidade da Criança na Era da Inteligência Artificial, patrocinado pela “Child Foundation”, na última terça-feira, 12, no Palácio da Chancelaria. Ao término do evento, foi assinada uma declaração de intenções, depois apresentada ao Papa Leão XIV, que convida governos, instituições, empresas e cidadãos a construírem, juntos, um novo pacto humano para a era digital, fundado na dignidade e proteção dos mais jovens, como declarou o presidente da Fundação, Ernesto Caffo: “A era da inteligência artificial não deve ser uma era de indiferença moral. Todo algoritmo deve servir à vida; toda inovação deve promover o bem comum”. O paradoxo da IA Oportunidades e riscos se entrelaçam. A IA amplifica o paradoxo de que “o digital pode educar ou explorar, proteger ou manipular", segundo a declaração final da cúpula, que diz ainda: “As crianças agora se deparam com sistemas, que simulam cuidado sem empatia e companhia sem consciência, correndo o risco de moldar sua sensibilidade e imaginação, segundo lógicas de engajamento e lucro ao invés de crescimento e humanidade". De fato, alguns dados são impressionantes. De acordo com o estudo "Me, Myself & AI da Internet Matters, 42% das crianças, entre 9 e 17 anos, no Reino Unido, usam “chatbots” para estudar e aprender, enquanto 23% recorrem a tais tecnologias para pedir conselhos. Uma parte significativa de jovens também afirma usá-los como companhia: para muitos, "conversar em um chatbot é como conversar com um amigo". Outro estudo, intitulado "Crianças e adolescentes no Reino Unido e Chatbots de IA", de autoria de Hendrycks, revela que 64% dos menores interagem com um chatbot e mais de um terço considera as conversas equivalentes a uma conversa com um amigo. Ainda mais preocupante é que 12% deles afirmam recorrer à IA porque "não têm mais com quem conversar". A mesma coisa verifica-se nos EUA, onde a pesquisa "Adolescentes e Companheiros de IA" da “Common Sense Media” (2025) demonstra que 72% dos adolescentes, entre os 13 e os 17 anos, já utilizaram um companheiro de IA pelo menos uma vez; 52% regularmente e 13% diariamente. Um terço relata utilizá-los para interações sociais ou emocionais, enquanto 24% partilham dados pessoais com o sistema e 34% vivem episódios de angústia. Paralelamente a estes espaços de interação social, aumentam novas formas de "dependência, isolamento e risco", segundo a “Child Foundation”, como cair na armadilha da pornografia infantil on-line ou cyberbullying. Administrar a tecnologia "A tecnologia requer desenvolvimento baseado no ser humano; a IA deve ser desenvolvida e aplicada de uma forma que respeite sempre as crianças, evitando a manipulação e a discriminação": é o que afirmou Anna Maria Tarantola, vice-presidente da Fundação Giulia Cecchettin e membro do Comitê Científico da Fundação “Centesimus Annus”, durante o evento na Chancelaria: “Precisamos ter mais responsabilidade, mais cooperação e iniciativas mais abrangentes dedicadas à educação”. Por sua vez, Daniel Kardefelt-Winther, do Escritório Global de Pesquisa e Perspectiva do UNICEF, acrescentou: “As crianças não são consumidoras, mas seres humanos em desenvolvimento, cheias de curiosidade e imaginação”. Portanto, Emilio Puccio, Secretário-Geral do Intergrupo sobre os Direitos da Criança do Parlamento Europeu destacou: “A lógica de mercado não pode definir os limites morais da nossa civilização”. O drama de Sewell Setzer É particularmente comovente o testemunho de Meghan Garcia, mãe de Sewell Setzer, de quatorze anos, estudante em Orlando, Flórida, que, aos poucos, se isolou, mantendo apenas um "relacionamento romântico" com um “chatbot da rede “Character.AI”, que foi capaz de gerar e enviar a ele, virtualmente, frases de amor da Daenerys, rainha fictícia de "Game of Thrones". No auge desta "relação", Sewell, incapaz de distinguir a verdade da ficção, foi induzido pelo Chatbot a acabar com a sua vida (com um tiro na têmpora) para chegar até à sua amada. Agora, sua mãe entrou com o primeiro processo nos EUA contra a empresa, dizendo à mídia vaticana: “Não faço isso por vingança; não me interessa, mas não existe nenhuma regulamentação voltada para a proteção de crianças, que impeça as empresas a fazer o que foi feito”. Ao invés, disse ela, derramando lágrimas: “Faço isso para conscientizar sobre os riscos que correm e para que outros pais não tenham que passar pelo que eu passei. Fiz isso também graças à minha fé". No tribunal, os produtores invocaram o direito à liberdade de expressão garantido pela Primeira Emenda: "É um direito deles, mas estou interessado no que vai acontecer daqui para frente”. Há apenas duas semanas, a “Character.AI” anunciou que iria eliminar os chatbots para crianças menores de 18 anos: não porque são bonzinhos, mas por causa da pressão pública e da mídia. A esperança de Meghan é que seu compromisso possa aumentar a "conscientização entre pais, professores, escolas e até entre líderes políticos, que podem fazer a diferença". A situação de Sewell, infelizmente, não é isolada. Segundo o Centro de Controle e Prevenção de Doenças (CDC), mais de 40% dos adolescentes sofrem de sentimentos crônicos de tristeza e desespero, enquanto o “Pew Research Center” relata que 46% dos adolescentes apresentam um "apego compulsivo a plataformas digitais". Estes dados demonstram que isso não se pode mais ser adiado.