Como a inteligência artificial é usada para combater o bullying e monitorar pensamentos suicidas

O bullying pode arrasar a vida das pessoas e deixar cicatrizes permanentes, mas a inteligência artificial seria parte da solução para enfrentar o assédio e a discriminação?

É difícil terminar com o primeiro amor, mas, aos 18 anos, essa foi uma experiência particularmente traumática para Nikki Mattocks. Em vez de ter um tempo para autorreflexão, ela se viu sendo bombardeada com mensagens de ódio nas mídias sociais dos amigos de seu ex-namorado. Um deles até a incentivou a se matar.

"Me isolei muito. As mensagens me deixaram tão deprimida e me levaram a tomar uma overdose de remédios", diz.

Mattocks é uma das milhões de pessoas em todo o mundo que são vítimas de bullying. Essa prática é muitas vezes considerada um rito de passagem, mas afeta entre 1/5 e 1/3 das crianças que frequentam a escola. Os adultos sofrem taxas semelhantes no trabalho.

Mas pesquisas mostraram que o assédio moral pode deixar uma cicatriz duradoura na vida das pessoas, causando danos em longo prazo para sua saúde futura, patrimônio e relacionamentos. E a quantidade crescente de tempo que passamos on-line nos expõe a formas de bullying que, embora anônimas, podem ser igualmente devastadoras.

Os jovens submetidos ao cyberbullying sofrem mais com a depressão do que aqueles que não são vítimas e têm pelo menos duas vezes mais chances de se automutilar e tentar o suicídio, segundo pesquisadores. Ao menos 59% dos adolescentes americanos dizem ter sido vítimas de bullying online.

Mattocks, que superou o cyberbullying com a ajuda de novos amigos na universidade, agora como ativista de saúde mental, ajudando outras pessoas que enfrentam bullying. Ela defende um esforço maior da sociedade para conter a prática.

Monitoramento inteligente de bullying

A tecnologia tanto pode aumentar o potencial para o bullying quanto ser usada para acabar com ele. Computadores alimentados por inteligência artificial estão sendo usados para detectar e lidar com casos de assédio.

"É quase impossível para os moderadores humanos ler todos os posts e determinar se há algum problema", diz Gilles Jacobs, pesquisador de idiomas da Universidade de Ghent, na Bélgica. "Por isso, a IA é fundamental para automatizar a detecção e moderação de bullying e trolling."

A equipe de Jacbos criou um algoritmo de aprendizado de máquina para identificar palavras e frases associadas ao bullying no site de mídia social AskFM, que permite aos usuários fazer e responder perguntas. O sistema conseguiu detectar e bloquear quase 2/3 dos insultos em quase 114 mil postagens em inglês. Também foi mais preciso do que uma simples pesquisa de palavras-chave. Ainda assim, teve dificuldades com comentários sarcásticos.

O discurso abusivo é notoriamente difícil de detectar porque as pessoas usam linguagem ofensiva por várias razões, e alguns dos comentários mais desagradáveis não usam palavras hostis. Pesquisadores da Universidade McGill, em Montreal, no Canadá, estão treinando algoritmos para detectar o discurso de ódio, ensinando a eles como comunidades específicas no Reddit têm como alvo mulheres, negros e pessoas com excesso de peso usando palavras específicas.

"Minhas descobertas sugerem que precisamos de filtros separados de fala de ódio para alvos distintos do discurso de ódio", diz Haji Saleem, um dos responsáveis pela pesquisa.

Surpreendentemente, a ferramenta foi mais precisa do que a treinada para identificar palavras-chave. Também foi capaz de identificar abusos menos óbvios - palavras como "animais", por exemplo - que podem ter um efeito desumanizador.

Abusos em redes sociais

Detectar bullying online está longe de ser uma tarefa meramente acadêmica. Tome como exemplos gigantes da mídia social como o Instagram. Uma pesquisa realizada em 2017 descobriu que 42% dos adolescentes sofreram bullying no Instagram, a taxa mais alta de todos os sites de mídia social avaliados no estudo. Em alguns casos extremos, alguns usuários cometeram suicídio.

E os alvos não são apenas os adolescentes - o guitarrista do Queen Brian May está entre aqueles que foram atacados na plataforma.

"O que sofri me fez ver com outros olhos aquelas histórias de crianças sendo intimidadas a ponto de se suicidarem por mensagens de seus 'amigos' nas redes sociais", disse May na época. "Agora, sei em primeira mão como é sentir que você está em um lugar seguro, relaxado, aberto e sem supervisão, e então, em uma palavra, ser subitamente invadido."

O Instagram agora está usando a inteligência artificial para detectar bullying em comentários, fotos e vídeos. Embora a empresa esteja usando um "filtro de bullying" para ocultar comentários nocivos desde 2017, foi apenas recentemente que começou a usar o aprendizado de máquina para rastrear ataques verbais a usuários, em fotografias de tela dividida, por exemplo. Também rastreia ameaças contra indivíduos em comentários e fotos.

A rede social diz que identificar e remover ativamente esse material é uma medida crucial, já que muitas vítimas de bullying não prestam queixa. O aprendizado de máquina também permite que ações sejam tomadas contra aqueles que postarem repetidamente conteúdo ofensivo.

Mesmo com essas medidas, no entanto, os agressores continuam a criar "páginas de ódio" anônimas para atacar suas vítimas e enviar mensagens diretas nocivas.

Mas o bullying não está restrito ao espaço virtual. Revelações de casos de assédio sexual dentro das principais empresas de tecnologia no Vale do Silício vêm lançando luz sobre como o bullying e a discriminação podem afetar as pessoas no local de trabalho. Quase metade das mulheres experimentou alguma forma de discriminação enquanto trabalhava na indústria de tecnologia na Europa.

De que modo a tecnologia poderia trazer benefícios?

O chatbot inteligente Spot visa ajudar as vítimas a relatar suas experiências de assédio no local de trabalho com precisão e segurança. O sistema gera um 'interrogatório' com registro de data e hora que o usuário pode manter arquivado ou enviar ao seu empregador, anonimamente, se necessário. A ideia é "transformar uma lembrança em evidência", diz Julia Shaw, psicóloga da University College London e co-criadora da Spot.

Em outras palavras, um registro com data e hora de um incidente em torno de quando o abuso ocorreu poderia tornar mais difícil lançar dúvidas sobre as evidências posteriormente extraídas da memória, como os críticos de Christine Blasey Ford tentaram fazer depois que ela acusou Brett Kavanaugh, nomeado pelo presidente americano Donald Trump para a Surprema Corte americana, de agressão sexual quando ambos ainda estavam na faculdade.

Outra ferramenta chamada Botler AI vai um passo além, fornecendo conselhos a pessoas que foram assediadas sexualmente. Usando informações de mais de 300 mil processos judiciais nos Estados Unidos e no Canadá, o sistema usa o processamento de linguagem natural para avaliar se um usuário foi vítima de assédio sexual aos olhos da lei e gera um relatório do incidente, que pode ser entregue ao departamento de RH da empresa ou à polícia. A primeira versão ficou no ar por seis meses e alcançou 89% de precisão.

"Uma de nossas usuárias sofreu agressão sexual de um político e disse que a ferramenta lhe deu a confiança de que precisava e a capacitou para agir", diz Amir Moravej, fundador da Botler AI. "Ela abriu um processo judicial e o caso está em andamento."

A AI não só poderia ajudar a acabar com o bullying, mas também salvar vidas. Cerca de 3.000 pessoas em todo o mundo cometem suicídio todos os dias. Ou seja, uma morte a cada 40 segundos. Mas prever se alguém está mais suscetível ao suicídio é notoriamente difícil.

Embora fatores como o histórico do indivíduo possa oferecer algumas pistas, não há um fator de risco único que seja um forte indicador de suicídio. O que torna ainda mais difícil a previsão é que os profissionais de saúde mental muitas vezes precisam examinar evidências e avaliar o risco em um telefonema de cinco minutos.

Mas as máquinas inteligentes podem ajudar.

"A IA pode coletar muitas informações e montar o quebra-cabeça rapidamente, o que pode ser útil para analisar vários fatores de risco", diz Martina Di Simplicio, professora de psiquiatria da Universidade Imperial College London, no Reino Unido.

Análise estatística sobre automutilação

Cientistas do Centro Médico da Universidade de Vanderbilt e da Universidade Estadual da Flórida treinaram algoritmos de aprendizado de máquina para examinar os registros de saúde de pacientes que cometeram automutilação. Os algoritmos foram capazes de prever se um paciente tentaria ceifar sua vida na semana seguinte a uma ocorrência de automutilação com uma precisão de 92% .

"Podemos desenvolver algoritmos que dependem apenas de dados já coletados rotineiramente no centro médico para prever o risco de pensamentos e comportamentos suicidas", diz Colin Walsh, professor-assistente de informática biomédica no Centro Médico da Universidade de Vanderbilt em Nashville, no Estado americano do Tennessee, que liderou o estudo.

Apesar de a pesquisa oferecer a esperança de que os especialistas em saúde mental tenham outra ferramenta para ajudá-los a proteger os pacientes que estão em risco no futuro, há muito trabalho ainda a ser feito.

"Os algoritmos desenvolvidos neste estudo podem abordar com bastante precisão quem tentará suicídio, mas não quando alguém vai morrer", dizem os pesquisadores. "Embora o conhecimento preciso de quem pode se suicidar ainda seja criticamente importante para informar as decisões clínicas sobre o risco, não é suficiente para determinar o risco iminente".

Outro estudo realizado por pesquisadores da Universidade Carnegie Mellon, em Pittsburgh, no Estado americano da Pensilvânia, foi capaz de identificar indivíduos que tinham pensamentos suicidas com 91% de precisão. Os cientistas pediram a 34 participantes que pensassem em 30 conceitos específicos relacionados a aspectos positivos ou negativos da vida e da morte enquanto escaneavam seus cérebros usando uma máquina de ressonância magnética. Eles então usaram um algoritmo de aprendizado de máquina para identificar "assinaturas neurais" para esses conceitos.

Os pesquisadores descobriram diferenças na forma como pessoas saudáveis e suicidas pensavam sobre conceitos como "morte" e "despreocupação". O computador foi capaz de identificar com 94% de precisão nove pessoas que experimentaram pensamentos suicidas e que haviam tentado o suicídio e oito que não tentaram, observando essas diferenças.

"Pessoas com pensamento suicida costumam expressar um sentimento de vergonha, mas isso não aconteceu com os participantes saudáveis", diz Marcel Just, diretor do Centro de Imagem do Cérebro Cognitivo da Universidade Carnegie Mellon. Ele diz acreditar que um dia os terapeutas poderiam usar essa informação para criar um tratamento personalizado para alguém com pensamentos suicidas.

À primeira vista, esses tratamentos personalizados podem parecer futuristas. Mas gigantes de buscas e de mídias sociais estão tentando identificar usuários em crise. Por exemplo, quando alguém busca no Google algo relacionado à tentativa de suicídio, o buscador oferece o número do telefone de uma instituição que atua na prevenção, em vez do resultado da pesquisa.

No ano passado, o Facebook começou a usar a inteligência artificial para identificar posts de pessoas que possam estar em risco de cometer o suicídio. Outras redes sociais, como o Instagram, também começaram a explorar como a IA pode ajudar a evitar o compartilhamento de imagens de autoflagelação e posts relacionados ao suicídio.

O Facebook também treinou seus algoritmos para identificar padrões de palavras tanto no post principal quanto nos comentários para ajudar a confirmar casos de desejo suicida. Isso é combinado com outros detalhes, como se as mensagens são postadas nas primeiras horas da manhã. Todos esses dados são canalizados para outro algoritmo que é capaz de descobrir se a postagem de um usuário do Facebook deve ser revisada pela equipe de Operações Comunitárias do Facebook, que pode disparar o alarme se achar que alguém está em risco.

Em casos graves, o Facebook pode entrar em contato com autoridades locais. Além disso, a empresa já atuou em conjunto com socorristas para realizar mais de mil verificações sobre a saúde mental dos usuários até o momento.

"Não somos médicos e não estamos tentando fazer um diagnóstico de saúde mental", explica Dan Muriello, engenheiro da equipe que produziu as ferramentas. "Estamos tentando obter informações para as pessoas certas rapidamente".

O Facebook não é a única empresa que analisa texto e comportamento para prever se alguém pode estar passando por problemas de saúde mental. Maria Liakata, professora-associada da Universidade de Warwick, no Reino Unido, está trabalhando na detecção de mudanças de humor em posts de mídias sociais, mensagens de texto e dados de telefones celulares.

"A ideia é poder monitorar passivamente e prever, de forma confiável, mudanças de humor e pessoas em risco", afirma. Ela diz esperar que a tecnologia seja incorporada em um aplicativo capaz de ler mensagens no telefone de um usuário.

Embora essa iniciativa possa aumentar as preocupações com a privacidade, milhares de pessoas já estão compartilhando de bom grado seus pensamentos mais profundos com os aplicativos de IA em uma tentativa de combater a depressão, que é um indicador do suicídio.

Aplicativos como o Woebot e o Wysa permitem que os usuários conversem sobre seus problemas com um bot que responde seguindo padrões de tratamento certificados pelas autoridades de saúde, como a terapia cognitivo-comportamental.

As máquinas também podem ajudar a intervir e acabar com o bullying. Mas até que a IA aperfeiçoe uma maneira de detectar as táticas de intimidação mais sutis e astutas, essa responsabilidade caberá a nós.

• Leia a versão original desta reportagem (em inglês) no site BBC Future.

Já assistiu aos nossos novos vídeos no YouTube? Inscreva-se no nosso canal!

https://www.youtube.com/watch?v=7ZZ5Fe_OniU

https://www.youtube.com/watch?v=jqcHMpdR0yk

https://www.youtube.com/watch?v=dbl0ZE7i4Co