"Racismo algorítmico": pesquisador mostra como os algoritmos podem discriminar

Aplicações como o FaceApp, moda recente entre usuários do Facebook e do Instagram, ao "embelezarem" o rosto dos usuários os embranquecem. Esta é a constatação do pesquisador Tarcízio Silva, que desenvolve a tese de doutorado "Dados, Algoritmos e Racialização em Plataformas Digitais" na Universidade Federal do Grande ABC. Ele criou o conceito de "racismo algorítmico".

Silva lembra, por exemplo, que o Facebook foi lançado em 2004 a partir de um site misógino de comparação de mulheres de uma universidade americana e que o Twitter, lançado em 2006, com mais de 120 milhões de usuários ativos, tem apenas 2,2% de funcionários negros. Neste contexto, os algoritmos criados para estes sites podem discriminar.

Autor de "Estudando Cultura e Comunicação em Mídias Sociais" (2018) e "Para Entender o Monitoramento de Mídias Sociais" (2012), entre outros, ele faz uma análise crítica dos algoritmos e das mídias sociais no que diz respeito a diversos tipos de discriminação, como racismo e misoginia.

"Na maioria dos casos não os algoritmos em si, mas os sistemas onde são empregados podem ter resultados racistas e discriminatórios. Elaboro o conceito de 'racismo algorítmico' para descrever como interfaces e sistemas automatizados, tais como plataformas de mídias sociais, podem reforçar e, pior, ocultar as dinâmicas racistas das sociedades onde são usados e empregados", explica o pesquisador.

Segundo Silva, é importante frisar que o problema não é um algoritmo ou outro tomado de forma isolada, mas "como sociedades racistas constroem consequentemente tecnologias com potenciais ou aplicações discriminatórias".

Invisibilidade

No seu site, o pesquisador, que conta com 12 anos de experiência no mercado de pesquisa e análise de mídias sociais, faz uma linha do tempo para exemplificar o "racismo algorítmico".

O autor cita a "invisibilidade" contextual dos negros causados por algoritmos "problemáticos". "Já é clássico o exemplo de um vídeo que viralizou, em 2009, sobre o software da Hewlett-Packward, que não conseguia identificar rostos negros. Apesar de ter sido realizado dez anos atrás, casos similares são inúmeros."

Desde 2017 o trabalho da Joy Buolamwini, estudante do MIT, oMassachusstes Institute of Technology, fez um TED (conferência online) mostrando como alguns robôs não reconheciam seu rosto. Posteriormente, ela criou um projeto para auditar algoritmos, chamado Gender Shades (Tons de gênero, em tradução livre) , que analisa recursos contemporâneos de reconhecimento facial. "A precisão é menor em faces de mulheres negras", constata.

"Mas isto se inverte quando a visibilidade é negativa. Existe uma hipervisibilidade de pessoas negras quando se trata de resultados negativos", diz.

Ele cita o livro "Algoritmos de Opressão: como mecanismos de busca reforçam o racismo", em que a pesquisadora Safiya Noble mostrou como a maioria dos resultados de motores de pesquisa como o Google para buscas sobre "garotas negras" traz conteúdo pornográfico.

"E quando falamos de aplicações policiais tais como reconhecimento facial de suspeitos ou policiamento preditivo, a fragilidade dos dados ameaça grupos minorizados. Em Londres, por exemplo, dados recentes mostram que mais de 80% das abordagens incentivadas por reconhecimento facial foram erradas", acrescenta.

Como combater este racismo dos algoritmos?

Para o pesquisador, há alguns pontos a serem abordados: a concentração tecnológica em poucas empresas, como as GAFA (um acrônimo para Google, Apple, Facebook e Amazon), a pouca de diversidade nestas empresas, a falta de uma regulação social e de uma educação midiática.

"A concentração midiática em poucas plataformas, sobretudo de empresas de tecnologia advindas dos países de sempre, não é positiva", critica Silva. "Uma internet plural e diversa em tecnologias, sites e ambientes remedia os potenciais nocivos dessa concentração atual."

Além disso, o pesquisador defende que tecnologias e ambientes digitais devem ser regulados pela sociedade, por meio de representantes em instituições civis, casas legislativas e órgãos governamentais. "Sociedades saudáveis e democráticas olham para a inovação e tecnologia de forma responsável, buscando o bem comum."

Por fim, ele defende a ideia de "educação midiática e algorítmica", que buscaria promover o conhecimento sobre como mídias e tecnologias são consumidas e produzidas pelas pessoas. "Idealmente toda a sociedade deveria entender e poder analisar as tecnologias de uma forma crítica, não apenas pesquisadores acadêmicos e jornalistas especializados. Para democracias saudáveis no futuro, é indispensável que este tipo de reflexão esteja incluso também no ensino básico", pondera.

Ambiente inóspito

Além disso, a internet pode ser um ambiente inóspito para mulheres, negros e outras minorias sociais. Tarcísio Silva cita como exemplo o estudo do pesquisador Luís Valério Trindade, da Southampton University, que levantou dados sobre comportamento dos agressores racistas nas mídias sociais, incluindo características das vítimas e posições quanto à tecnologia: 81% das vítimas de racismo no Facebook no Brasil são mulheres de classe média; 76,2% dos agressores não tinham nenhum relacionamento prévio com a vítima.

"Neste sentido, é necessário que as plataformas de mídias sociais tomem atitudes reais para melhorar a moderação e o ambiente de modo geral", analisa.

"Há diferenças contextuais no que tange a aplicação, por exemplo, dos Termos de Uso, moderação e filtragem de conteúdo. Dois dos escândalos mais chocantes sobre este ponto proveem do Facebook e do Twitter. A jornalista Julia Angwin, finalista do Prêmio Pulitzer de Jornalismo, descobriu, em 2017, algumas das regras obscuras de moderação no Facebook que protegem a categoria 'homens brancos' enquanto não protege 'crianças negras' de discurso de ódio", cita o pesquisador.

"Na relação entre moderação e inteligência artificial, um funcionário do Twitter vazou que a plataforma decidiu não implementar um filtro automático de discurso de ódio racial na plataforma. O motivo? Acabaria banindo políticos do partido Republicano", critica.

Mas nem só de maus exemplos vive a internet. Tarcízio Silva enumera bons usos, no caso da luta antirracismo: "movimentos como o BlackLivesMatter (Vidas Negras Importam), as comunidades de empoderamento estético e político; e a luta digital na política tradicional e partidária, que levou paradoxalmente a um número recorde de parlamentares mulheres negras a casas legislativas na última eleição no Brasil".

Para ele, o problema não é da internet em si, mas da falta de variedade de plataformas.

"A internet é um espaço de articulação muito relevante para os movimentos sociais, mas acredito que um passo importante hoje é superar a dependência das plataformas comerciais como Facebook, YouTube e Twitter, para ambientes mais abertos e democráticos", finaliza.

Para quem se interessa pelo assunto, o pesquisador participará de eventos no Brasil como AfroTechBR International Meeting, neste mês de agosto, e o Tecnologias Negras, com debates, palestras e cursos sobre Tecnologias Negras em outubro em toda a rede Sesc São Paulo.