PUBLICIDADE
Topo

Amazon vende tecnologia facial que pode ser discriminatória, segundo estudo

Joy Buolamwini, pesquisadora do MIT Media Lab - Tony Luong/The New York Times
Joy Buolamwini, pesquisadora do MIT Media Lab Imagem: Tony Luong/The New York Times

Natasha Singer

28/01/2019 00h01

Ao longo dos últimos dois anos, a Amazon tem oferecido agressivamente sua tecnologia de reconhecimento facial a departamentos de polícia e agências federais como sendo um serviço para ajudar as agências de manutenção da lei a identificarem suspeitos mais rapidamente. Ela o fez enquanto outra gigante de tecnologia, a Microsoft, pede ao Congresso para que regule a tecnologia, argumentando que ela é arriscada demais para que as empresas a supervisionem por conta própria.

Agora, um novo estudo por pesquisadoras do Laboratório de Mídia do Instituto de Tecnologia de Massachusetts (MIT, na sigla em inglês) apontou que o sistema da Amazon, Rekognition, apresenta mais dificuldade em distinguir o gênero de rostos femininos e rostos de pele mais escura em fotos do que serviços semelhantes da IBM e da Microsoft. Os resultados levantam dúvidas sobre potencial discriminação que poderia atrapalhar o esforço da Amazon para popularizar a tecnologia.

No estudo, publicado na quinta-feira, o Rekognition não cometeu erros no reconhecimento do gênero de homens de pele clara. Mas classificou erroneamente mulheres como sendo homens em 19% das vezes, disseram as pesquisadoras, e confundiu mulheres de pele mais escura como sendo homens em 31% das vezes. A tecnologia da Microsoft confundiu mulheres de pele mais escura como sendo homens em apenas 1,5% das vezes.

Um estudo publicado há um ano apontou problemas semelhantes nos programas desenvolvidos pela IBM, Microsoft e Megvii, uma empresa de inteligência artificial da China conhecida como Face++. Esses resultados provocaram protestos que foram amplificados quando uma coautora do estudo, Joy Buolamwini, postou vídeos no YouTube mostrando que tecnologia classificou erroneamente mulheres afro-americanas famosas, como Michelle Obama, como sendo homens.

As empresas citadas no estudo do ano passado reagiram rapidamente lançando tecnologia mais precisa. Para o mais recente estudo, disse Buolamwini, ela enviou uma carta com alguns resultados preliminares à Amazon sete meses atrás. Mas ela disse que não teve retorno da Amazon, e quando ela e uma coautora do estudo testaram novamente o produto da empresa dois meses depois, ele não exibiu melhora.

Matt Wood, gerente-geral de inteligência artificial da Amazon Web Services, disse que as pesquisadoras examinaram análise facial, uma tecnologia que pode identificar características como bigodes ou expressões como sorrisos, e não reconhecimento facial, uma tecnologia que pode reconhecer rostos em fotos ou frames de vídeo para identificação de indivíduos. A Amazon vende os dois serviços.

"Não é possível chegar a uma conclusão sobre a precisão do reconhecimento facial para qualquer tipo de uso, incluindo manutenção da lei, com base nos resultados obtidos usando análise facial", disse Wood em uma declaração. Ele acrescentou que as pesquisadoras não testaram a versão mais recente do Rekognition, que foi atualizado em novembro.

Os defensores veem o reconhecimento facial como um avanço importante na ajuda às agências de manutenção da lei a pegarem criminosos e encontrarem crianças desaparecidas. Alguns departamentos de polícia e o FBI (Birô Federal de Investigação, a polícia federal americana) testaram o produto da Amazon.

Mas especialistas em liberdades civis alertam que ele também pode ser usado para identificar secretamente pessoas, potencialmente desestimulando a capacidade dos americanos de falarem livremente ou de simplesmente cuidarem de suas próprias vidas anonimamente em público.

O estudo publicado no ano passado relatou que a Microsoft obteve uma avaliação perfeita na identificação de gênero de homens de pele mais clara em um banco de dados de fotos, mas que classificou erroneamente mulheres de pele mais escura como sendo homens em cerca de uma entre cinco vezes. A IBM e a Face++ apresentaram uma taxa de erro ainda maior, com cada uma classificando erroneamente o gênero de mulheres de pele mais escura cerca de uma entre três vezes.

Buolamwini disse que desenvolveu sua metodologia visando explorar a pressão pública, assim como a concorrência de mercado, para pressionar as empresas a corrigirem a discriminação em seu software, algo que poderia oferecer sérios riscos às pessoas.

"Uma das coisas que tentávamos explorar com o estudo era como mobilizar uma ação", disse Buolamwini.

Imediatamente após o estudo ser divulgado no ano passado, a IBM publicou uma postagem em blog, "Reduzindo a Discriminação nos Modelos de IA", citando o trabalho de Buolamwini. Na postagem, Ruchir Puri, o principal arquiteto do IBM Watson, disse que a empresa estava trabalhando há meses para reduzir a discriminação em seu sistema de reconhecimento facial. A postagem da empresa incluiu resultados de teste mostrando melhorias, particularmente na classificação do gênero de mulheres de pele mais escura. Logo depois, a IBM lançou um novo sistema que a empresa disse reduzir em dez vezes as taxas de erro.

Poucos meses depois, a Microsoft publicou sua própria postagem, intitulada "Microsoft melhora tecnologia de reconhecimento facial para funcionar bem com todos os tons de pele e gêneros". Em particular, disse a empresa, ela reduziu significativamente as taxas de erros para rostos femininos e de peles mais escuras.

Buolamwini queria saber se o estudo tinha mudado de modo geral as práticas do setor. Assim ela e uma colega, Deborah Raji, um estudante universitária que fazia estágio no Laboratório de Mídia do MIT em meados do ano passado, realizaram um novo estudo.

Nele, elas testaram novamente os sistemas da IBM, Microsoft e Face++. Elas também testaram os sistemas faciais de duas empresas que não foram incluídas no primeiro estudo: Amazon e Kairos, uma startup na Flórida.

O novo estudo apontou que a IBM, Microsoft e Face++ melhoraram a precisão da identificação de gênero.

Por sua vez, relatou o estudo, a Amazon classificou erroneamente o gênero de mulheres de pele mais escura em 31% das vezes, enquanto a Kairos apresentou uma taxa de erro de 22,5%.

Melissa Doval, presidente-executiva da Kairos, disse que a empresa, inspirada pelo trabalho de Buolamwini, lançou um algoritmo mais preciso em outubro.

Buolamwini disse que os resultados de seus estudos levantaram questões fundamentais para a sociedade sobre se tecnologia facial não deva ser usada em certas situações, como entrevistas de emprego ou em produtos como drones ou câmeras de corpo policiais.

Alguns legisladores federais estão expressando preocupações semelhantes.

"Tecnologia como a Rekognition da Amazon deve ser usada apenas e somente se estiver imbuída de valores americanos como o direito à privacidade e proteção igual", disse o senador Edward J. Markey, democrata de Massachusetts, que está investigando as práticas de reconhecimento facial da Amazon. "Não acho que esse padrão está sendo atualmente atendido."

Tradutor: George El Khouri Andolfato