Nos EUA, 5 grupos avaliaram as mesmas respostas e chegaram a previsões distintas para eleições

Você já ouviu falar na "margem de erro" das pesquisas. Praticamente toda reportagem sobre uma nova pesquisa comenta que a margem de erro da amostragem é de 3 ou 4 pontos percentuais para mais ou para menos.

Mas na verdade a "margem de erro de amostragem", basicamente a probabilidade de que pesquisar pessoas diferentes teria produzido um resultado diferente, não chega perto de captar o potencial de erro das pesquisas.

Veja também:

• Pesquisas eleitorais divergem, e isso é normal, dizem estatísticos

Os resultados das pesquisas dependem tanto da avaliação dos pesquisadores quanto da ciência da metodologia usada. Dois bons pesquisadores, examinando os mesmos dados subjacentes, poderiam encontrar resultados muito diferentes.

Como? Porque os pesquisadores tomam uma série de decisões quando elaboram suas pesquisas, como determinar os prováveis eleitores e ajustar seus respondentes para se equipararem à demografia do eleitorado. Essas decisões são difíceis. Geralmente ocorrem nos bastidores, e podem fazer uma enorme diferença.

Para ilustrar isso, decidimos realizar um pequeno experimento.  Em 2016, em parceria com o Siena College, a seção The Upshot, do The New York Times, publicou uma pesquisa com 867 prováveis eleitores da Flórida. Nossa pesquisa mostrou que Hillary Clinton venceria Donald Trump por 1 ponto percentual.

Decidimos compartilhar nossos dados crus com quatro respeitadas firmas de pesquisas e lhes pedimos para estimar o resultado da pesquisa. Veja quem entrou em nossa experiência:

• Charles Franklin, da Marquette Law School Poll, uma reconhecida pesquisadora pública de Wisconsin.
• Patrick Ruffini, da Echelon Insights, uma firma de dados e pesquisas republicana.
• Margie Omero, Robert Green e Adam Rosenblatt, da Penn Schoen Berland Research, firma de pesquisa que conduziu estudos para Clinton em 2008.
• Sam Corbett-Davies, Andrew Gelman e David Rothschild, da Universidade Stanford, Universidade Columbia e Microsoft Research. Eles estão na vanguarda do uso de modelos estatísticos em pesquisas de opinião.

O que eles encontraram foi uma diferença de 5 pontos entre as cinco medições, incluindo a nossa, apesar de todas se basearem em dados idênticos. Lembre-se: não havia diferenças de amostragens nesse exercício. Todas chegaram a um número com base nas mesmas entrevistas.

Suas respostas não devem ser interpretadas como um indício do que eles teriam encontrado se tivessem conduzido suas próprias pesquisas. Todos teriam elaborado a pesquisa de maneiras um pouco diferentes, no mínimo, e algumas quase totalmente diferentes.

Mas suas respostas ilustram algumas maneiras como os pesquisadores podem tratar os mesmos dados e como essas opções podem afetar o resultado.

Então o que está acontecendo? Os pesquisadores tomaram decisões diferentes ao adaptar a amostragem e identificar os prováveis eleitores. O resultado foram quatro eleitorados diferentes e quatro resultados diferentes.

Há dois tipos básicos de opções que nossos participantes fizeram: uma sobre adaptar a amostragem e uma sobre identificar prováveis eleitores. Nos EUA, o voto é facultativo.

Como tornar a amostragem representativa?

Os pesquisadores geralmente fazem ajustes estatísticos para garantir que sua amostra representa a população. Neste caso, eleitores da Flórida. Eles geralmente o fazem dando maior peso aos respondentes de grupos sub-representados. Mas isso não é tão simples.

Que fonte? A maioria dos pesquisadores públicos tenta alcançar todo tipo de adulto ao acaso e adaptam suas amostras de pesquisa para se equiparar à composição demográfica dos adultos no censo. A maioria dos pesquisadores da campanha política tira pesquisas de listas de eleitores registrados e adapta sua amostra para se equiparar à informação do registro de eleitores.

Quais variáveis? Que tipos de características deve o pesquisador sopesar? Raça, sexo e idade são muito padrão. Mas e que tal região, registro em partido, educação ou comparecimento anterior?

Como? Há diferentes maneiras sutis de avaliar uma pesquisa. Franklin, por exemplo, aproximou a abordagem de um pesquisador tradicional e não usou nenhuma informação do arquivo de registro de eleitores.

Corbett-Davies, Gelman e Rothschild construíram um modelo que tentou descobrir que características prediziam o apoio a Clinton ou Trump, com base em muitas das mesmas variáveis usadas para avaliar. Então eles previram como cada pessoa no Estado votaria, com base nesse modelo.

Quem é um provável eleitor?

Há duas maneiras básicas como nossos participantes escolheram prováveis eleitores:

-Intenção de voto autodeclarada: as pesquisadoras públicas muitas vezes perguntam aos respondentes se eles pretendem votar.

-Histórico de votação: pesquisadoras partidárias muitas vezes usam dados de registro de eleitores sobre o histórico de votação de eleitores registrados para decidir quem é propenso a votar, porque a votação passada é um forte fator de previsão de futura votação. Ruffini, por exemplo, criou notas de comparecimento: uma estimativa da probabilidade de cada eleitor ir votar, baseada exclusivamente em seu histórico eleitoral.

As decisões variáveis dos pesquisadores sobre essas questões resultam em grandes diferenças de resultado. Em geral, os participantes que usaram o histórico de votação no modelo de eleitor provável mostraram um resultado melhor para Trump.

Algumas observações

-Essas são boas empresas de pesquisas que tomaram decisões sensatas e defensáveis. Já vi pesquisas que tomam decisões realmente absurdas com o potencial de produzir variações ainda maiores.

-Claramente, a margem de erro relatada devido à amostragem, mesmo incluindo um efeito de elaboração (que pretende captar a incerteza adicional da avaliação), nem chega perto de captar o erro total da pesquisa.

-Você pode ver por que o "arrebanhamento", o fenômeno em que as pesquisadoras tomam decisões que as aproxima das expectativas, pode ser um problema. Realmente há muita flexibilidade para as pesquisadoras fazerem opções que geram um resultado fundamentalmente diferente. E eu entendo isso: se nosso resultado tivesse sido "Clinton +10", teria medo de publicá-lo.

-Você pode entender por que dizemos que é melhor fazer a média das pesquisas e parar de se importar tanto com pesquisas individuais.

*Este texto foi publicado pelo jornal "The New York Times" em 20 de setembro de 2016.