Thread by @rnishimura

Essa matéria traz um bom ponto para um fio metodológico!
Ela faz referência as questões 1, 2 e 3 feitas antes das pergunta de intenção de voto (imagem abaixo). Como a própria matéria diz, não há nada de errado ou ilegal nisso, mas quais são as implicações metodológicas disso? +🧵

https://twitter.com/FR_BSB/status/2057052129601143289

Antes de mais nada, leiam a matéria inteira!
Diferentes institutos, optam pelo posicionamento das perguntas de intenção de voto em diferentes pontos do questionário. Há essencialmente duas linhas de racíocinio para isso: +

1) Colocar essas perguntas logo no início do questionário para evitar qualquer efeito de ordem.
2) Incluir algumas perguntas antes das questões de intenção de voto (o que a matéria chama de "esquenta") para dar um contexto maior ao respondente. +

Há uma extensa literatura em metodologia de pesquisa que indica que, *em determinadas situações*, pode ocorrer um efeito de ordem de questionário. Isto é, o entrevistado *pode* condicionar sua resposta a uma questão de acordo com perguntas e suas respostas a questões anteriores.+

Isso, entretanto, levanta duas questões:
i) Em quais situações as duas abordagens tendem a trazer resultados diferentes de intenção de voto?
ii) Algumas das duas formas conseguem captar mais precisamente a intenção de voto? +

Quanto a i), obviamente isso depende de quais perguntas são colocadas antes das questões de intenção de voto. Pode-se imaginar que certos tipo de perguntas podem ter um grande impacto na forma como os entrevistados respondem posteriomente intenção de voto, enquanto outras, não. +

Mas o mais legal é que isso pode ser verificado com o uso de um bom experimento! Por exemplo, em uma metade aleatória dos respondentes, as perguntas de intenção de voto são colocadas logo no início, enquanto a outra metade responde algumas questões antes da intenção de voto. +

Aí, compare-se as estimativas de intenção de voto entre os dois grupos para verificar se há alguma diferença estatisticamente significante. Se houver, é evidência de que há um efeito de ordem.
E é assim que se faz ciência! +

A questão ii) é um pouco mais complicada, pois, caso haja realmente diferenças entre as duas abordagem, seria preciso ter algum benchmark para se averiguar quais delas traz resultados mais próximos. Então a questão é: qual benchmark utilizar para intenção de voto? +

Alguns sugeririam comparar com os resultados das eleições, mas como todos sabem, eu não recomendo esse tipo de comparação, do ponto de vista técnico, afinal, pesquisas pré-eleitorais retratam o momento, não são prognóstico das eleições. +

Outros pontos para se considerar aqui:
A) Como diz a matéria, essa é uma abordagem que o instituto já vem utilizando há algum tempo. Então, para fins de comparação temporal de resultados desse mesmo instituto, o uso dessas questões iniciais não trazem impacto algum. +

B) Nesse caso em particular, alguns podem apontar para um possível efeito de ordem seria de o entrevistado se sentir contrangido a responder que desaprova ou avalia mal o presidente/governo nas questões 1 e 2 para depois responder que votaria nele. +

https://x.com/demetriovec/status/2057066553003098287?s=20

Entretanto, há boas evidências empíricas na literatura de metodologia de pesquisa de que esse tipo de fenômeno é bastante reduzido em questionário de auto-preenchimento, como o instituto em questão utiliza, uma vez que o entrevistado não está interagindo com ninguém. +

C) Por fim, o formato de questionário em única página rolável que o instituto utiliza (e que não é padrão na indústria), torna essa questão do efeito de ordem um pouco mais complicado. +

Isso porque, como o entrevistado pode a qualquer momento alterar suas respostas no questionário nesse formato, mesmo perguntas posteriores a intenção de voto podem trazer um efeito. Isso também é um problema em outros tipo de questionário de auto-preenchimento, como em papel. +

Por outro lado, esse tipo de comportamento não tende a acontecer em pesquisas presenciais, telefônicas ou mesmo online, em que cada questão é apresentada em uma página diferente e o respondente não pode voltar para alterar suas respostas. +

Entretanto, se o instituto coleta os paradados ou metadados do formulário online, como mudanças nas respostas que o entrevistado dá a cada questão e marcadores de tempos das respostas, esse tipo de comportamento pode ser identificado e quantificado.
\TheEnd