Siguiendo con el tema de las encuestas de la semana pasada.
En Estados Unidos y en otros países ha crecido el escepticismo sobre la capacidad de las encuestas de opinión, especialmente las electorales, para reflejar la realidad. Esto se debe a que ahora se publican cientos de sondeos y muchos se realizan con metodologías experimentales, que todavía no logran tener una precisión aceptable.
A principio del siglo pasado, los primeros sondeos se hacían por correo, a partir de una muestra representativa de las direcciones incluidas en el servicio postal. Más adelante se vio la necesidad de hacerlas cara a cara, aunque eso incrementó los costos y requirió de mucha supervisión, para evitar que los encuestadores cumplieran su cuota rellenando los formularios ellos mismos.
En los sesentas se popularizaron las encuestas telefónicas, a partir de una muestra de los aparatos registrados en la Comisión Federal de Comunicaciones. Eran más rápidas y baratas, pero dejaban fuera a los más pobres, que no contaban con una línea propia.
En los ochenta aparecieron las llamadas automatizadas. Sus promotores aseguraban que los consultados de esta forma eran más sinceros, porque no temían que sus respuestas fueran juzgadas por un interlocutor humano. Con el tiempo, se popularizaron tanto que la gente, molesta, cuelga cuando se da cuenta que del otro lado hay una grabación.
Con la multiplicación de los celulares las cosas se complicaron porque los usuarios no cambian de número cuando migran a otro lugar y porque cada vez menos conservan una línea fija. Además, la mayoría ya no contesta a números desconocidos, por lo que la tasa de respuesta ha caído a menos del cuatro por ciento.
El internet facilitó aún más los sondeos, pero todavía no hay listas confiables de direcciones electrónicas para extraer una muestra aleatoria, en la que cada miembro de la población tenga idéntica probabilidad de ser incluido.
Los encuestadores serios han enfrentado ese desafío reclutando a los participantes desde un marco probabilístico: utilizando las direcciones postales eligen al azar una muestra específica e invitan a los seleccionados a participar. Como esto es costoso y tardado, constituyen un panel, es decir, usan esa misma muestra para hacer múltiples encuestas. Para paliar la molestia de los que colaboran, algunos ofrecen recompensas monetarias o en especie.
Falta rigor
Así como las redes sociales permiten hoy que cualquiera sea reportero, también cualquiera puede ser encuestador. Ya no hay barreras de entrada. En ambos casos, la confiabilidad de su información es dudosa.
Las encuestas no probabilísticas, de autoselección (opt-in), en las que los participantes ven un anuncio y se suscriben (como YouGov o SurveyMonkey), no pueden ser tomadas demasiado en serio.
Son sumamente económicas y, al facilitar cientos de miles de respuestas, parecen muy confiables. Sin embargo, permiten responder más de una vez e incluyen a bots o a personas ajenas a la población objetivo (como niños o extranjeros). Siempre hay grupos sub o sobrerrepresentados.
Los encuestadores tienen que desechar muchísimos cuestionarios de personas que no completan sus respuestas o contestan demasiado rápido, sin el mínimo tiempo para leer la pregunta y darle la debida atención, o que contestan todo SI o todo NO.
Por muchos ajustes que se les hagan, nunca se van a eliminar múltiples sesgos para llegar a tener una precisión aceptable.
Por ejemplo, Morning Consult hace una encuesta mundial de aprobación de líderes políticos cada semana. Siempre gana el primer ministro de la India, Narendra Modi, porque siendo su país el más poblado del planeta, hay más participantes a su favor. No es que no sea popular, pero es sabido que su gobierno promueve que sus seguidores voten cada semana.
Por eso, hay que ser muy cauto al momento de leer una encuesta. La forma en que se conduce tiene consecuencias en la calidad de los datos y en la precisión. Cada organización tiene una metodología diferente.
CNN y FoxNews hacen encuestas telefónicas, tanto con humanos como con robots. AP y Pew Research Center utilizan un panel reclutado fuera de línea. CBS News y Político trabajan con paneles de suscripción. Muchas otras ensayan nuevos enfoques, combinando muestras bien calculadas con cuestionarios en línea.
Por eso, los agregadores de encuestas (como FiveThirtyEight) la tienen tan difícil. Deben ponderar las debilidades metodológicas y los sesgos políticos de cada una, que además son cambiantes. Aún así se atreven a hacer pronósticos hasta con puntos decimales.