1. Qué pasó en 1936: millones de respuestas y un ganador equivocado
En Estados Unidos, el presidente se elige cada cuatro años. En 1936 compitieron Franklin Roosevelt, que ya era presidente, y el republicano Alf Landon. Pocos días antes de la votación, Literary Digest, una revista semanal que antes había acertado varias elecciones, publicó su pronóstico: Landon obtendría el 54 % de los votos y Roosevelt solo el 41 % [1].
La revista había enviado cerca de 10 millones de postales con una «papeleta» de prueba y recibió casi 2,4 millones de vuelta: una respuesta de más o menos 24 de cada 100 [1]. Pero en las elecciones de verdad, Roosevelt obtuvo el 61 % [1]. El error fue enorme y la revista dejó de publicarse unos dos años después [1].
2. La respuesta corta: no importa solo cuántos contestan, sino a quién se pregunta y quién responde
Aquí está la idea central del artículo, y el resto sirve para verla de cerca. Una encuesta funciona cuando las personas preguntadas se parecen al grupo que se quiere conocer, como una miniatura: si el país tiene jóvenes y mayores, ciudades y pueblos, la muestra también debe incluirlos. Una cantidad enorme de respuestas no arregla una muestra torcida, porque el error se repite en cada respuesta y la suma no lo borra. En cambio, una muestra mucho más pequeña, elegida con cuidado, puede acercarse bastante al país entero.
Los encuestadores que aparecieron en esos años, como George Gallup, usaron métodos de muestreo nuevos para armar esa miniatura. Con ellos predijeron mejor el resultado de 1936 que la revista, y esa comparación ayudó a que su forma de trabajar se impusiera [1]. Queda una pregunta: ¿qué falló exactamente en la encuesta de la revista?
3. Por qué falló la revista: ¿la lista de direcciones o las personas que no contestaron?
La explicación que se repitió durante décadas es la de la lista. La revista sacó la mayor parte de sus direcciones de guías telefónicas y registros de automóviles [1]. En plena crisis económica de los años treinta, tener teléfono o automóvil era más común entre las personas con más dinero, y se decía que esas personas votaban por el candidato republicano. Entonces la muestra estaba inclinada desde el principio.
Investigaciones posteriores matizan esa historia. Una encuesta de Gallup de 1937 mostró que muchas personas con teléfono y automóvil habían apoyado a Roosevelt. Según la revisión de Dominic Lusinchi, la causa principal fue que contestaron sobre todo los partidarios de Landon, mientras que la mayoría de los de Roosevelt no devolvió la postal; a eso se le llama sesgo de no respuesta [1]. Otro estudio, de Sharon Lohr y Michael Brick, encontró que si la revista hubiera usado lo que sus propias postales preguntaban sobre el voto de 1932 para dar más peso a los grupos poco representados, habría pronosticado a Roosevelt como ganador; aun así, el error de las cifras seguiría siendo muy grande [2].
Los estudios no dicen exactamente lo mismo sobre cuánto pesó cada causa. Lo que sí comparten es lo importante: la lista de direcciones y quién decide contestar pueden torcer una encuesta, y millones de respuestas no lo remedian. Veamos cómo se evita eso hoy.
4. Cómo elige una encuesta actual a quién preguntar: el ejemplo de la EPA de España
La Encuesta de Población Activa (EPA) es una encuesta trimestral del Instituto Nacional de Estadística (INE) de España sobre quién trabaja, quién busca empleo y quién no. Se hace desde 1964 [3]. No pregunta a quien se ofrece ni a quien tiene más cerca: usa un muestreo «bietápico estratificado», que en la práctica funciona así [4]:
- Primera etapa: el país está dividido en pequeñas áreas llamadas secciones censales. Se eligen muchas, agrupándolas antes por características parecidas (los estratos), para que ningún tipo de zona quede fuera por casualidad.
- Segunda etapa: dentro de cada sección elegida se seleccionan viviendas familiares, y se pregunta a todas las personas que viven en ellas.
En el segundo trimestre de 2002, según el INE, eran 3 484 secciones y unas 18 viviendas por sección, es decir, unas 65 000 viviendas por trimestre [4]. Esa cifra es de 2002; el tamaño actual hay que consultarlo en la metodología vigente del INE. La primera entrevista es en persona y las siguientes, por lo general, por teléfono; las personas de cada vivienda seleccionada participan seis trimestres seguidos antes de ser sustituidas por las de otra vivienda de la misma sección [4].
La idea de fondo coincide con la lección de 1936: la lista inicial no se forma por comodidad ni por quién quiere responder, sino mediante un método de selección. Aun así, quien no contesta sigue siendo un problema (lo veremos al final). Falta saber cuánto se equivoca una muestra así, aun bien elegida.
5. Cuánto se equivoca una muestra bien elegida: más gente ayuda, pero cada vez menos
Aunque la muestra esté bien elegida, el azar deja una pequeña diferencia con la realidad: si repites la encuesta con otras personas, el resultado cambia un poco. Los encuestadores la resumen en el margen de error. El Pew Research Center, un centro de encuestas de Estados Unidos, lo explica así: un margen de más o menos 3 puntos con un 95 % de confianza significa que, si se repitiera la misma encuesta 100 veces, en unas 95 el resultado quedaría a menos de 3 puntos del valor real [5].
Ese margen no baja en proporción directa al número de personas. Con una fórmula sencilla, válida para una muestra tomada totalmente al azar (un cálculo de este artículo, no un dato de las fuentes), para una pregunta en la que la mitad de la gente responde «sí», el margen con 1 000 personas es de unos ±3,1 puntos y con 4 000 es de unos ±1,5. Es decir: cuadruplicar las personas reduce el margen a la mitad, no a la cuarta parte. Por eso es difícil que una encuesta pase de «bastante buena» a «casi perfecta» solo sumando gente.
Todo eso supone que las personas se eligieron bien y contestan sin sesgo. Es el punto donde falló la revista, y es lo que el margen de error no mide.
6. Qué errores no se arreglan con más gente
El margen de error cubre solo el azar. Otros errores, como una pregunta que se entiende mal, personas que no contestan o una lista incompleta, no se reducen por preguntar a más personas. Lohr y Brick lo resumen al comentar su estudio de 1936: aun después de corregir con pesos, el sesgo seguía siendo muy grande, y esto importa para las encuestas actuales con pocas respuestas [2].
La EPA lo sabe: en las tablas de su módulo de 2002, solo el 92 % de la muestra original fue entrevistada; el resto no respondió, no estaba o no se pudo localizar [4]. Las encuestas bien documentadas indican cuántas personas no respondieron y describen cómo se eligió la muestra. Mirar esos detalles es la mejor forma de saber cuánto confiar en un número.
7. Cómo comprobar tú mismo si una encuesta merece confianza
La próxima vez que veas una encuesta en las noticias, busca cuántas personas contestaron, cómo se eligió a esas personas (¿al azar, o se ofrecieron voluntarias en internet?) y si se informa un margen de error. Ese margen solo se puede interpretar si el método de selección lo permite. Si una encuesta no dice cómo eligió a la gente, su número vale menos de lo que parece. También puedes mirar en una página oficial, como la del INE, cómo describe su metodología. Y si haces una encuesta en tu clase, piensa quién se quedó sin responder: en 1936, ahí estaba el problema.