Cuántas entrevistas son suficientes

Días atrás mi hermano mayor me preguntó si una encuesta de solo 400 personas era suficiente para iniciar un debate en un programa de opinión. El número que él tenía en mente era 1200, que es la cantidad de entrevistas que ves en muchas publicaciones.

Durante una presentación, un potencial cliente de Telencuestas me hizo una pregunta similar: ¿cuál es la cantidad recomendada de entrevistas? Mi respuesta fue una palabra que utilizo cada vez más a menudo para contestar preguntas: depende.

El margen de error es el número que utilizamos para decidir cuántas entrevistas son suficientes, asumiendo que la muestra representa adecuadamente a la población. Pero no podemos seleccionar un margen de error "X" como el más adecuado y utilizarlo en todos los estudios sin tomar en consideración el contexto.

El margen de error que necesites dependerá, en primer lugar, de cuál es el propósito del estudio que estés haciendo, y en segundo lugar, de cuáles sean los resultados. Es importante primero revisar los parámetros con que se calcula el margen de error y entender qué significa cada uno de ellos. Estos parámetros son: el tamaño del universo o población total, el nivel de confianza y la probabilidad de éxito/fracaso.

No convertiré este artículo en una disertación sobre fórmulas estadísticas. Solo calcularé algunos tamaños de muestras y márgenes de error, y los compararé para mostrarte cómo varían cuando modificas los tres parámetros que mencioné arriba.

• El tamaño del universo
• El nivel de confianza
• La probabilidad de éxito/fracaso
• ¿Cuántas entrevistas son suficientes?

El tamaño del universo

El tamaño del universo se refiere a cuántas personas hay en la población que estás estudiando. Este parámetro solo afecta el margen de error de manera significativa cuando hablamos de poblaciones pequeñas, de unos pocos cientos o miles de personas. Cuando el tamaño del universo es grande, de decenas o cientos de miles, el margen de error varía muy poco.

Por ejemplo, digamos que en una comunidad de mil habitantes (población total) completas 400 entrevistas (tamaño de la muestra), con la calculadora obtendrás que el margen de error es 3.80%; deja el nivel de confianza en 95% y la probabilidad de éxito/fracaso en 50%, más adelante hablaremos de estos parámetros.

Pero si se tratase de una ciudad de un millón de habitantes el margen de error para las mismas 400 entrevistas sería 4.90%. Observa los márgenes de error para las distintas poblaciones que se muestran en la siguiente tabla.

Desde los 200 mil hasta el millón de habitantes vemos el mismo 4.90%, y ya no variará si seguimos aumentando la población. De hecho, entre 10 mil y 1 millón de personas, el margen de error solo pasó de 4.80% a 4.90%, una diferencia despreciable.

El tamaño del universo solo es relevante cuando hablamos de poblaciones muy pequeñas. Se hace obvio que, si conocemos la opinión de 400 personas de un grupo de mil, tendremos una idea más precisa de lo que piensa la mayoría que si se tratase de una ciudad de 1 millón de habitantes, y por ende nuestro margen de error será menor.

Cuando hacemos estudios electorales, que es el mayor uso de las encuestas telefónicas automáticas, por lo general hablamos de poblaciones de varias decenas de miles de personas, por lo que el tamaño del universo se vuelve irrelevante. Por este motivo en las calculadoras de tamaño de muestra y de margen de error verás esta nota acerca de la población total: déjala en blanco si no la conoces.

El nivel de confianza

El nivel de confianza indica con qué certeza puedes decir que la realidad esté dentro del intervalo que arrojó tu encuesta. Este valor lo verás en muchos estudios como 1-alfa igual a 90%, 95%, o 99%. El más utilizado es 95%.

Hagamos un ejercicio para entenderlo mejor. Utilizando la calculadora obtén el tamaño de la muestra necesario para alcanzar un margen de error de 4%, dejando el universo en blanco, el nivel de confianza en 95%, y la probabilidad de éxito/fracaso en 50%; el resultado es 600 entrevistas.

Esto significa que si haces una encuesta de 600 entrevistas y los resultados indican que el candidato "X" recibiría el 45% de los votos con un margen de error de ±4%, en realidad estás indicando que los votos estimados que recibiría el candidato estarían entre 41% (45%-4%) y 49% (45%+4%). Este 4% de margen de error lo obtuviste con un nivel de confianza de 95%, es decir, con una certeza de 95%, o visto de otra forma, con un 5% de posibilidades de que la realidad esté fuera del intervalo que arrojó tu estudio (de 41% a 49%).

Ahora cambia el nivel de confianza a 99% y verás que necesitarías 1,037 entrevistas para alcanzar el mismo 4% de error. Es decir, necesitarías 437 entrevistas adicionales para tener una certeza del 99%, y poder decir que solo hay 1% de posibilidades de que la realidad esté fuera del intervalo de tus resultados (de 41% a 49%).

La probabilidad de éxito/fracaso

La probabilidad de éxito/fracaso es un valor aproximado de lo que estás midiendo, y que conoces antes de hacer el estudio. Si tienes una idea de cuál es el valor esperado puedes obtener un mismo margen de error con menos entrevistas.

Por ejemplo, digamos que estás haciendo un estudio para determinar qué porcentaje de una población de millones de habitantes votará en las próximas elecciones, y los datos de las elecciones pasadas indican que este valor está alrededor del 70%. Si utilizas la calculadora para obtener el tamaño de la muestra necesario para alcanzar un margen de error de 3% con una probabilidad de éxito/fracaso de 70% (dejando el universo en blanco y el nivel de confianza en 95%), obtendrás que necesitarías 896 entrevistas.

Si no quieres aventurarte a decir cuál es el valor esperado o no tienes información previa, debes utilizar una probabilidad de éxito/fracaso de 50%, que habrás visto en varios informes como p = q = 0.5. Cuando utilizas una probabilidad de éxito/fracaso de 50% obtienes el tamaño de la muestra más grande necesaria para alcanzar el margen de error que deseas. Siguiendo el ejemplo anterior, con una probabilidad de éxito/fracaso de 50% necesitarías 1,067 entrevistas para llegar al mismo 3% de error.

Casi siempre verás en las fichas técnicas de las encuestas la frase “siendo p = q = 0.5”, lo que simplemente quiere decir “utilizamos la muestra más grande necesaria para obtener el margen de error que aquí indicamos”. Rara vez utilizarás una probabilidad de éxito/fracaso distinta al 50%.

¿Cuántas entrevistas son suficientes?

Como indiqué al principio, la cantidad de entrevistas que necesites dependerá del propósito de tu estudio y de cuáles sean los resultados.

Hablo del propósito del estudio porque si lo que necesitas es la opinión del público en cuanto a un tema para discutir en un programa de televisión, 400 entrevistas pueden ser suficientes, con ellas tienes un 5% de margen de error, 4.9% para ser exactos. Se trata de tener información para iniciar una discusión acerca de un tema en un programa, nadie tomará una decisión final en base a estos números.

También es importante considerar los resultados del estudio porque si el 70% de las personas tiene una posición en cuanto al tema en discusión, obtener 1,200 entrevistas para alcanzar un margen de error menor al 3% sería un completo desperdicio de tiempo y dinero.

Sin embargo, cuando estás haciendo un estudio para obtener información que se utilizará para tomar decisiones, puedes requerir un margen de error más pequeño. Por ejemplo, imagina que durante una campaña política los dos primeros candidatos marcan 45% y 40% en la preferencia de los votantes, en una encuesta de 384 entrevistas, y por ende con un margen de error de ±5%. Los intervalos de estos resultados serían los siguientes.

Estos intervalos se traslapan, y mucho. En este caso es necesario buscar más entrevistas para alcanzar un margen de error menor, y en el ejercicio encontraremos los números que nos acerquen más a la verdad.

Pero si en otra encuesta de 600 entrevistas con un margen de error de ±4%, encuentras que el candidato que lidera la intención de voto obtiene el 50% y el que va segundo marca 24%, es claro que reducir el margen de error no incidiría en el resultado final. Estos serían los intervalos para este ejemplo.

Otro punto importante es que aquí hablamos de encuestas aisladas, pero durante las campañas políticas se realiza la misma encuesta periodicamente, o un tracking poll. Los resultados de estas encuestas de seguimiento agregan la variable tiempo al estudio y permiten observar tendencias. Esta información adicional ayuda a tomar mejores decisiones, aún cuando se trate de solo 400 entrevistas.