domingo, 12 de abril de 2020

La fiabilidad del estudio del Gobierno sobre el alcance de la pandemia Coronavirus / Covid-19

El Gobierno prevé llevar a cabo en los próximos días un estudio epidemiológico de prevalencia para conocer el alcance actual de la pandemia Covid-19. La tasa de prevalencia nos revelará el número de personas que ya han pasado la enfermedad y para ello, se llevarán a cabo un total de 62.000 pruebas test en 30.000 hogares de toda España. Algunos amigos me han preguntado si, en un país que tiene 49 millones de habitantes y 18 millones de hogares, los resultados de estas pruebas pueden ser fiables. La respuesta es que sí, y explico por qué.


La respuesta más entendible la daría diciendo que un cocinero no tiene por qué comerse toda la sopa para saber si le ha quedado buena. Le basta con probar una cucharada. Pero haré una mini-clase de investigación de mercados para los que quieran entenderlo mejor técnicamente.

Lo que va a hacer el Gobierno es un estudio de mercado cuantitativo en toda regla. Hay dos tipos de estudios de mercado: cualitativos y cuantitativos.

Estudios de Mercado CUALITATIVOS
En términos generales, los cualitativos tienen un objetivo más exploratorio, estudian hechos no observables, latentes, buscan conocer pautas de comportamiento y tendencias de un público. El análisis de la información es muy psicológico, se basa en la comprensión de los hechos (el “por qué”) y los resultados del análisis no son cuantificables ni extrapolables pero se obtiene una riqueza y una profundidad en la información que los hacen muy interesantes en algunos casos. Se trabaja con muestras reducidas que son representativas del universo objeto de estudio pero NO a nivel estadístico. Las técnicas cualitativas más conocidas son las entrevistas en profundidad, las reuniones de grupo y, ahora que tenemos Internet y redes sociales, las netnografías.

Estudios de Mercado CUANTITATIVOS
En los cuantitativos en cambio se estudian hechos observables, tienen un objetivo más descriptivo o causal, el análisis de los datos es muy estadístico y objetivo y se basa mucho en la descripción de los resultados obtenidos (qué y cuánto). La muestra que se utiliza es elevada y estadísticamente representativa, por lo que los resultados son datos sólidos, cuantificables y extrapolables al total de la población que se estudia. La técnica más conocida es la encuesta, que se realiza mediante cuestionario, pero hay otras técnicas (observación, experimentación).

Decía que el gobierno va a llevar a cabo una investigación de mercados cuantitativa en toda regla.
Será un estudio más cercano a la observación, pues va a observar los resultados de una prueba médica. Una observación que será de tipo estructurada (hay que hacerse una prueba concreta, que está muy definida), manifiesta (porque los “estudiados” saben de la prueba, no es algo encubierto), natural (porque no se recrea ningún entorno sino que se recoge la información en el medio natural en el que vive la gente), directa (se recoge la información en el momento) y participante (necesitamos que los estudiados participen, haciéndose la prueba).

Una vez aclarado el tipo de estudio, entremos en detalle a entender su fiabilidad estadística
Los resultados van a ser suficientemente significativos a nivel estadístico como para poder después extrapolarlos al total de los españoles. Eso es porque se va a usar una muestra (30.000 hogares) que a nivel estadístico es representativa del total de la población que desea estudiar (18 millones de hogares). ¿Y cómo es eso?

Hay dos maneras de calcular el tamaño de una muestra, dos fórmulas: una para cuando el UOE (universo objeto de estudio) es infinito y otra para cuando es finito. En investigación de mercados consideramos que un UOE es infinito cuando supera los 100.000 individuos, que es el caso que nos ocupa. 


Y el cálculo del error muestral y del tamaño muestral asume que las personas seguimos un comportamiento “normal”. "Normal" significa que nuestro comportamiento se asemeja al de una distribución normal de probabilidad (también conocida como Campana de Gauss).


Así, siempre habrá una gran mayoría de la población que se comportará de una forma general, alrededor de una media "X", y habrá siempre también una pequeña parte de la población que se comportará de forma extrema, bien por un lado o bien por el otro (gráficamente quedaría representada por las dos colas de la distribución). El ejemplo más fácil de entender es de las puntuaciones de los exámenes de los alumnos: hay una nota o nivel medio de la clase, alrededor del que se sitúa la gran mayoría, y luego siempre hay (pocos) comportamientos extremos (suspensos y excelentes).

En el gráfico podemos ver que si trabajamos con un nivel de confianza del 95,45% (del 95%, para simplificar), los parámetros de corte en la distribución normal (la "k" de las fórmulas anteriores) serán -2 sigma y +2 sigma.

Trabajar con un nivel de confianza del 95% se traduce como que "las conclusiones que obtengamos serán ciertas en un 95% de los casos". Y en el caso de que no lo sean (porque estamos entonces ante uno de esos comportamientos extremos de la población), el error con el que trabajaremos será de +/- (el que sea que arroje el cálculo, en porcentaje). Así, si el error fuera de +/- 3%, por ejemplo, y la conclusión ante la que estamos fuese "el 60% de la población en España ha pasado ya el virus", esa afirmación sería cierta con un 95% de probabilidad y, en el caso que no lo fuera, nos estaríamos desviando un 3% por arriba (63%) o por abajo (57%) respecto a ese dato.

Explico qué parámetros componen el cálculo de la muestra y del error muestral:
N = tamaño del UOE (universo objeto de estudio)
n = tamaño de la muestra
e = error muestral que tendrán nuestras conclusiones, fruto de no trabajar con el UOE sino con una muestra
p = probabilidad de que suceda el fenómeno que queremos estudiar
q = 1-p
k = valor del parámetro que acompaña los puntos de corte en la Campana de Gauss

Cosas que podemos ver:
  • El error muestral y el tamaño muestral son variables que van en lados opuestos: yo puedo disponer del tamaño muestral y entonces calcular el error muestral con el que trabaré. O bien me marco un error muestral con el que esté dispuesto a trabajar, y éste marcará el tamaño muestral que necesito.
  • Para el cálculo de la muestra en poblaciones infinitas, a diferencia de las finitas, el tamaño del UOE no interviene en la fórmula. Es decir, no influye: a partir de 100.000 individuos en el UOE, da igual si estamos estudiando 200.000 que 2 millones. El error muestral ya no va a aumentar mucho más. 
  • El tema de "p" y "q". En nuestro caso, "p" sería la probabilidad de que alguien esté infectado con el virus (porque es eso lo que queremos estudiar). Si la probabilidad es conocida (por ejemplo, un 30% de la población), ése sería el valor de "p". Y el de "q", sería 70%. Muchas veces, aunque se conozca el valor de "p", se prefiere trabajar en el supuesto de máxima indeterminación (p=q=50). Lo podemos leer así en la ficha de metodología de muchos estudios de mercado. La traducción entendible de eso es "asumo que no tengo ni idea de cómo se comporta la población alrededor de lo que quiero estudiar". Y se hace así, porque de esa forma nos garantizamos trabajar con un mayor tamaño muestral: si todos los demás parámetros permanecen igual, ¿cuándo es máximo el numerador de la fórmula del cálculo del tamaño muestral? ¿Cuando la multiplicación es 30x70? No. ¿Cuando es 20x80? Tampoco. Cuando es 50x50. Así, al ser mayor el numerador, también será mayor el resultado de la división (el tamaño muestral) y eso nos garantiza más muestra. ¿Para qué? Pues porque en el momento que queramos sacar conclusiones segmentadas, en las que el UOE es menor (por ejemplo, resultados por Comunidades Autónomas), hay que volver a calcular y, obviamente, el error será mayor. Y si el error es mayor y se sitúa en según qué niveles, ya no será tan fiable la conclusión (en este caso, las conclusiones sobre la prueba). Por eso, para los parámetros con los que nos toque trabajar, siempre cuanta más muestra mejor: para garantizar mayor muestra cuando nos toque segmentar.

¿Cuál es el tamaño de la muestra aconsejable? Siempre digo que la respuesta a esta pregunta es "depende del objetivo de tu investigación". ¿Tu quieres conclusiones fiables a nivel general de toda España? ¿O vas a querer después sacar conclusiones por segmentos (de edad, de sexo, de zona de residencia)? Aquel nivel al que se quiera llegar en la obtención de conclusiones fiables, es el que debe marcar el tamaño de la muestra.

¿Con qué nivel de error muestral debemos trabajar? Aquí cada investigador tiene su criterio. A mí personalmente no me gusta aceptar conclusiones con un error mayor de +/-5%, siendo el ideal entre un +/-2% y un +/-3,5%. Todo lo que supere esos márgenes para mí es algo que nos podemos tomar a nivel tendencial, pero no extrapolable.

Hay calculadoras en Internet que permiten calcular la muestra necesaria para trabajar con un determinado nivel de error y viceversa: qué error supone el hecho de trabajar con un determinado tamaño muestral. Os podéis entretener con el cálculo si os apetece.

Así pues, en este caso, podemos trabajar con el UOE de población en España (49 millones, y 62.000 pruebas test), o bien con el UOE de hogares (18 millones) y 30.000 test en hogares. Para un nivel de confianza del 95% y bajo el supuesto de máxima indeterminación (p=q=50), en el primer caso, el error muestral para el total de la población es +/- 0,4% y en el segundo caso, +/-0,6%. Prácticamente son márgenes de error muy iguales y es un error muestral muy bueno, así que el test será muy fiable pero ¡ojo!, a nivel total España (luego faltaría ver cuál es ese error por CCAAs, por ejemplo, en función de cómo se reparta la muestra por zonas).

***
***
Mis posts más recientes: