Apuntes de Estadística

Este documento hará parte de un modulo que el Departamento Nacional de Planeación editará en los próximos meses y para el cual fui muy amablemente invitado a participar. Aunque traté de plasmar los criterios más importantes, puede que algunos tópicos los haya pasado por alto, o incluso que existan errores en la escritura o la notación. Por tanto, si a usted le gusta el muestreo o siente atracción por las políticas públicas, este documento puede ser de gran utilidad para usted. De paso, si encuentra algún error, o cree que la cobertura de tópicos es insuficiente, le agradecería que lo mencionara y me lo hiciera saber para incluirlo en el documento. Se trata de una publicación que será de divulgación gratuita y que francamente pienso que nos beneficiará a todos nosotros. La verdad es que no hay mucha literatura, menos en español, mucho menos gratis, que combine el tema del muestreo y de las políticas públicas. Este modulo se lo dedico a todos los lectores, visitantes y comentaristas de este blog que representa un gran esfuerzo y una gran satisfacción.

Sobre los Nule, las chocolatinas con vidrios, Agro Ingreso Seguro y el muestreo

Dec 10th

Posted in Muestreo

Andrés Gutiérrez - El papel del estadísico en las evaluaciones de políticas públicas - Conferencia Fundación Universitaria Los Libertadores

Respete sus datos, siempre y cuando lo merezcan

Dec 10th

Posted in Modelos

Hace poco tuve la oportunidad de realizar una asesoría a una entidad privada que tenía sendos dilemas acerca de una metodología estadística que debían emplear para establecer un indicador. Sin entrar en mucho detalle, les comento que la cuestión se trataba básicamente de si eliminar o no un conjunto de observaciones influyentes. Este indicador no era otra cosa que una medida de tendencia central. Como cualquiera de nosotros puede pensar, la primera opción es el cálculo del promedio. Pero, como hay observaciones influyentes entonces se pensaba también en una mediana, o incluso en la eliminación de estas observaciones para el cálculo de un pseudo-promedio.

No es un problema de fácil solución y prueba de ello son los miles de miles de publicaciones teóricas que se circunscriben en el tema de las observaciones influyentes. Sin embargo mi opinión técnica sobre el tema es la siguiente: respeta sus datos, siempre y cuando lo merezcan. Esto quiere decir que si, efectivamente, después de un proceso de verificación de la información y después de establecer que el valor que se dice influyente es una medición real de un individuo de la población, entonces el proceso que se debería seguir en el cálculo de los indicadores de interés está supeditado al simple cálculo. En pocas palabras, si sus datos son confiables, pues entonces no los modifique, ni los mire. La realidad es que en muchas ocasiones sí hay datos influyentes para estas medidas de tendencia central y eso está bien. Si los datos se eliminaran, entonces estaríamos circunscritos a una gran manipulación de la población original. Y lo anterior tiene consecuencias funestas en el análisis de la información.

En algunas ocasiones, el análisis de datos influyentes se realiza para que el modelo ajuste mejor y para obtener mejores indicadores. Es común encontrar procesos de ajuste de modelos en vez de procesos transparentes de análisis de información. Esta es una grave falta y tal vez ha nacido desde las aulas de clase puesto que poca atención se le presta a los datos y se hace mucho hincapié en las medidas de ajuste del modelo. Tendemos a calificar mejor a aquellos modelos que arrojan un coeficiente de correlación o determinación muy alto. Pero en la vida real, no podemos ser influidos por este tipo de pensamiento, puesto que si quisiéramos ajustar un modelo con un buen R2, entonces simplemente afirmamos que la mayoría de datos son influyentes y quedarnos sólo con dos datos. Le aseguro que al ajustar un modelo de regresión con dos datos, el R2 va a ser muy muy alto.

Y usted ¿qué está haciendo en su trabajo?, ¿ajustando modelos? o ¿analizando la realidad de sus datos?

Mi artículo de encuestas en políticas públicas

Dec 7th

Posted in Colombia

El número 18 del Boletín Política Pública Hoy incluye un artículo acerca de los criterios que se deben utilizar cuando se planea hacer una encuesta probabilística en evaluciones de políticas públicas. Mediante ejemplos reales, y desde un punto de vista subjetivo y personal, introduzco cada una de las caracterizaciones más importantes que el estadístico y su equipo deben tener en cuenta al momento de planear una encuesta en este contexto.

Sin ninguna, fórmula matemática y con mucha carreta para que genere una mayor comprensión, este artículo coadyuvará en la estandarización de las buenas prácticas que se deben generar desde nuestro gremio. El artículo lo pueden descargar acá.

Regalo de navidad para los apasionados del muestreo

Dec 6th

Posted in Bayesiano

Llegó diciembre con su alegría y yo les tengo dos compendios de libre acceso que le resultarán fascinantes a todos aquellos que quieren aprender más de muestreo y que, sobre todo, no entienden por qué algunos dicen que el muestreo es una técnica rara que poco o nada tiene que ver con el desarrollo de la ciencia estadística y los modelos. Pues nada más falso, el muestreo esta circunscrito dentro de la ciencia estadística y tiene como base a, nada más y nada menos, la probabilidad.

El primer regalo es un compendio, que lo pueden encontrar gratis en el repositorio ArXiV, y es una publicación del Instituto Internacional de Estadística, llamada métodos bayesianos que los frecuentistas deberían conocer. Este compendio tiene temas tan interesantes como calibración bayesiana, distribuciones previas objetivas, métodos bayesianos en polítcas públicas, muestreo desde una perspectiva bayesiana, y el impacto de las técnicas bayesianas en el diseño y análisis de encuestas.
El segundo regalo es otro compendio, que lo pueden encontrar gratis en la página del Pakistan Journal of Statistics, con sendas discusiones acerca de la contribución de Ken Brewer al muestreo. Ken Brewer es reconocido por tratar de unificar los modelos estadísticos con las técnicas de estimación estándares en muestreo, a través de sus llamados estimadores cosméticos.

Vale la pena que los imprima y los lea. Feliz navidad y un saludo desde Colombia.

My talk in Juiz de Fora

Nov 26th

Posted in Muestreo

¿Qué hacer cuando se necesitan estimar cambios netos o gross flows (como por ejmeplo los cambios en el empleo/desempleo) en encuestas complejas tipo panel o panel rotativo y existe ausencia de respuesta no ignorable? Haciendo clic acá encontrará una metodología que establece el modelamiento conjunto de la ausencia de respuesta y la clasificación en dos periodos teniendo en cuenta los pesos del diseño muestral.

Pensamientos de un auditor en muestreo

Nov 24th

Posted in Muestreo

Lo cierto es que tengo la convicción de que un auditor en muestreo en un país de América Latina realizaría un trabajo arduo, que no sería nada fácil. La idiosincrasia del gremio no lo hace fácil. Desafortunadamente hay muy pocos muestristas en nuestro país y, en realidad, hay muy pocas firmas licitando. Para nadie es un secreto que habrá más calidad si la competencia es mayor. Y más allá de las calificaciones, los conceptos y los comentarios técnicos, el trabajo se trata de asegurar la calidad en un contexto en donde ésta no es producida por la interacción entre las firmas.

Lo anterior es muy bueno, tanto desde el punto de vista de las directivas del gobierno, como desde el punto de vista de las firmas. Para el GOBIERNO se trata de certificar que las firmas efectivamente hacen lo que proponen y esto se traduce en una vigilancia permanente que redunda en que los procesos de licitación y ejecución, en materia de muestreo efectivamente se cumplen con eficacia. En términos de estadísticas públicas, es indispensable que exista una contraparte que garantice que las cifras estimadas efectivamente son confiables. Y no estoy queriendo decir que las firmas tratan de engañarnos, ni mucho menos. Pero, definitivamente al existir esa revisoría, la calidad va a aumentar, como efectivamente lo estamos viendo. Por otro lado, para las firmas también es muy bueno, puesto que cuentan prácticamente con un asesor experto que hace las veces de un coach. De esta forma, al existir esta interacción saludable entre las firmas y el gobierno, por medio de un experto en muestreo, hay un enriquecimiento claro en términos de la calidad de la evaluación y de sus cifras resultantes.

De alguna manera cuando surgen comentarios como este <<Hay que planear muy bien el diseño, porque están molestando en la calificación>> esto se traduce en calidad garantizada desde la propuesta. Y me parece que ese tipo de comentarios enriquecen sobremanera nuestro trabajo. Si la firma planea seriamente su trabajo desde la etapa de diseño, es una garantía de que las cifras resultantes serán efectivamente confiables. Por otro lado, que exista ese rumor de que la calidad está siendo medida y valorada en el gobierno es muy importante porque envía un mensaje inequívoco.

Para un estadístico no es una tarea fácil hacer caer en cuenta a un colega de las posibles falencias en el diseño metodológico de la evaluación. Sin embargo, la mayoría de las veces hay un ambiente receptivo y muy amable. Aunque también, en contadas ocasiones habrá ambientes no tan cordiales porque algunos expertos tomarán los comentarios a título personal. Pero, ese es el día a día de las evaluaciones y seguramente que usted no tendrá ninguna dificultad en superar esos pocos impases. En los conceptos, el estadístico debrería preocuparse por ponerse en el lugar del muestrista de la firma consultora (no es nada fácil hacer un muestreo) y tratar siempre de encontrarle el sentido de la contraparte. La primera instancia de la relación con una firma son los conceptos que siempre deben estar sustentados desde el punto de vista técnico. Para su redacción, es posible preguntase cómo lo hubiera hecho yo y también como lo están haciendo ellos. Así que, de esa manera, no habrá sesgo hacia ninguna de las partes. Pienso que los conceptos con argumentos técnicos deberían ser tan diáfanos como los derechos humanos, no tienen discusión… Hasta el momento, ninguna firma ha refutado mis conceptos y más bien las recomendaciones que se dan allí han sido acogidas rápidamente. Algo parecido sucede con las calificaciones a las propuestas. Se deben sustentar bastante bien porqué la firma recibe o no recibe una calificación y un indicador de esto es que deberá haber pocos reclamos de las firmas.

Concerniente a este tema, la colaboración intra-gobierno es fundamental. Debe haber un alineamiento completo entre el muestrista asesor y los responsables de la evaluación desde el principio para planear la estructuración de los estudios previos, los puntajes óptimos y sobretodo los criterios de evaluación. Por ejemplo, para un tamaño de muestra: los criterios no son los mismos en una evaluación de resultados que en una evaluación de impacto. En la evaluación de resultados, se busca un tamaño de muestra óptimo que minimice un error para parámetros simples como proporciones. Pero en la evaluación de resultados, se debe buscar un tamaño de muestra óptimo para diferencias entre proporciones; lo cual hace que se necesite un tamaño de muestra mayor. Todo esto debe ser especificado con cuidado en los estudios previos de cualquier evaluación. En esta parte, quisiera ser un poco más enfático en que la planeación de los criterios de calificación de las muestras para todas las evaluaciones sea un trabajo en equipo y que no se trate de copy-paste a criterios de otras evaluaciones.

Es muy interesante y pertinente la documentación de los procesos. Este debe ser un apartado fundamental y esencial para el muestrista, para las firmas y para el usuario final de las cifras. Entonces, dado que el día a día del gobierno son las estadísticas oficiales deberá existir un proceso de documentación continuo y por siempre. Es algo tan sencillo como esto: el <<deff>>, el efecto de diseño, que es una cifra que está implicada la mayoría de las veces en el cálculo del tamaño de muestra. Es increíble que haya que buscar tan a fondo para obtener esta cifra, porque se supone que para cada encuesta debe ser calculada. Por ejemplo, para realizar algún concepto preliminar sobre cuántas encuestas se necesitarían para obtener representatividad en un encuesta, se necesita esa cifra para realizar un cálculo aproximado y puede ser que en la documentación no se informe del efecto de diseño. Bueno, cosas como esas no deberían suceder, pero la gestión del auditor en muestreo asegura que, como todo debe estar documentado, jamás tengamos que preocuparnos por conseguir cifras que deberían estar a nuestro alcance, o metodologías que deberían estar disponibles para cualquiera.

Por otra parte, permítame hacer una comparación un poco ridícula para poner en contexto la importancia que tiene que un muestrista haga parte del equipo de evaluación de gobierno. Suponga usted que una encuesta tienen un costo de sesenta millones de pesos (treinta mil dólares). Con esa plata es posible comprarse un carro. Con esa plata es posible alimentar a muchos niños con hambre. Es posible hacer muchas cosas, pero nosotros decidimos hacer encuestas para verificar los resultados de una política pública. La comparación la voy a hacer en términos de posventa. Si el carro falla, yo voy al concesionario y me lo tienen que arreglar por garantía. En términos de lo niños, la garantía es la satisfacción de que ya no tienen hambre. Y si se fija, en este tipo de contexto de las encuestas, en donde los bienes son intangibles, pues se trata de cifras y resultados de indicadores, no existe ningún tipo de garantía, mucho menos si no hay alguien que revise la información metodológica de la encuesta. El quid del asunto es que debería existir una garantía. Más aún, la asesoría del muestrista consiste en ser garante de que los estudios sean representativos. Note que, desafortunadamente, si la muestra no es representativa, no existe ningún tipo de análisis estadístico o econométrico que permita corregir el sesgo causado por la mala praxis que se puede llegar a cometer. Obviamente, las implicaciones de lo anterior van mucho más allá de los sesenta millones, puesto que, con base en las cifras de la encuesta, el gobierno puede decidir si mantiene o no mantiene una intervención. Por lo tanto, si la muestra es mala y no es representativa de la población estamos bajo tres posibles escenarios: el primero, que por casualidad la encuesta arroje los resultados verdaderos; el segundo, que la encuesta arroje resultados malos, siendo que la intervención es buena; el tercero, que la encuesta arroje resultados buenos, siendo que la intervención es mala. De esta forma, bajo el segundo escenario, la afectación la llevan las personas que dejan de recibir la intervención, bajo el último escenario, la afectación la llevan los contribuyentes que financiamos una intervención que no sirve. Siendo así ¿por qué le vamos a dejar al azar esa responsabilidad?… ¡mejor me gasto la plata en el carro!

Fuera de chistes, existe una gran responsabilidad sobre las firmas, que no están ajenas a equivocarse, y sobre el gobierno, que debe garantizar una especie de interventoría diáfana, porque en nuestro contexto es muy grave que cualquiera de las dos situaciones se dé o que las dos se den al tiempo. Es decir, que las firmas se equivoquen, que el gobierno no controle o que las firmas se equivoquen y al gobierno se le pase revisar. Para el futuro inmediato recomiendo fuertemente las agencias del gobierno sigan disponiendo de expertos en muestreo y estadística que intervengan cuando sea necesario y que sigan realizando esta labor.

Finalmente, algunos de las labores anexas del auditor deberán también estar enfocadas en:

1. Establecer una guía de criterios óptimos para la redacción de los estudios previos en los distintos tipos de evaluaciones.

2. Brindar asesoramiento y acompañamiento al equipo y a las firmas.

3. Establecer documentos y guías metodológicas documentadas para la calificación de las propuestas.

4. Crear criterios de estimación de modelos econométricos que tengan en cuenta los pesos del muestreo.

Si las elecciones fueran hoy… Parody no gana

Oct 19th

Posted in Bayesiano

Claro, suponiendo mil cosas que no necesariamente se cumplen. Según este artículo, la intención de voto para la alcaldía de Bogotá está repartida de la siguiente manera: <<Petro, del movimiento independiente Progresistas, se ubicó con 24% en el primer lugar de las preferencias de los electores, según un muestreo realizado por la firma Gallup Colombia. Peñalosa, que se postula por el Partido Verde y el Partido Social de Unidad Nacional (Partido de La U), se situó segundo con 21%, de acuerdo con el sondeo divulgado por el diario El Espectador. En el tercer lugar se ubicó la ex senadora Gina Parody, con 18%.>>

Si asumimos una distribución previa no informativa (Dirichlett con parámetros constantes e iguales y cercanos a la unidad), se tienen las siguientes estimaciones posteriores, en las cuales no involucré a los restantes candidatos porque no tuve tiempo de buscar la información.

Candidato	Estimación	Límite inferior	Límite superior
Parody	29%	24%	33%
Peñalosa	33%	28%	38%
Petro	38%	33%	43%

La anterior tabla da un resumen de la distribución posterior de la intención de voto para los anteriores candidatos. De alguna forma u otra, observando con detenimiento los límites de credibilidad, es posible concluir que… cualquier cosa podría pasar. Sin embargo, es claro que la menor opción la tiene Gina Parody. La siguiente figura da cuenta de la distribución posterior para cada candidato y es posible observar que efectivamente hay un empate técnico puesto que hay traslape entre las densidades poblacionales.

Bajo este escenario, la probabilidad posterior de que Gina Parody le gane a Peñalosa es de tan solo 0.126. La probabilidad posterior de que Parody le gane a Petro es aún más baja, 0.011. Por último la probabilidad posterior de que Peñalosa le gane a Petro es de 0.1286.

Por otro lado, acudiendo a la encuesta de Datexco y suponiendo que no se inventaron la mitad de las encuestas (no lo digo yo, lo dicen las denuncias suscitadas acá). Entonces, es posible utilizar esta información para crear un escenario más preciso incluyéndola a manera de información previa informativa. Puesto que, si observó bien en la tabla de estimaciones, existe mucha variabilidad en la distribución posterior y eso explica por qué los intervalos de credibilidad son tan anchos. La información de la encuesta de Datexco dice así: << En tanto, otra encuesta de la firma Datexco también divulgada el viernes y contratada por el diario El Tiempo, ubicó primero a Peñalosa, con 20,9%; segundo a Petro, con 16,4%, y tercera a Parody, con 14,1%. >>

Si asumimos una distribución previa informativa (Dirichlett con parámetros desiguales y relacionados con la intención de voto en la encuesta de Datexco), se tienen las siguientes estimaciones posteriores:

Candidato	Estimación	Límite inferior	Límite superior
Parody	28%	24%	31%
Peñalosa	37%	33%	40%
Petro	35%	31%	38%

Este escenario es un poco más claro, con menos variabilidad, puesto que la distribución posterior ha recogido los efectos de la distribución previa. Sin emabargo, aunque es má claro estadísticamente, no lo es políticamente. Bueno, dependiendo de la filiación política de cada quién. Por lo menos, a mí me parece un mal escenario. Puesto que yo voy a votar por … En fin, esto sea como sea, el siguiente gráfico muestra un panorámica más clara de la intención de voto posterior.

También es posible calcular la probabilidad posterior de que Parody le gane a Peñalosa, ese valor es de 0.00104. Muy pequeño. La probabilidad posterior de que Parody venza a Petro es de 0.00784. Y la probabilidad posterior de que Peñalosa obtenga una victoria sobre Petro es de 0.72. Bueno, como dicen por ahí, la verdadera encuesta es el día de las elecciones. Bla, bla, bla… Por supuesto, si salen más encuestas, haré más predicciones chimbas. No con el fin de predecir nada, sino con el de realizar un análisis de sensibilidad sobre las propuestas en las distribuciones previas. Estén sintonizados con el blog ese día de las elecciones. Con cada reporte de la registraduría estaré realizando una nueva estimación. Esto con el fin de cotejar el poder del enfoque bayesiano que permitiría proclamar al ganador con antelación al conteo total.

Por otro lado, quisiera saber cuál es la técnica súper avanzada para afirmar que hay un empate técnico. Dicen los gerentes de las encuestadoras que hay un empate técnico entre Peñalosa y Petro. Esta conclusión la realizan al sumar y restar el error de muestreo a las estimaciones puntuales. Pero bueno, desde mi humilde punto de vista, creo que falta multiplicar el error estándar (si es que es el error del que se está hablando) por un percentil relacionado con una distribución que dé cuenta del modelo probabilístico detrás del cálculo. Ahora, ese error de muestreo ¿qué es? ¿Cómo es posible hablar de error de muestreo cuando no hay ningún muestreo por detrás? Yo conozco las respuestas a esas preguntas, pero no creo que los gerentes de esas firmas lo sepan y por tanto el engañador ignorante engaña al más ignorante. Podemos estar haciendo negocios sucios… En fin, para no dejarlos preocupados, sí es posible hablar de error incluso cuando no hay ningún muestreo probabilístico. ¿Los dejé peor de asustados?

Por último… 1) Piense su voto… no se deje influenciar por propuestas populistas que ya mucho daño le hicieron a la ciudad. 2) Ayude a pensar en cómo hacemos para enseñarles a los ignorantes colombianos, en materia de estadística, cómo se interpreta un error y con qué cuidado se deberían interpretar estos resultados electorales. Mire que los ignorantes son muchos y que si lográramos permear los medios de comunicación con este mensaje, le haríamos un bien al pueblo a la hora de elegir. Además muchos se interesarían más por la estadística.

¿Cuál será mi próxima parada?

Oct 18th

Posted in Colombia

Acabo de hacer una lectura rápida del último número de AMSTAT NEWS y hay un artículo muy interesante en donde varios estadísticos responden un chismografo (que en Colombia es una suerte de preguntas con el objetivo único de curiosear la vida de los demás). En este mismo instante estoy leyendo las respuestas de algunos personajes y lo que voy a hacer, aunque puede parecer impersonal, es constestar esas preguntas con el ánimo de hacer un balance de mi corta carrera profesional. Además, le insto a que se anime y responda también este chismografo.

¿Qué o quién lo inspiró a estudiar estadística?

Lamentablemente no fue un alguien que me inspiró a estudiar estadística. Esto fue un gran accidente, que de planeado no tuvo nada (me voy a permitir afirmar que fue una Diosalidad: una casualidad guiada por Dios). Como para muchas personas en Colombia, el único lugar dónde es posible tener una educación buena y no tan costosa es la universidad pública. Yo había presentado un examen de admisión a Ingeniería Industrial y afortunadamente no pasé. Luego, pensé: <<si quiero estudiar, debo enfocarme. ¿Para qué soy bueno?>> La respuesta era fácil, yo era bueno para los números. Así que, después de meditarlo un poco y teniendo en cuenta que alguien de mi colegio había sido admitido a la carrera de estadística en la Universidad Nacional, pues me aventuré, sin tener idea que esa decisión cambiaría mi vida por siempre.

Aunque, una mejor pregunta sería ¿quién lo inspiró a estudiar? La respuesta es muy sencilla, mi abuela Lola. Es como mi mamá, ella me crió porque mi mamá biológica falleció cuando yo tenía dos años. Ella todos los días ponía en mí el deseo de vivir y de no dejarme de las circunstancias.

¿Cuál es la parte más excitante de su trabajo?

Por un lado mi pasión siempre ha sido enseñar. Se me da y punto. Me gusta interactuar con las personas y qué mejor manera de hacerlo que siendo profesor. Ésta es una tarea muy difícil, más en una universidad privada en donde la educación es un servició más y en donde los evaluadores de la labor docente son los alumnos. Así que, en mi trabajo en la Universidad Santo Tomás, la parte más excitante es ser mejor docente de lo que fueron mis docentes. Y vaya docentes que he tenido. Algunos muy buenos, otros que podrían mejorar algunas cosas. La Universidad Nacional, al igual que cualquier otra universidad en el mundo, tiene una gama de excelentes maestros, no todos ellos excelentes personas. Así que cada clase es una única oportunidad de ser mejor profesor que mis mejores profesores y también es una oportunidad de no cometer los errores que mis profesores cometieron conmigo. ¿Por qué mis mejores profesores fueron mis mejores profesores? En realidad, no lo fueron por su gran conocimiento. Lo fueron porque me impregnaron algo de su particular forma de enfrentar la vida. ¿Por qué mis peores profesores fueron mis peores profesores? En realidad, no lo fueron por su escaso conocimiento. Lo fueron por su triste forma de enfrentar la vida. A diferencia de algunas otras profesiones, cuando uno es profesor, la materia prima son personas. Lamentablemente yo tuve algunos profesores y profesoras que no trabajaban (o trabajan) con personas sino con cerebros. Al igual que yo, mis estudiantes tienen dificultades no solamente con el muestreo, sino con la vida. Por eso me gusta la USTA, cuya impronta institucional es criar personas más allá de buenos profesionales. Si usted es profesor (tal vez si fue mi profesor) le doy un pedazo de consejo: <<Cada vez que interactúe con un alumno, piense que está interactuando con una persona con alma, con emociones y sentimientos. No se vea a usted mismo reflejado en ese alumno porque entonces estropeará su labor docente.>> Y es que yo pienso que los profesores malos son malos porque ven el triste reflejo de ellos en la cara de sus alumnos.

Por otro lado, trabajo como investigador en la USTA. Este oficio no se compara un ápice al de profesor. Así que no lo voy a comentar. Por otro lado soy consultor y lo excitante es que me pagan por hacer lo que yo haría gratis. Por último, soy auditor y lo excitante es que estoy creando cultura estadística entre estadísticos en las dependencias públicas. Es cierto, así como lo lee, cultura estadística dentro del gremio. Eso es muy excitante porque forja mi carácter y además da claridad a los procesos estadísticos en el sector gubernamental.

Nombre algunas habilidades necesarias para realizar su trabajo

Por encima de todo la comunicación oral y escrita.

Nombre una habilidad que le gustaría aprender para hacer un mejor trabajo

Me gustaría aprender a tener más disciplina. Me gustaría a utilizar mejor el idioma. Como escritor de libros esto es fundamental.

¿Tuvo un mentor? Si fue así, ¿cuál fue su mejor consejo?

Sin duda. Mi tío Oscar que siempre vio en mí a un ganador. Y aún hoy sigue viendo en mí a un ganador. Mi familia toda me apoyo y les digo que los amo (a los miembros de mi familia). En la cuestión académica mi gran mentor ausente es Leonardo Bautista. Desde el principio nos la llevamos muy bien. Murió muy rápido pero dejó en mí algo de su pasión por el muestreo. Jorge Ortiz me dio un consejo que no tengo cómo agradecer y me auguró mejores éxitos en la USTA que en otros lados. Humberto Mayorga me dijo que yo tenía el factor X del muestreo. Leonardo Trujillo y Pedro Silva han tomado un gran riesgo conmigo al aceptarme como alumno de tesis de doctorado. Leonardo Trujillo me respondía muy amablemente todos los correos que yo le enviaba cuando él estaba en UK. Pero sobre todo mi esposa ha sido mi más fiel apoyo. Como sabe de todo entonces ella me explica las muchas cosas que no entiendo.

Nombre dos blogs o libros que recomendaría a otros

Me gusta leer a John Cook en su blog The Endeavour y me gusta leer Rblogs porque a veces se escriben post de hágalo usted mismo con R, sobre cosas que ni idea en estadística. Los libros infaltables son Statistical Design for Researches de Leslie Kish y uno muy bonito que se llama The Lady Tasting Tea que relata la historia de la estadística de forma muy amena y a manera de chisme.

¿Qué aviso les daría a los jóvenes que están empezando sus carreras?

Que si no les gusta ser profesor que no se metan en eso. Es un buen consejo porque muchos estadísticos en Colombia terminan dictando cátedras en universidades y si la pasión de dictar clase no está en ellos pueden frustarse ellos e imponer una imagen aburrida de la estadística entre sus alumnos.

¿Qué le gusta hacer en su tiempo libre?

Patinar. Gastar tiempo con mis amigos. Estar con Lucas (mi hijo) y dormir junto a él.

Estadística en los estrados judiciales

Oct 10th

Posted in Bayesiano

Ya en otra ocasión había advertido de la excelente labor que realizó el Colombiano Daniel Guzmán al testificar en un juicio en contra de algunos oficiales de la Policía Nacional de Guatemala por la desaparición de Edgar García, un líder estudiantil. El resultado de esta influyente declaración de Daniel, fue una pena máxima de 40 años de cárcel contra los agentes involucrados. Pues bien, fue muy grato para mí saber que la revista CHANCE ha publicado en su último número un vasto artículo escrito por Daniel en el que relata con pelos y señales cómo fue todo el proceso. Realmente vale la pena leerlo porque la forma en que lo escribe Daniel hace que la lectura sea muy entretenida. Felicitaciones a Daniel y esperemos que sus técnicas estadísticas sirvan algún día para esclarecer las actividades delictivas que han suscitado miles de desapariciones en Colombia. Esto lo digo a título personal, porque mi familia y yo hemos sido víctimas de este insuceso y por supuesto, entenderán mi emoción al saber que hay personas cercanas por ahí, trabajando e influyendo en los estrados judiciales para evitar la impunidad. Y lo mejor de todo el armamento y la munición estadística de Daniel fue el muestreo. Claro, no faltan los jueces que impiden que la ciencia tenga lugar en las decisiones judiciales.

Lo anterior lo digo porque hace pocos días un juez inglés tumbó la regla de Bayes como evidencia en cualquier clase de juicio criminal. Así es, se trata de un juicio por asesinato en el que el presunto asesino habría dejado en la escena del crimen las huellas de sus tennis Nike, que coincidencialmente eran idénticas a un par encontradas en su casa (la casa del sindicado). El teorema de Bayes habría entrado en acción al intentar calcular la probabilidad de coincidencia de las huellas con los tennis del acusado. Para esto, es necesario tener certeza acercad del número de existencias de esta clase específica de tennis. Como el abogado no pudo demostrar por qué se usan estimaciones gruesas en los cálculos, entonces el juez decidió no tener en cuenta al teorema de Bayes como evidencia contra el presunto asesino. Más aún, ordeno que para cualquier caso de estas características criminales en el Reino Unido, el teorema de Bayes no deberá ser tenido en cuenta. Y pues bien, tumbaron a Bayes.

Eso me hace pensar que aquellos que quieren tomarse un tinto y tumbar el muestreo posiblemente lo logren… Nooo, qué va, con tipos tan duros como Daniel y el reconocimiento que ha tenido les va a quedar muy difícil !!!

Calibración de razones

Sep 28th

Posted in Muestreo

Created by Pretty R at inside-R.org

El método de calibración es uno de los más utilizados en términos de estadísticas oficiales. De hecho, el último censo en Colombia utilizó este método para calibrar las estimaciones en la población. Un momento, si se supone que es censo, ¿de qué estimaciones está hablando?… ¡Jum! … pues fue censo pero no todos respondimos los mismos cuestionarios y los encuestadores descubrieron cómo hacer trampa en sus dispositivos y hubo 800 doctores (PhD) en chocó y muchos apartamentos en el parque nacional. En fin, el tema no es el censo, el tema de esta entrada es esta técnica que nos permite hallar nuevos ponderadores que inducen una estrategia de muestreo muy eficiente e insesgada. Estos nuevos pesos, wk, se construyen de tal forma que sean muy cercanos a los pesos originales, que son el inverso de la probabilidades de inclusión. Esta cercanía asegura que el estimador resultante sea insesgado asintóticamente. Además, este método tiene otras agradables propiedades, como la consistencia. Es decir, dada una característica de información auxiliar, para la cual se conoce el total poblacional, tx, entonces, sin importar la muestra seleccionada, siempre el estimador de calibración para la información auxiliar, reproducirá el total verdadero. Mejor, dicho

Esta propiedad es buena porque si x está bien relacionada con y, entonces las estimaciones del total de y serán muy cercanas al total desconocido. Sin embargo, hace unos días leí este artículo de Eric Lesage, en donde advierte un resultado que me dejó “calibrado”… Tal vez ustedes ya lo sabían, pero como el artículo es de Junio de este año, entonces pienso que la mayoría de los lectores no lo saben. Así que voy a reproducir este resultado. Y espero que a usted también lo sorprenda.

De manera tradicional, para calibrar es necesario conocer el total auxiliar tx. Sin embargo, Imagínese que no se conoce ese total, pero sí se conoce la razón poblacional, R=ty/tx, que es un parámetro poblacional que es estable en el tiempo. Enfatizo en que lo que sí se conoce es la razón, pero no se conoce ni el numerador ni el denominador. Entonces, siendo así, es posible utilizar el método de calibración para estimar eficientemente tanto el numerador ty como el denominador tx. Entonces, si calibramos la razón, para cualquier muestra, sea cual sea, la división de con siempre será contante e igual a R.

Resultado: Calibrar sobre una razón R es equivalente a calibrar sobre el total de una nueva característica auxiliar zk=(y_k)-(R)(x_k). Es decir, después de calibrar surgen unos nuevos pesos wk inducidos por esta metodología. Esos pesos se utilizarán para estimar ty, mediante la siguiente expresión y esos mismos pesos se utilizan para estimar tx, mediante la siguiente expresión . Luego,

Ejemplo con Marco y Lucy: utilizaremos la base de datos propia del paquete computacional TeachingSampling para reproducir este resultado. Suponemos que se conoce la razón entre el ingreso y los impuestos de las empresas del sector industrial en un país. Además se asume que esta razón ha presentado muy poca variación durante los últimos años y que es igual a R=36.12. Lo que quiere decir que por cada peso que las empresas declaran como impuesto, existe una ganacia de 36 pesos. El siguiente código se utiliza para la selección de una uestra MAS de tamaño n=1000.

# Draws a simple random sample without replacement
require(TeachingSampling)
data(Marco)
data(Lucy)
attach(Lucy)

ty=sum(Income)
tx=sum(Taxes)
R=ty/tx

N <- dim(Marco)[1]
n <- 1000
sam <- S.SI(N,n)
# The information about the units in the sample is stored in an object called data
data <- Lucy[sam,]
attach(data)
names(data)
# Vector of inclusion probabilities for units in the selected sample
Pik<-rep(n/N,n)

Y el siguiente código se utiliza para hacer la calibración de las características de interés sabiendo que la razón entre las estimaciones de Ingreso e Impuestos será siempre 36.12. Note que el total tz es siempre cero porque se anulan algunas expresiones puesto que tz=ty-Rtx=ty-(ty/tx)tx=ty-ty=0.

estima<-data.frame(Income, Employees, Taxes)
z <- Income-R*Taxes
tz <- 0
b <- E.Beta(estima,z,Pik,ck=1,b0=FALSE)
> GREG.SI(N,n,estima,z,tz, b, b0=FALSE)

                 Income    Employees        Taxes
Estimation 1.037084e+06 1.505399e+05 2.870518e+04
Variance   1.002338e+08 2.414943e+06 7.679034e+04
CVE        9.653684e-01 1.032290e+00 9.653684e-01

Por último, el siguiente código verifica que sí se presente la propiedad de calibración sobre la razón. Nótese que =0.

> GREG.SI(N,n,estima,z,tz, b, b0=FALSE)[1,1]/GREG.SI(N,n,estima,z,tz, b, b0=FALSE)[1,3]
[1] 36.12881
> R
[1] 36.12881

w <- Wk(z,tz,Pik,ck=1,b0=FALSE)
> sum(z*w)
[1] -2.875709e-10
> sum(Income*w)/sum(Taxes*w)
[1] 36.12881

Y ahora con qué ganas… (Datexco denunciado)

Sep 26th

Posted in Bayesiano

Lonely Party Girl with Balloon

¿Ahora con qué ganas voy a hacer el análisis bayesiano electoral con las últimas denuncias que se han suscrito a la encuestadora Datexco? En mis pocos años de vida, no he sabido de otra empresa tan cuestionada en el ámbito de las encuestas como Datexco (no es la primera vez que se rumora de sus malas prácticas). Yo no sé si sea cierto ese rumor, pero lo que sí sé es Datexco debería aclarar su situación. El presidente de esta firma en respuesta a las declaraciones de sus antiguos gerentes ha expresado su inconformidad y ha salido, como en su momento hizo el ex-alcalde Samuel Moreno (hoy en prisión preventiva), con un comunicado de prensa que señala que va a tomar acciones penales contra los ex-empleados de su compañía.

Sea que los ex-empleados de Datexco estén o no calumniando a esta empresa, su presidente – además de salir con amenazas de denuncias – debería aclarar la situación.

En fin, qué mal que esto pase. Yo doy fe de que muchas encuestadoras en Colombia hacen muy bien su trabajo. Son firmas que se esfuerzan en conseguir las entrevistas y que tienen muchos filtros de supervisión para que haya total transparencia en la recolección de la información. Incluso, aunque tal vez algunos de mis lectores no lo sepan, muchas firmas encuestadoras tienen procesos de selección probabilística (sí, con base en un diseño de muestreo) muy bien estructurado. Lo sé de primera mano pues yo audito y califico algunos procesos que llegan en forma de licitación.

Sobre Fan-Muller-Rezucha

Sep 26th

Posted in Muestreo

El método de Fan-Muller-Rezucha (ver acá) constituye uno de los más utilizados en la obtención de muestras simples. Acá un pequeño intento para demostrar que efectivamente este algoritmo sí induce las probabilidades de selección de un muestreo aleatorio simple. Es la solución al último punto del segundo parcial de mi materia, Muestreo I. ¿qué opinan? ¿hay nivel en la USTA? yo creo que sí y mucho !!!

Análisis estadísticos aplicados a la genética en la producción animal

Sep 22nd

Posted in Bayesiano

Andrés Gutiérrez & Ricardo Camacho - Análisis estadísticos aplicados a la genética en la producción animal

Exactamente eso… una conversación amena con un investigador en genética animal.

Encuestas multipropósito… no cambie su estimador y respete el diseño

Sep 20th

Posted in Muestreo

En la mayoría de encuestas multipropóstio, el estadístico se enfrenta con el dilema de la utilización del estimador. Es decir, su encuesta tiene ciertos tópicos que son necesarios e importantes y con los cuales usted ha propuesto la mejor opción en términos del diseño de muestreo. En la mayoría de ocasiones este diseño de muestreo induce probabilidades de inclusión (o de selección) que guían la escogencia del estimador. De esta forma, usted decide utilizar esta estrategia para estimar todos los parámetros de interés. Sin embargo, usted puede preguntarse ¿por qué utilizar la misma estrategia de muestreo para la estimación de todos los parámetros?

Es una pregunta muy válida… De hecho, estoy seguro que todos los que hemos seleccionado muestras la hemos formulado, al menos de forma silenciosa. Yo he tenido esa pregunta desde hace mucho tiempo y la respuesta que encuentro es que no hay por qué considerar la misma estrategia de estimación para todos los parámetros. Por supuesto, con respecto al diseño de muestreo, es imposible cambiar nada. En primera instancia, no es plausible formular distintos diseños de muestreo para una misma encuesta. Ahora, es posible cambiar el estimador. Sin embargo, esta tarea debe realizarse con mucha precaución.

Suponga que su encuesta viene de un diseño de muestreo con probabilidad proporcional al tamaño de una característica de interés. Usted ha escogido hacer un diseño de muestreo PPT porque conoce la buena relación de la característica de interés con la característica auxiliar. Ahora, usted también conoce que no todas las características de interés están relacionadas con la característica auxiliar. Por tanto, usted cree que puede pensar que sería loable suponer que el diseño de muestreo no sea PPT sino MAS. Es decir, para algunos parámetros usted asume que es muy bueno usar el PPT, para otros usted asume que sería muy bueno el MAS. Hasta ahí no problema en asumir y suponer.

Sin embargo, si la solución que usted propone es cambiar el estimador inducido por el PPT, por el estimador de expansión (definido como N veces Y barra), inducido por el MAS, debe estar consciente de que eso induce sesgo en el estimador, sin importar si hay o no correlación con la característica auxiliar. El siguiente histograma muestra la distribución de muestreo del estimador inducido por el PPT, para una característica de interés que no tiene muy buena correlación con la característica auxiliar del PPT. La línea roja indica el valor del parámetro (desconocido en el momento de la encuesta) y la línea azul indica la esperanza del estimador. Las dos líneas coinciden puesto que el estimador es insesgado.

Por otro lado, el siguiente histograma muestra la distribución de muestreo del estimador de expansión, para la misma característica de interés que no tiene buena correlación con la característica auxiliar del PPT. La línea roja indica el valor del parámetro y la línea azul indica la esperanza del estimador. Las dos líneas no coinciden puesto que el estimador es sesgado bajo un diseño PPT; de hecho bajo cualquier diseño de muestreo que no sea MAS.

Así que, piénselo dos veces antes de hacer esta maniobra que puede hacer que, a pesar de su buena voluntad, las estimaciones sean malas. Ahora, existen otros enfoques para cambiar de estimador. Por ejemplo, los estimadores de calibración son una opción.

Oración a la patria

Sep 10th

Posted in Colombia

Esto me llena de orgullo… Con este blog estoy aportando un poco de lo que Colombia me ha dado… No es la gran cosa, pero me siento bien porque sé que a varios les ha ayudado. Y usted ¿está haciendo algo por Colombia?

Colombia patria mía,
te llevo con amor en mi corazón,
Creo en tu destino,
Y espero verte siempre grande respetada y libre.

En ti amo todo lo que me es querido,
Tus glorias, tu hermosura,
Mi hogar, las tumbas de mis mayores,
Mis creencias, el fruto de mis esfuerzos,
Y la realización de mis sueños.

Ser hijo tuyo,
Es la mayor de mis glorias,
Y mi ambición más grande,
Es la de llevar con honor
El título de Colombiano,
Y llegado el caso morir por defenderte.

Si las elecciones fueran hoy (y además 1, 2, 3, etc.)… Peñalosa gana (P=0.973)

Sep 8th

Posted in Bayesiano

13 comments

Esta serie de entradas buscan analizar, a manera de ejemplo, la adjudicación de distribuciones previas en un análisis bayesiano de tipo electoral. Los resultados son meramente ilustrativos y no deberían inducir ninguna intención de voto.

Antes de que comience a leer, le quiero aclarar dos cosas: la primera es que el título de esta entrada no expresa mi intención de voto, y la segunda es que tanto los análisis como los resultados y discusiones de todas las entradas publicadas en este blog están protegidos por un copyright y usted es libre de leer, comentar y compartir esta información. Lo único que se pide es que se cite la fuente.

Aunque no estoy de acuerdo con la metodología de muestreo de la mayoría de las encuestas electorales, pienso que la acumulación de la información es de alguna forma ilustrativa. En esta entrada se realiza un análisis bayesiano acerca de la intención de voto para las próximas elecciones de la alcaldía de Bogotá, ciudad donde yo resido. El ejercicio es meramente académico y voy a actualizar los resultados de manera sistemática hasta el día de las elecciones.

El análisis electoral desde el enfoque bayesiano puede parecer sencillo. En una primera instancia, se trata de conocer la probabilidad de éxito de un candidato, que aplicada a una población específica se traduce en la intención de voto hacia el candidato. Como hay varios candidatos en la disputa, entonces es conveniente suponer que el fenómeno puede ser descrito muy bien mediante el uso de una distribución multinomial. Como el parámetro en este caso es un vector de probabilidades, es adecuado suponer una distribución previa de tipo Dirichlet para este vector. Por lo tanto, haciendo uso del teorema de Bayes, la distribución posterior del parámetro será también de tipo Dirichlet.

En esta primera entrada, desarrollaremos un análisis básico con base en una primera encuesta realizada del 12 al 14 de Agosto por la firma Ipsos – Napoleón Franco, en donde según el portal WEB de la revista Semana se afirma que:

<<Según la encuesta de Ipsos Napoleón Franco, hay un cabeza a cabeza (cada uno con el 22%) entre los dos candidatos. Mockus es tercero, pero con notable diferencia: 12%, seguido, muy cerca, por Gina Parody, con 9%>>.

Con base en esta información, y teniendo en cuenta que hubo 604 respondientes, se afina la distribución previa que es Dirichlet con parámetros 133 (igual a 604*0.22), 133 (604*0.22), 72 (604*0.12) y 64 (604*0.09), para los candidatos Peñalosa, Petro, Mockus y Parody, respectivamente. En las entradas posteriores se analizarán otras distribuciones previas que pueden ser más convenientes y/o tener ventajas en el análisis.

Por otro lado, según la última encuesta electoral reportada por un medio de comunicación, correspondiente a la realizada por la firma Centro Nacional de Consultoría, entre el 30 de agosto y el primero de Septiembre, y publicada por el portal WEB de ElTiempo.com afirma que:

<<Peñalosa alcanza el 22% de preferencia. Segundo aparece Gustavo Petro, con 17%, en tercer lugar Antanas Mockus, con 12%. El cuarto lugar es para la candidata Gina Parody, con 11%>>.

Como se trata de la encuesta más reciente, supondremos que estos datos corresponden a la realización de una distribución multinomial.

Es bien sabido que el análisis conjugado, señala que la distribución posterior del parámetro es de tipo Dirichlet, que en este ejercicio particular, tiene parámetros 353, 302, 192 y 164, para los candidatos Peñalosa, Petro, Mockus y Parody, respectivamente. Después de realizar cien mil simulaciones de Monte Carlo y chequear la convergencia de las cadenas y todo lo otro que se deba chequear, los resultados se presentan a continuación:

Luego, la distribución posterior estima que Peñalosa será el ganador. Nada nuevo hasta acá. La novedad es que realicé un análisis para determinar la probabilidad posterior de que el parámetro de Peñalosa fuese mayor que el parámetro de Petro. Esta probabilidad es del orden de 0.97. Luego, la probabilidad de victoria de Peñalosa sobre Petro al día de hoy y, aunque sea muy difícil, suponiendo que los datos son válidos, es de 0.97.

PD: El análisis se complementa considerando todos los candidatos en la contienda electoral. Este análisis sólo tuvo en cuenta los cuatro primeros en intención de voto.

PD2: Entre muchas otras razones, para que estos análisis sean válidos es necesario suponer que 1) el muestreo es aleatorio simple (mejor si es con reemplazo) 2) el modelo es correcto, 3) en este país las firmas encuestadoras sí hacen diseños probabilísticos para seleccionar una muestra, 4) El respondiente va a votar, 5) Va a votar por quien dijo que iba a votar.

PD3: Gracias a las reflexiones de los comentaristas esta entrada ha sufrido valiosos cambios que ayudaron a darle un enfoque más ilustrativo y académico.

Del muestreo a la teoría estadística… (Si no utilizó un MAS con reemplazo, sus análisis no son válidos)

Sep 6th

Posted in Uncategorized

5 comments

En la introducción de su excelente libro, Statistical Design for Researches, Leslie Kish afirmó que el enunciado de la mayoría de libros de inferencia estadística abren con el siguiente enunciado: <<Dadas n variables aleatorias, seleccionadas de una población, independientes e idénticamente distribuidas…>> y que cada palabra en el anterior enunciado es engañosa. ¿Quién le da a uno las muestras? ¿Existe algún sitio en dónde las repartan? Las muestras no son dadas, las muestras deben ser seleccionadas, asignadas o capturadas. El tamaño de la muestra no siempre es un número n fijo, en la mayoría de casos prácticos es una variable aleatoria. Los datos no siguen el supuesto de independencia ni de idéntica distribución; es más, en muchas ocasiones no existe una sola población, sino que la muestra seleccionada es el resultado de una selección de sub-poblaciones para las cuales se deben producir, no sólo una estimación sino un montón de estimaciones. Así que la historia que nos contaron no aplica en la mayoría de situaciones prácticas.

Por otro lado, recuerdo cuando, en un simposio nacional de estadística, la expositora hablaba de cómo había ajustado un modelo de regresión logística y de todas las valiosas conclusiones a las que llegó analizando el problema en cuestión. A simple vista, el análisis de la regresión no tenía la más mínima amonestación. Sin embargo, cuando yo pregunté cómo había sido la selección de la muestra, ella contestó que los datos provenían de una encuesta compleja que avistaba estratos, etapas y selecciones proporcionales. Mi contra-pregunta inmediata se refirió a si ella había contemplado este diseño complejo en sus análisis y la respuesta, muy escueta, fue un rotundo no.

A donde quiero llevar a mis queridos lectores es a un lugar en donde no haya excusa alguna para repetir tan álgida práctica. Espero pues que, después de terminar la lectura de este post, usted no vuelva a analizar sus datos sin antes preguntarse acerca del proceso de selección de la muestra. Más aún, espero que se dé cuenta que, en términos de selección de muestras, sólo hay un único caso para el cual la teoría de la inferencia estadística es aplicable.

Tipos de muestreo

Y es que en términos de selección de muestras, sólo hay dos posibles escenarios generales. La selección con reemplazo y la selección sin reemplazo. Hablemos primero de la selección sin reemplazo, en donde una muestra seleccionada está conformada por algunos elementos de la población que no se repiten. Para seleccionar una muestra sin reemplazo de tamaño n=tres, de una población de tamaño N=5, el proceso de selección puede ser de la siguiente manera. Se escoge una unidad de las cinco posibles, luego se selecciona una unidad de las cuatro restantes, y por último, una unidad de las tres restantes. Esto hace que el proceso de selección de la muestra no se lleve a cabo de forma independiente. Por ejemplo, si el muestreo es aleatorio simple, la probabilidad de selección de la primera unidad es 1/5, la probabilidad de selección de la segunda unidad, es 1/4 y así sucesivamente.

Por otro lado, cuando el muestreo es con reemplazo, la selección se realiza de forma independiente puesto que se trata de realizar el mismo ensayo (seleccionar una unidad de cinco posibles) tres veces, sin importar que las unidades tengan diferentes probabilidades de selección.

Construyendo muestras aleatorias como en los libros clásicos

Por otra parte, es bien sabido que la teoría de muestreo establece que el valor de la característica de interés, yk, es eso… un valor, por tanto no es aleatorio. Luego, es incorrecto decir que yk es una variable aleatoria asociada con alguna distribución de probabilidad. Antes de que me sacrifiquen, permítame afirmar en mi defensa que así son las cosas en el muestreo y que lo único aleatorio en la inferencia es la muestra. Y entre otras cosas, en investigación social me parece coherente hablar de valores fijos. Ahora, no significa que no podamos construir variables aleatorias en muestreo. Por ejemplo, construyamos la siguiente variable aleatoria Xi, i=1,…,3, definida como el valor de la característica de interés en el individuo k-ésimo, seleccionado en la i-ésima extracción. En este caso, existen tres variables aleatorias, puesto que la muestra es de tamaño tres.

Si consideramos un muestreo aleatorio sin reemplazo, la primera variable aleatoria X1, podría tomar los cinco valores y1, y2, y3, y4, y5. La segunda variable aleatoria X2, sólo podrá tomar cuatro valores, puesto que X1 ya fue realizada, y la tercera variable aleatoria X3 sólo podrá tomar tres valores, puesto que X1 y X2 ya fueron realizadas. Esto hace que X1, X2 y X3 no constituya una sucesión de variables aleatorias independientes (puesto que la selección sin reemplazo no es un proceso independiente) ni idénticamente distribuidas (puesto que ni siquiera su espacio muestral es el mismo… X1 puede tomar cinco valores, X2 sólo cuatro y X3 sólo tres). Lo cual quiere decir que a partir de un muestreo sin reemplazo (ni siquiera el tan mencionado muestreo aleatorio simple) no es posible construir una muestra aleatoria, como las que aparecen en los libros de teoría estadística.

Sin embargo, algo muy distinto sucede con el muestreo con reemplazo. Cuando construimos las variables aleatorias X1, X2 y X3, resulta ser que ellas sí conforman una sucesión de variables aleatorias independientes (puesto que el muestreo con reemplazo sí define un proceso de extracciones independientes) e idénticamente distribuidas (puesto que conservan el mismo espacio muestral y mantienen la probabilidad de selección… X1, X2 y X3 pueden tomar los cinco valores, y para cada uno de esos valores la probabilidad es la misma). Es decir, X1 puede tomar los valores y1, y2, y3, y4, y5. La probabilidad de que X1=y1 es p1, la probabilidad de selección del primer elemento, la probabilidad de que X1=y2 es p2, la probabilidad de selección del segundo elemento y así sucesivamente hasta obtener que la probabilidad de que X1=y5 es p5, la probabilidad de selección del primer elemento primer elemento. La misma distribución la tienen X2 y X3. Por lo tanto, X1, X2, X3 conforman una muestra aleatoria, como las que aparecen en los libros clásicos de inferencia estadística.

Obteniendo los mismos resultados como en los libros clásicos

Entonces, hemos llegado a un punto sin retorno, en donde la conclusión es que si la muestra fue seleccionada con reemplazo, entonces podemos inducir una muestra aleatoria. Sin embargo, existen muchas variantes en el muestreo con reemplazo. A continuación, vamos a dilucidar cuál de ellas es la indicada para analizar la muestra de acuerdo a la teoría de los libros de inferencia. Lo vamos a hacer mediante un ejemplo muy sencillo, el estimador X barra, su esperanza y su varianza.

En primera instancia, veamos que para que la esperanza (bajo el diseño de muestreo, por eso el suscrito p) de cualquier variable aleatoria Xi, i=1,…,n, sea igual a la media poblacional, es necesario que, para todos los individuos en la población, la probabilidad de selección sea idéntica e igual a 1/N, como se muestra a continuación:

De la misma manera, para que la varianza de cualquier variable aleatoria Xi, i=1,…,n, sea igual a la varianza poblacional, se requiere la misma condición, puesto que:

Por lo tanto, la esperanza y la varianza de X barra coincidirán con los bien conocidos resultados de la inferencia clásica.

Pero, para llegar a esto, es necesario que el muestreo haya sido aleatorio simple con reemplazo. De otra forma, no se tienen las propiedades. Por lo tanto, esto aplica para pruebas de hipótesis, construcción de intervalos de confianza, modelos de regresión, y hasta diseño de experimentos. Ahora, si su encuesta está en marcha y los datos no fueron extraídos de manera aleatoria simple con reemplazo, usted puede analizarla confiadamente desde que incluya los pesos de muestreo en sus análisis, ya sean regresiones logísticas o simples varianzas del promedio.

Otros comentarios sobre la estimación de la varianza en encuestas multi-etápicas

Sep 6th

Posted in Muestreo

Siguiendo con la estimación de la varianza en encuestas multi-etápicas, los programas computacionales como SAS, WesVar, entre otros, utilizan una aproximación, sesgada, para obtener esta cifra. Esta aproximación, solo tienen en cuenta la varianza de los totales estimados en la primera etapa, suponiendo que el muestreo en la primera etapa es aleatorio simple. Para la estimación de un total, suponiendo un diseño de muestreo en dos etapas, la fórmula que induce una estimación insesgada es la siguiente:

La expresión que utilizan los paquetes computacionales es la primera parte de la anterior expresión, es decir:

Y existe otra aproximación común, que se tiene al suponer que el muestreo en la primera etapa fue con reemplazo. La expresión de la estimación (sesgada) de la varianza en este caso es la siguiente:

Retomando las ideas del ejercicio anterior, simulé dos escenarios que se pueden encontrar en la vida real, para características de interés en el contexto de investigación social y económica. El primer escenario, está conformado por mil unidades primarias de muestreo, dentro de las cuales hay contenidos diez mil individuos en cada una de ellas. La distribución de la característica de interés es simétrica con forma gaussiana.

Para este escenario, se simularon distintos valores de la fracción de muestreo y submuestreo en la primera y segunda etapa, f1 y f2, respectivamente. Y como criterio de comparación, se utilizó el promedio de la razón entre la varianza real (estimación insesgada) con las aproximaciones sugeridas. Resultados iguales a uno, indican que la aproximación es igual de precisa que la estimación insesgada, resultados mayores que uno indican que se presenta una subestimación de la varianza real y resultados menores que uno, indican que se presenta una sobreestimación de la varianza. Por supuesto, como ya se explicó antes, se quisiera llegar al mismo nivel de precisión, pero en caso de no poder alcanzarlo, el peor panorama corresponde a la subestimación de la varianza. Es decir, es mejor que la aproximación sobreestime la varianza y no al contrario. El siguiente cuadro muestra los resultados obtenidos para la aproximación de SAS y otros paquetes.

Se nota que la aproximación es buena cuando en la primera etapa se selecciona una muestra pequeña de unidades primarias y en la segunda etapa se selecciona una muestra grande de unidades secundarias. Lo cual concuerda con el comentario que asegura lo siguiente: <<The sampling procedures at further stages of selection are typically ignored unless the fpc (1-f) is important at the municipality level>>. Ahora, como el estimador de SAS, y otros paquetes, es básicamente la primera parte del estimador insesgado, entonces también es posible calcular el porcentaje de varianza, y tener una idea del sesgo. Se ve claramente que esta aproximación es óptima para tamaños de muestra pequeños en la primera etapa.

De igual manera, se comparó el estimador insesgado con el estimador que tiene en cuenta el reemplazo. Se nota que, al contrario de la anterior aproximación, este estimador nunca subestima la varianza real y funciona mejor cuando el tamaño de muestra en la primera etapa y en la segunda etapa es pequeño.

El segundo escenario, está conformado por cien unidades primarias de muestreo, dentro de las cuales hay contenidos cien mil individuos en cada una de ellas. La distribución de la característica de interés es sesgada, como es usual en muchas encuestas económicas y sociales.

Para este escenario, se simularon distintos valores de la fracción de muestreo y submuestreo en la primera y segunda etapa, f1 y f2, respectivamente. Y como criterio de comparación, se utilizó el promedio de la razón entre la varianza real (estimación insesgada) con las aproximaciones sugeridas. Resultados iguales a uno, indican que la aproximación es igual de precisa que la estimación insesgada, resultados mayores que uno indican que se presenta una subestimación de la varianza real y resultados menores que uno, indican que se presenta una sobreestimación de la varianza. El siguiente cuadro muestra los resultados obtenidos para la aproximación de SAS y otros paquetes.

Se nota que la aproximación es decente cuando en la primera etapa se selecciona una muestra pequeña de unidades primarias y en la segunda etapa se selecciona una muestra grande de unidades secundarias. De igual forma, también es posible calcular el porcentaje de varianza. Se observa que esta aproximación es mejor para tamaños de muestra pequeños en la primera etapa.

Por último, se comparó el estimador insesgado con el estimador que tiene en cuenta el reemplazo. Se nota que, al contrario de la anterior aproximación, este estimador nunca subestima la varianza real y funciona mejor cuando el tamaño de muestra en la primera etapa y en la segunda etapa es pequeño.

¡ESPERE UN MOMENTO!

Ahora, aunque los resultados anteriores son muy claros, no significa que el diseño de muestreo deba estar supeditado a la utilización de la aproximación de la varianza. Como lo muestra el siguiente cuadro, en términos de eficiencia, cuando se utiliza el estimador de Horvitz-Thompson, hay Menor varianza cuando la fracción de muestreo en la primera etapa es alta y, de igual forma, cuando la fracción de muestreo en la última etapa es alta. A continuación se presenta la razón de coeficientes de variación estimados entre el mínimo de la tabla y el resto. Se nota que el mínimo es coeficiente de variación se presenta cuando las dos fracciones de muestreo son altas. Cuando la fracción de muestreo de la primera etapa es baja, como el caso en donde las aproximaciones son buenas, el estimador es altamente variable y pierde eficiencia. A continuación se muestra los resultados de la razón de coeficientes de variación reales para ambos escenarios, 1 y 2, respectivamente.

Por lo tanto, lo primero que se debe plantar es una muy buena estrategia de muestreo que asegure que la varianza del estimador es pequeña, luego, si se da el caso, utilizar la aproximación de la varianza. Pero si no se da el caso, se debe omitir la utilización de estas expresiones que subestiman la varianza.

TEAM

Sep 5th

Posted in Bayesiano

Compre el libro acá (Librería de la U)

Contenido (clic acá)

Este libro conduce al lector por el apasionante viaje de la práctica estadística la cual ciertamente debe estar fundamentada en una rigurosidad teórica bien definida. El análisis de datos no empieza con un modelo de probabilidad. El análisis de datos empieza con los mismos datos; en la vida práctica el profesional debe cuestionarse acerca de la naturaleza de los datos: ¿qué rango tienen? ¿cuál es la fuente de los datos? ¿cómo se obtuvieron? En la vida real no sucede que el profesional sea contratado para analizar una muestra aleatoria que proviene de una distribución continua o discreta. No, en la vida real, el profesional decide qué tipo de distribución se ajusta mejor y sobre ello utiliza las mejores herramientas para inferir y convertir su análisis en información valiosa. Este texto tiene ese enfoque y la particularidad de poner en contexto al lector y mediante ejemplos prácticos afianzar la teoría e introducir al lector en el interesante camino de la programación estadística.

Obtenga una visualización del texto acá (Google books)

Compre el libro acá (Lemoine editores)

Compre el libro acá (Librería Nacional)

Puntos de venta:

Librería de la Universidad Santo Tomás: Carrera 13 No 51 (Bogotá)

Muestreo inverso, no-respuesta y otros temas

Aug 30th

Posted in Muestreo

Un colega me pregunta lo siguiente:

Suponga un universo de 10 individuos U={12,…,10} de los cuales se quiere seleccionar 3 por muestreo aleatorio simple (MAS). Para esto, se aplica el método de coordinado negativo el cual re-ordena los 10 individuos de la siguiente forma 7,2,9,10,5,1,4,3,6,8. Por supuesto, se selecciona la muestra {7,2,9} y el estadístico a cargo guarda el orden en el cual quedaron los individuos en un archivo. Por problemas operativos no se puede contactar a los individuos 7 y 9, y se decide reemplazarlos por los individuos 10 y 5 sin ninguna selección aleatoria entre los restantes… simplemente se consideran “los que siguen en la lista”. ¿Es correcto afirmar que esa muestra {2,10,5} es generada por un diseño MAS (10,3)?

Por supuesto, me parece que este ejemplo viene del día a día de las encuestas complejas. Antes de formular cualquier cosa hay varias consideraciones al respecto (algunas mías y la mayoría de otros colegas extranjeros con quiénes discutí el tema en el Survey Research Methods Section de la ASA):

Existe un problema de ausencia de respuesta que no debe ser pasado por alto. Hay muchos métodos para modelar esta ausencia y es mandatorio ponerlos en práctica cuando este fenómeno (que cada vez se va convirtiendo en una regla, en vez de la excepción) de ausencia de respuesta aparece. En general, se trata de modelar la respuesta como un evento aleatorio con probabilidad P(R); por lo tanto la probabilidad de ausencia de respuesta es 1-P(R). Si después de analizar la información, el estadístico decide que la ausencia de respuesta sigue un patrón completamente aleatorio MCAR (missing completely at random, por sus siglas en inglés) y no es debida a comportamientos intrínsecos en los subgrupos poblacionales, entonces, bajo este supuesto, todos los individuos tendrán la misma probabilidad de responder y, por tanto, la misma probabilidad de no responder.
El algoritmo coordinado negativo ordena la población de forma aleatoria. De hecho, se trata de una permutación aleatoria de los elementos de la población. De esta forma, si la población tiene N individuos, y se ordenan aleatoriamente, entonces los primeros (o los últimos) k elementos conforman una muestra aleatoria simple de tamaño k.
Para evitar esos inconvenientes técnicos, en la fase de diseño, se acostumbra a extraer la muestra de reemplazo para permitir la ausencia de respuesta. Cuando uno no ordena toda la lista de forma aleatoria, la muestra de reemplazo es una muestra separada de la población que queda después de extraer la muestra principal.) Por lo tanto, si los individuos 7 y 9 fueron los que no respondieron porque no estaban disponibles (missing o faltantes), y se reemplazaron con los individuos 10 y 5, entonces es plausible suponer que se tiene una muestra aleatoria de tamaño 5 que incluye dos individuos que no respondieron. Por supuesto, el siguiente paso debe ser el ajuste de los pesos de los encuestados para tener en cuenta la falta de respuesta.
El proceso de muestreo que se describe puede ser llamado “muestreo inverso” puesto que no se dejan de seleccionar individuos hasta obtener tres observaciones que efectivamente sí respondieron y que conforman la muestra válida. En este caso, el tamaño de la muestra no es 3 y se convierte en una cantidad aleatoria. Este método, descrito en Cochran (1977), fue propuesto por Haldane (1949). Sin embargo, los desarrollos para la estimación insesgada de totales, media y proporciones son recientes.

A continuación vamos a tratar de elaborar un poco más el tema. Si se decide que el modelo pertinente para la falta de respuesta es MCAR, entonces se puede suponer (muy importante… suponer es diferente a definir) que la muestra es de 5 observaciones aleatoria simple y reajustar los pesos de las dos observaciones faltantes. De esta forma, si los individuos 7 y 9 no respondieron, se puede utilizar esa información para estimar la proporción de la población que no responde. De esta forma, sea S1 la muestra en la primera selección (esta muestra es de tamaño 3). Sea S2 la muestra efectiva en la segunda selección (esta muestra es de tamaño 2). Por último, sea R el conjunto de respondientes en la primera selección. Luego, dado que las selecciones no son independientes (puesto que para obtener S2, se debió haber seleccionado S1 y definido R), la probabilidad de inclusión de un individuo en la muestra final es:

Bajo esta perspectiva, muestreo aleatorio simple de 5 unidades con 2 faltantes, cada individuo en la muestra final tiene la misma ponderación. Lo anterior no significa que la muestra final provenga de un muestreo aleatorio simple de tamaño 3. Con este desarrollo, es posible utilizar el estimador de Horvitz-Thompson para estimar sesgadamente (pero con sesgo moderado) funciones de totales. Dada esta configuración, se deben desarrollar expresiones para las probabilidades de inclusión de segundo orden para tener un acercamiento apropiado a la varianza de las estimaciones. También se pueden aplicar los principios de la estimación en dos fases, entre otros.

Por otra parte, nos podemos permitir ajustar esta situación al muestreo inverso, en donde para satisfacer un tamaño de muestra r (en nuestro ejemplo, r=3) se continúan seleccionado unidades en la población hasta que las r respondan. Para profundizar en algunos algoritmos de selección de muestras inversas, el lector puede remitirse al artículo de Hinkins, Lock Oh & Scheuren (1997). Si se pretende estimar la media de la población o la proporción de respondientes es posible utilizar las técnicas planteadas en la Sección 3 de Salehi & Seber (2001). Algunas expresiones acerca de la probabilidad de selección de muestras inversas sin reemplazo se pueden encontrar en el artículo de Espejo, Singh & Saxena (2008). Por último, si desea utilizar este diseño de muestreo para combinarlo con el estimador de Horvitz-Thompson, entonces le recomiendo este excelente artículo de Mohammadi & Salehi (2011).

Cuidado con la estimación de la varianza… ¡SAS, PC-Carp, Sudaan, Wesvar y R pueden arrojar malos resultados!

Aug 29th

Posted in Muestreo

Y en principio no estoy insinuando que estos excelentes paquetes computacionales sean malos o que su programación esté errada, de ninguna manera… Sin embargo, en mi ejercicio como auditor de metodologías de muestreo, he encontrado que en algunas ocasiones, para diseños de muestreo complejos que involucran estratificación y varias etapas, los errores estándar (definidos como la raíz cuadrada de la varianza), los coeficientes de variación (definidos como el cociente entre el error estándar y la estimación puntual), la longitud de los intervalos de confianza (definida como el producto del error estándar y el percentil adecuado de la distribución del estimador) y hasta los efectos de diseño (definidos como el cociente entre la varianza del diseño complejo y la varianza del muestreo aleatorio simple) parecen ser sospechosos.

De repente, para alguna muestra que se sabe que debería tener un efecto de aglomeración bastante alto, aparecen efectos de diseño muy bajos y errores estándar muy bajos. De esa manera, al revisar los informes metodológicos uno se encuentra con excelentes formulaciones de estrategias de muestreo que no responden a la sospecha de esas cifras y entonces uno infiere que el problema debe ser computacional. De esa forma, sistemáticamente he encontrado que muchos estadísticos dejan el tema de la estimación de la varianza en manos del software computacional.

En particular, en alguna ocasión me encontré estimando el tamaño de muestra de una gran encuesta y mis cifras diferían un poco con los tamaños de muestra de una respetada firma. Después de revisar muy bien, me encontré con que su estimación de los errores estándar no coincidía con la mía. Así que indagué a profundidad y encontré que la expresión que se utilizó para este cálculo de los errores estándar dentro de un estrato (para una encuesta en varias etapas) es la siguiente:

Y ya… sin importar el número de etapas, sin importar si la selección dentro de las etapas haya sido proporcional o simple… sin importar nada más, esta es la fórmula que veo y veo y sigo viendo en los informes metodológicos. Ahora, por supuesto que se trata de un a aproximación a la varianza real. Por lo tanto, está bien que se utilice y me imagino que la seguiré viendo con frecuencia, máxime cuando el PROC SURVEY MEANS del SAS, el WESVAR 4.0, el SUDAAN, el PC-CARP, entre otros, utilizan dentro de sus procedimientos de estimación esta expresión para el cálculo de los errores estándar. Escribí acerca de la validez de esta aproximación en el Survey Research Methods Section de la ASA y un experto muy reconocido me respondió lo siguiente:

Most variance estimators work with municipality level estimates. The sampling procedures at further stages of selection are typically ignored unless the fpc (1-f) is important at the municipality level. See for example Appendix D of the WesVar 4.0 manual or chapter 3 of the SUDAAN manual.

Luego, lo discutí con Felipe Ortiz, un amigo y colega a quien respeto y admiro mucho por su amplia visión de la estadística y el muestreo, y quien dirige la cátedra de diseño de encuestas en la Facultad de Estadística de la Universidad Santo Tomás. Cuál sería mi sorpresa al saber que en la entidad en donde él trabaja se había realizado una simulación para evaluar la validez de esta misma aproximación. Los resultados del ejercicio están acá y al parecer son muy claros.

En conclusión, es muy plausible usar esta aproximación, pero se debe usar teniendo en cuenta que la fracción de muestreo dentro de la primera unidad de muestreo no debe ser grande… Esto implica que el factor de corrección para poblaciones finitas (1-f) debe ser pequeño, luego el submuestreo en las USM debería ser grande. Por otra parte, si se usan estas expresiones, sería muy enriquecedor para el informe aclarar que no se trata de una expresión exacta, sino lo que es, una aproximación de la varianza.

Videos divertidos del Statistical Planet

Aug 24th

Posted in Bayesiano

El Grupo de conocimiento público de la American Statistical Association (ASA) realizó un concurso de videos llamado “promoción de la práctica y profesión de la Estadística”. A continuación el video más bayesiano.

Este es un video en el que el cantante no se explica cómo es la situación de dos personas que estadísticamente comen un pollo, pero en la realidad uno de ellos comió dos pollos, mientras que el otro no comió nada.

Y este es un video que bien podría ser el cabezote de un infomercial.

Hay muchos otros videos divertidos (y otros no tanto) acá.

Estimación de la varianza con tamaños de muestra uno… La técnica de los estratos colapsados

Aug 13th

Posted in Muestreo

Termina la clase de muestreo avanzado. Son las diez de la noche y una de mis mejores alumnas me hace una pregunta: <<profe, ¿el siguiente esquema de muestreo es adecuado?>> Le respondo que sí, convencido de que sí es procedente. Llego a mi casa y comienzo a pensar un poco más en ese esquema de muestreo. Es una situación intrincada y en verdad, aunque la respuesta que di, en primera instancia es acertada, también es cierto que está condicionada. Por lo tanto, de algunos vericuetos mentales, surge esta entrada que trata de dar una solución al problema de las varianzas con tamaño de muestra uno y afianza una vez más el consejo que les di a mis estudiantes en esa misma clase: lo importante no es aprenderse las fórmulas de memoria, sino darles sentido.

El tema es el siguiente: Se tiene una encuesta probabilística en varias etapas. En las primeras etapas se seleccionan municipios, sectores cartográficos, manzanas y por últimos viviendas. En cada vivienda, se entrevistan a todos los habitantes, pero se selecciona aleatoriamente a uno de ellos para que complete un registro más largo. En pocas palabras, todos contestan ciertas preguntas básicas y sólo uno de ellos contesta otra batería de preguntas.

Bajo este contexto, con esta poca información, en términos de estimación de la varianza, la situación se divide en dos. Por una parte, es posible que el entrevistado de la vivienda esté respondiendo cuestiones inherentes al hogar. Siendo así, la unidad de interés es la vivienda y no existe ningún problema en que haya sólo un respondiente, pues está contestando preguntas de la vivienda. De esta manera, la muestra en la última etapa, no estaría dada por una sola vivienda, sino que estaría conformada por el total de viviendas pertenecientes a las manzanas seleccionadas. Ese fue mi razonamiento a priori y por ende, no deduje nada extraño en el planteamiento del problema, puesto que el tamaño de muestra (viviendas) es mayor a uno y no existiría ninguna complicación al estimar la varianza.

Sin embargo, después de pensarlo un poco más, la situación cambia totalmente si se supone que el único individuo seleccionado en la muestra está respondiendo preguntas relacionadas con él mismo. De esta manera, la unidad de muestreo correspondería a la persona (no el hogar o vivienda) y por ende, la muestra de la última etapa efectivamente sería de sólo un individuo en las viviendas. En este escenario, existiría una gran complicación para estimar la varianza, puesto que es bien sabido que si el tamaño de muestra es uno ( $n=1$ ), entonces la probabilidad de inclusión conjunta es nula ( $\pi_{kl}=0$ , para todo $k\neq l$ ). Lo anterior se traduce en que es imposible obtener una estimación insesgada de la varianza del estimador.

Por supuesto, es una situación difícil, pero no es el fin del mundo. Es posible que no podamos acceder a una estimación insesgada, pero siempre es posible obtener una estimación sesgada. El problema con las varianzas es que la estimación sesgada debe sobre-estimar la varianza real. Por supuesto, es mucho más grave reportar coeficientes de variación menores a la cifra real, que coeficientes de variación mayores. De la misma forma, las complicaciones son mayores si se reportan intervalos de confianza más estrechos que en la realidad, que si se reportan intervalos de confianza más anchos que en la realidad. Por lo tanto, como los coeficientes de variación y los intervalos de confianza están en función de la estimación de la varianza, entonces definitivamente optaremos por encontrar expresiones que sobre-estimen el verdadero valor de la varianza.

Existen muchas técnicas que permiten obtener un estimador sesgado. Sin embargo, algunas de ellas inducen sub-estimación de la varianza real. Por lo tanto, creo que una solución viable para esta problemática es utilizar la técnica de los estratos colapsados, por supuesto, después de modificarla un poco y acomodarla al contexto de varias etapas (lo cual constituye una tarea muy sencilla). El lector interesado puede encontrar más información en Cochran (1977, pg 138), Raj (1968, pg 74) y Sarndal, et.al. (1992, pg 109). Lehtonen y Pahkinen (2004, pg 132) proveen un ejemplo práctico, similar al que originó esta discusión. Básicamente, se supone que en las últimas etapas, la encuesta tiene muchos estratos y, por conveniencia logística y/o económica, se decide seleccionar sólo un elemento dentro de cada estrato. Por supuesto, no es posible obtener una estimación insesgada de la varianza. Por lo tanto, se propone el agrupamiento de los estratos en pares. Es decir, se crean nuevos estratos uniendo pares y, de esta manera, cada nuevo estrato tendrá un tamaño de muestra igual a dos.

Bajo este esquema, y suponiendo que el submuestreo fue aleatorio simple, se tienen H/2 pares de estratos y se propone el siguiente estimador sesgado

$\hat{V}_1(\hat{t}_y)=\sum_{h=1}^{H/2}(\hat{t}_{h1}-\hat{t}_{h2})^2$

Nótese que en el h-ésimo par, se tiene que

$\hat{t}_{h1}-\hat{t}_{h2}=({t}_{h1}-{t}_{h2})+(\hat{t}_{h1}-{t}_{h1})-(\hat{t}_{h2}-{t}_{h2})$

Por lo tanto, promediando sobre todas las posibles muestras en ese par, se tiene que

$E(\hat{t}_{h1}-\hat{t}_{h2})^2=({t}_{h1}-{t}_{h2})^2+N_{h1}^2(1-1/ N_{h1})S^2_{Uh1}+N_{h2}^2(1-1/ N_{h2})S^2_{Uh2}$

Por lo tanto, la esperanza de la suma sobre todos los estratos, que coincide con la esperanza de $\hat{V}_1(\hat{t}_y)$ es

$\sum_{h=1}^{H/2}E (\hat{t}_{h1}-\hat{t}_{h2})^2=E(\hat{V}_1(\hat{t}_y))= \sum_{h=1}^{H} N_{h}^2(1-1/ N_{h})S^2_{Uh}+\sum_{h=1}^{H/2}({t}_{h1}-{t}_{h2})^2$

El primer término del sumando corresponde a la varianza real con tamaño de muestra uno y el segundo término es el sesgo positivo del estimador. Se dice que el tamaño del sesgo depende de qué tanto difieran los pares. Es decir, a la hora de construir estos pares, se debe procurar que se parezcan al máximo.

¿Alguna otra idea?

Mi artículo de muestreo en Comunicaciones en Estadística 2011

Aug 8th

Posted in Muestreo

Una estrategia de muestreo es una dupla compuesta de un diseño de muestreo y un estimador, en este artículo se tratará el problema de escoger una estrategia de muestreo representativa para las variables auxiliares con el fin de aumentar la precisión de las estimaciones del total de una variable de interés en una población finita. Aunque existen diseños de muestreo y estimadores que inducen estrategias representativas, se concluye, por medio de una simulación de Monte Carlo que, en términos de eficiencia, no siempre es mejor utilizar un estimador de calibración bajo un diseño de muestreo balanceado, como uno podría suponer.

El artículo lo pueden descargar haciendo clic acá.

My talk in JSM 2011

Aug 8th

Posted in Muestreo

La presentación de esta charla la pueden descargar haciendo clic acá.

Comunicaciones en Estadística Volumen 4 No. 1

Aug 8th

Posted in Bayesiano

http://comunicacionesenestadistica.usta.edu.co/

En el sexto número de la revista Comunicaciones en Estadística queremos extender un afectuoso saludo a nuestros lectores y a través de esta editorial manifestarles nuestro agradecimiento por habernos puesto en un importante lugar en el medio estadístico nacional. Cada vez se acerca más la tan anhelada indexación nacional. Esperamos que en un tiempo muy corto esta publicación esté indexada en una muy buena categoría. Por lo pronto, ya somos reconocidos por Colciencias y estamos dentro de su repositorio de revistas científicas reconocidas.

Este número de la revista Comunicaciones en Estadística abre con un artículo escrito por González y Zambrano, en donde se profundiza en la implementación de cartas de control, sistematizadas en el paquete estadístico R, con el fin de monitorear la media de procesos que se desvían del supuesto usual de ausencia de autocorrelación. Con este fin, los autores implementan varios códigos computacionales que permiten el ajuste de modelos ARMA, cartas EWMA y ajuste de residuales con modelos que asumen autocorrelación.

Por otro lado, Rodríguez y Cepeda consideran algunos resultados de un estudio de la concentración de la tierra en Colombia. Mediante un análisis descriptivo, establecen una relación entre porcentajes de propietarios y porcentajes de tierra acumulada. Este artículo concluye con el análisis de coeficientes de Gini para algunas regiones de Colombia.

El tercer artículo de este número, escrito por Gutiérrez, trata sobre el tema del principio de representatividad en algunas estrategias de muestreo que utilizan información auxiliar para mejorar la eficiencia de las estimaciones. Se trata de un artículo que expone, mediante simulaciones empíricas, que, en algunas ocasiones, es mejor utilizar estrategias de muestreo básicas puesto que inducen mejores resultados que aquellas que utilizan información auxiliar que no está bien correlacionada estructuralmente con la característica de interés.

Camacho, utilizando un modelo lineal generalizado, expone los resultados de un estudio realizado en Colombia, con el fin de encontrar asociaciones de polimorfismos genéticos de algunas razas de bovinos con el desarrollo muscular y el peso al nacimiento. El artículo finaliza con algunas conclusiones sobre el desempeño que poseen ciertas razas sobre el ganado cebuino.

Por último, Ortiz explora las propiedades de la prueba hipergeométrica aleatorizada y propone algunos métodos computacionales que permiten concluir acerca de la eficiencia de la prueba, que está basada en el manejo de datos cuya naturaleza es discreta. En este artículo, Ortiz expone de manera detallada y muy pedagógica que en términos de pruebas estadísticas, la aletaorización está centrada en la regla de decisión y no en el resultado obtenido de la prueba.

Una vez más, desde la Facultad de Estadística de la Universidad Santo Tomás, enviamos un mensaje de agradecimiento a nuestros lectores y les invitamos a hacerse partícipes mediante el envío de sus artículos.

Ideas al azar (Julio)

Jul 23rd

Posted in Libros

Hoy, mientras esperaba por unas copias en la Universidad Nacional de Colombia, me encontré de pronto ojeando libros en la librería de la universidad. Sin darme cuenta, estaba leyendo los prólogos de algunos libros escritos por autores de la universidad. En uno de ellos la autora afirmaba que el libro había nacido debido a la necesidad de los estudiantes de seguir un texto así y bla, bla, bla…

Con respecto a lo anterior me surgen dos ideas al azar… La primera es en forma de exclamación. Lo primero que pensé fue <<ay no, gracias por escribir el libro>>. En realidad no tengo ni idea acerca de las bondades del libro, puesto que ni siquiera es de estadística o matemáticas. Sin embargo, bueno o no, es realmente altruista que una doctora entre en la ardua tarea de escribir un libro de 500 páginas porque los estudiantes lo necesitan. De hecho, me parece una motivación influida de delirios mesiánicos y fuera de tono con la realidad de las nuevas tecnologías. Me explico, es mesiánica porque ella cree que les está haciendo un favor a los estudiantes, que no existe un libro mejor sobre el tema, que no existirá un mejor texto. Realmente, me parece que los estudiantes le están haciendo un favor a ella. Por supuesto, le están comprando el libro, le corrigen los posibles errores, le brindan alegría, entre otras. No creo ni siquiera que el estudiante esté enterado de que existe un gran vacío en la literatura y que sólo la profesora pueda llenar ese vacío.

El segundo pensamiento que tuve fue ¿Por qué no decir simplemente que la motivación es que a ella le gusta esa área de las ciencias, además le gusta enseñar, y por consiguiente, la haría muy feliz enseñar con su libro? No creo que haya nada de malo en eso. De hecho, con esa motivación estoy seguro que se escriben los mejores textos. Es así de sencillo, en materia de libros (pilas, no estoy hablando de investigación formativa) de texto, ya todo está escrito. El cálculo que hoy dictan en las universidades ya se inventó hace muchos siglos, miles de libros han sido escritos. En mi biblioteca, cuento con más de treinta libros de muestreo, incluyendo el mío. A decir la verdad, podría escoger al azar cualquiera y aun así podría dictar un muy buen curso de muestreo. No es que mi libro sea el mejor libro de muestreo, es simplemente que me gusta ese tema, me apasiona y como también me gusta mucho enseñar, pues enseño con el libro que yo escribí. Es por eso que no dicto el curso de muestreo con otro texto, sino con el mío, aun sabiendo que los otros pueden ser considerados como mejores. De hecho, la parte humana se alimenta cuando el alumno se da cuenta que el profesor sí comete errores, que el profesor es de carne y hueso, y eso aumenta el sentimiento de aprecio y, por qué no decirlo la calidad de las exposiciones.

I.D. me preguntó un día ¿para qué escribir un texto de inferencia estadística? Él argumentaba que habían otros textos, seguramente mucho mejores. Pues bien, hoy descubrí que en realidad, ese texto lo escribimos con ninguna motivación científica (eso no quiere decir que no sea un trabajo serio). De hecho, otros libros exponen lo mismo, pero en nuestro proceso de aprendizaje, quisimos plasmar nuestro punto de vista, que es muy diferente al de los otros textos. Quisimos entrar en ese bello camino de mostrarle al estudiante nuestra pasión por la estadística. Realmente lo escribimos con muchas motivaciones personales, pensando en todo tiempo en beneficiarnos de los comentarios de los estudiantes y colegas. Las añadiduras que trae, son simplemente producto de esa pasión y son la mejor versión de nosotros.

Este blog es fiel a esa filosofía, lo escribo porque sí, porque me apasiona, porque me gusta estar en contacto con mis valiosos lectores. No lo escribo pensando en que hay un vacío que llenar, no lo escribo por hacerle un favor a nadie. No creo que mis entradas sean la salvación del gremio. Simplemente lo hago por satisfacerme a mí mismo. Esa es la alegría de mi vida, satisfacerme con las pequeñas cosas.

Mi artículo de muestreo y políticas públicas

Jul 20th

Posted in Enseñanza

El artículo lo pueden descargar acá.

Muy amablemente, la Dirección de Evaluación de Políticas Públicas, del Departamento Nacional de Planeación, me ha invitado a ser partícipe, mediante un artículo, en su publicación Política Pública Hoy. Antés de someterlo quisiera que ustedes los revisaran y me hicieran llegar sus comentarios a mi correo.

Algunas afirmaciones no del todo ciertas (parte I)

Jul 17th

Posted in Muestreo

En muchas ocasiones, debido a mi trabajo, reviso, evalúo y audito muchas propuestas de metodologías de encuestas que abordan una determinada problemática. Me he encontrado con algunas afirmaciones que si bien, pueden llegar a ser ciertas bajo el debido contexto, son utilizadas como clichés y relleno en la propuesta metodológicas. A continuación tres de ellas:

<<El muestreo estratificado es el mejor método de muestreo>> No necesariamente, ya Leonardo Bautista había abordado este tema, esta afirmación la he encontrado en una gran cantidad de propuestas técnicas que utilizan, obviamente, este tipo de diseño de muestreo. Ahora, aunque en esas propuestas la opción de estratificar es adecuada, no es cierto estrictamente que el muestreo estratificado sea el mejor. De hecho, la varianza del diseño aleatorio estratificado puede llegar a ser más grande cuando no hay una clara homogeneidad en el comportamiento de la característica de interés dentro de los estratos.
<<La asignación de probabilidades desiguales inducen sesgo al estimador>> Esta frase es cierta, siempre y cuando el estimador que se utilice sea el estimador de expansión, es decir N veces y barra. La frase pierde su validez cuando se utiliza el estimador de Hansen-Hurwitz, para el caso de muestreos con reemplazo, o cuando se utiliza el estimador de Horvitz-Thompson, en muestreos sin reemplazo. Ahora, lo natural es que si el diseño es con probabilidades desiguales, pues no se utilice el estimador de expansión.
<<Los conglomerados de tamaño desigual aumentan la varianza de estimador>> Es por esto que, en encuestas probabilísticas, se crean conglomerados pequeños, a nivel de manzana, o subsección cartográfica, e incluso hogares. Esta es una práctica muy pertinente, siempre y cuando el muestreo de los conglomerados sea aleatorio simple sin reemplazo. Por supuesto, como la varianza del estimador de expansión está en función de la varianza de los totales de los conglomerados, entonces si hay harta variación en los tamaños, habrá harta variación en los totales y por consiguiente la varianza del estimador será alta. De otra forma, si se tiene conocimiento de una característica de información auxiliar a nivel de conglomerados, es posible definir un diseño de muestreo con conglomerados muy desiguales en tamaño, pero que al final induzcan una muy pequeña varianza en el estimador, incluso más pequeña que la del muestreo aleatorio simple con conglomerados iguales en tamaño.

PD: En algunos estudios de consumo, una característica de información auxiliar muy correlacionada con los totales (cantidad de consumo total) de los conglomerados es el tamaño mismo de los conglomerados. Es muy cierto que el consumo está correlacionado con el tamaño del conglomerado, pues entre más personas haya en el conglomerado, mayor el consumo, y viceversa. De hecho, en los libros clásicos de muestreo, a las características de información auxiliar se les llama variables de tamaño, justamente porque se derivan del tamaño de los conglomerados.

I Concurso de Análisis de Datos con R

Jul 17th

Posted in R

Como una actividad complementaria a las III Jornadas de Usuarios de R, a celebrar en Madrid el 17 y 18 de noviembre de 2011. Nestoria y Lokku Labs buscan mejorar la comprensión y la información que se puede obtener de sus bases de datos y pretenden contactar con brillantes estadísticos que aporten un valor añadido a los datos disponibles sobre precios de viviendas. Los organizadores, por su parte, desean mostrar las aplicaciones del R en el ámbito empresarial y demostrar el beneficio que pueden obtener las empresas analizando sus bases de datos con R.

1.500€ en premios… y más

El ganador obtendrá un cheque por importe de 1.000 euros y el segundo otro por 500 euros, además del certificado correspondiente en ambos casos. El concurso se podrá declarar desierto si el jurado considera una escasa calidad o interés en los trabajos presentados. Asimismo, uno o más de los participantes podrán ser invitados a una entrevista de trabajo en Londres, Reino Unido, para una colaboración inicial de tres meses en la sede central de Nestoria. Todos los participantes recibirán un certificado de su participación en el concurso con el título de su trabajo.

La página de las bases de la competición es: http://www.usar.org.es/concurso_es.php

Que no y que no y que no… ¡No es estratificado, es por cuotas!

Jul 13th

Posted in Estadística

5 comments

DG me escribe lo siguiente: Andrés, le escribo para sugerirle que incluya este artículo en su blog. Puede ser un error, pero si no lo es, la comunidad estadística debe manifestarse de alguna manera.

Se trata de una encuesta de percepción para la alcaldía de Bogotá, esta medición la realizó la firma encuestadora Ipsos Napoleón Franco y en la ficha técnica se puede encontrar esta descripción del diseño de muestreo: “Tipo de la muestra: Muestreo no probabilístico, aleatorio estratificado, por conglomerados.”

Lo único que puedo decir es “no hay derecho”… No hay derecho a que una firma tan respetable y de tanta trayectoria cometa este tipo de errores. Puede no serlo, pero a mi parecer no se trata de un error tipográfico sino de un intento de darle un estatus de ciencia a una encuesta que es simplemente una medición de percepción al azar. Se me antoja que, en este escenario, es muy aplicable el viejo y conocido refrán “confunde y reinarás“. Es una más de las expresiones de autenticidad de los empresario latinoamericanos.

Andrew Gelman afirma que una encuesta no es una encuesta, a no ser que se describa cómo fueron recolectados los datos y cómo se hizo el análisis de la información. De hecho, no es posible confiar en ningún reporte técnico que no explique la manera de recolección de la información; pero en este caso vale la pena, no sólo desestimar los resultados de la medición, sino también rechazar este tipo de prácticas que sólo confunden a la opinión pública. Si esta, o cualquier otra firma, contratara con el Estado para realizar un levantamiento de información que resultara ser “no probabilístico, pero aleatorio estratificado”, sí habría herramientas para levantar algún tipo de acción judicial. Es algo así como que se contratara un puente de concreto y el contratista entregara un puente de madera; algo como que se contratara una troncal en una gran ciudad y se entregara un camino de herradura; algo como que se contratara un dique para resistir el embate del invierno, y el dique se rompiera a las pocas semanas de haberse contruido. Qué vaina que los Colombianos nos acostumbremos a estas instancias tan mediocres.

Insisto, si hubiese una asociación de estadísticos en Colombia, podríamos hacer mucho ruido y tomar medidas conjuntas, como por ejemplo enviar una nota de protesta ante el Consejo Nacional Electoral, para que frene este tipo de prácticas hediondas. Pero ya habrá tiempo para eso… mientras tanto, seguiré escribiendo estas entradas para que alimenten la indignación de nuestro adormecido “gremio”.

Bradley Efron sobre genes y micro-arreglos… Inferencia a gran escala (Parte 2)

Jul 12th

Posted in Bayesiano

Algoritmos para chequear la significión estadística

El tercer capítulo del libro de BE empieza abordando el tema de las pruebas de hipótesis que se realizan simultáneamente. El autor hace una reseña del libro Simultaneous Statistical inference, escrito por Rupert Miller en 1966, y concluye que este gran aporte, que es en esencia de tipo frecuentista, se enfoca en el control del error tipo I y se enfoca en situaciones de comparaciones múltiples para situaciones de casos entre dos y diez. Por supuesto, con los avances científicos, ahora se tiene que considerar comparaciones múltiples con muchos más individuos. Con base en lo anterior, este capítulo, a manera de repaso obligatorio, aborda algunos algoritmos que se utilizan para controlar el error tipo I.

Antes de empezar el recuento de los procedimientos de comparaciones múltiples, el autor discute el uso y abuso de los valores p, que suponen un lenguaje universal para las pruebas de hipótesis estadísticas. Análogamente, plantea su similitud con los valores z, que se definen como la función inversa de la función de distribución de una normal estándar, evaluada en la realización del valor p. Algunas caracterizaciones de los procedimientos son visibles a simple vista con la realización de un histograma, dado que, bajo la hipótesis nula, los valores p tienen distribución uniforme en el intervalo cero-uno, y los valores z, tienen distribución normal estándar. Por ejemplo, es posible chequear las discrepancias que se presentan entre las barras del histograma y la distribución teórica, como picos o colas pesadas.

Luego, el autor presenta la tasa de error family-wise (FWER, por sus siglas en inglés), definida como la probabilidad de realizar al menos un falso rechazo en una familia de pruebas de hipótesis. Un procedimiento de control FWER es un algoritmo que, al ingresar una familia de valores p, arroja una lista de hipótesis nulas aceptadas y rechazadas, sujeta a que la FWER sea menor o igual al error tipo I.

Los límites de Bonferroni son un claro ejemplo de un algoritmo de control, el cual no requiere del supuesto de independencia entre los valores p. El procedimiento de Sidák presenta mejores resultados que los límites de Bonferroni, pero supone independencia. El procedimiento de Holm presenta un mejor desempeño, puesto que sus regiones de rechazo son más grandes. Luego, el autor introduce los algoritmos paso a paso y los algoritmos basados en permutaciones.

Bradley Efron sobre genes y micro-arreglos… Inferencia a gran escala (Parte 1)

Jun 23rd

Posted in Bayesiano

Hace unas semanas el Journal of Official Statistics me envió el último libro de Bradley Efron (BE), Large-Scale Inference, para hacerle una reseña. A parte de que es una gran dignidad hacerle una reseña a este autor, inventor del Bootstrap y el único estadístico ganador de la Medalla Nacional de las Ciencias (el más grande honor científico en los Estados Unidos), voy a dedicar un par de entradas para abarcar este tema que es realmente apasionante y concluir con la reseña. La idea es que con sus comentarios se enriquezca la reseña.

En primer lugar, algo realmente digno de mencionar es la diferenciación que hace BE acerca de la historia de la estadística como una disciplina reconocida:

La era de Quetelet y sus sucesores, en la cual se utilizaron enormes conjuntos de datos, provenientes de censos, para resolver preguntas simples pero muy importantes: ¿nacen más mujeres que hombres? ¿La tasa de mortalidad de los niños está aumentando?
El periodo clásico de Pearson, Neyman, Fisher y Hotelling, gigantes intelectuales que desarrollaron una teoría de inferencia estadística tan buena que es capaz de sacar hasta la última gota de información en experimentos científicos. Las preguntas en este periodo seguían siendo simples: ¿El tratamiento A es mejor que el tratamiento B? Sin embargo, estas nuevas metodologías están supeditadas a los pequeños conjuntos de datos que los investigadores pudiesen recolectar.
La era de la producción científica masiva, en donde las nuevas tecnologías, tipificadas por los micro-arreglos, que permiten la producción de datos de un tamaño que el propio Quetelet envidiaría. Esta era está acompañada por muchísimas preguntas y quizás miles de estimaciones y pruebas de hipótesis que el estadístico debe resolver. Definitivamente, no es la clase de trabajo que el estadístico clásico tenía en mente.

Abordando el problema

Los dos primeros capítulos del libro tratan el problema general. Cuando se tiene una gran masa de datos, el enfoque que se debe utilizar es multivariante. De manera tradicional, el enfoque más utilizado es el de máxima verosimilitud. Sin embargo, que sea el más utilizado no implica que sea el correcto. BE cita el trabajo de Stein en 1955 que conmovió las bases de la estadística con un resultado que asegura que, para dimensiones mayores a dos, el estimador de máxima verosimilitud puede ser mejorado en términos del error cuadrático total esperado. Más adelante, Stein desarrolló junto con James un estimador basado en la metodología de Bayes empírico, que domina al estimador de máxima verosimilitud, para cualquier escogencia de distribución previa. Aunque el estimador de James-Stain sea mejor, lo cierto es que para algunas circunstancias subestima al parámetro de interés, razón por la cual es a veces preferido el uso del estimador de máxima verosimilitud. El primer capítulo, así como a lo largo de todo el texto, hace énfasis en el desarrollo de problemas, teóricos y prácticos, que contextualizan la lectura.

Micro-arreglos

Mediante un ejemplo de micro- arreglos, el segundo capítulo aborda la problemática de las pruebas de hipótesis para grandes masas de datos. Este ejemplo, enmarcado en un estudio de cáncer de próstata, mide los niveles de expresión para 6033 genes en 102 pacientes, 50 controles y 52 tratamientos. De esta manera, se establece una matriz de dimensión 6033 X 102, con entradas x_ij, concernientes al nivel de expresión del gen i en el paciente j. El interés está en conocer si algún gen hace diferencia en el desarrollo de cáncer de próstata, entre controles y tratamientos. Para esto, la estadística clásica recomendaría el uso de la prueba t para cada uno de los 6033 genes, para probar la hipótesis nula Ho: el gen es nulo. Bajo los supuestos clásicos de muestreo de una distribución normal, la estadística de prueba normalizada tendrá distribución normal estándar. Suponiendo que la expresión genética es independiente para cada gen, entonces un histograma de los 6033 valores de las estadísticas de prueba, y basado en la hipótesis nula, debería ajustar a una curva de densidad normal estándar. Las barras que no ajustan indican sospecha de la no nulidad del gen.

El enfoque frecuentista a este tipo de problemas está basado en el uso de los límites de Bonferroni, al ajustar el valor crítico de 0.05 a 0.05/6033. Sin embargo, este acercamiento subestima el número total de genes no nulos. Por otra parte, al proponer distribuciones previas para la probabilidad de que el gen sea nulo y para la probabilidad de que el gen sea no-nulo, se crea un enfoque Bayesiano, al suponer una verosimilitud para los datos, que permite además permite estimar la tasa de descubrimientos falsos.

¡Que no y que no! No hay poblaciones infinitas

Jun 17th

Posted in Muestreo

10 comments

Después de 40, la población se considera como infinita.

Esta es la excusa perfecta a la que convergen los profesionales de todas las disciplinas cuando quieren defender sus ideas del tamaño de muestra o simplemente cuando su impertinencia hace que hablen más de la cuenta. Lo cierto es que esa regla de los cuarenta y las poblaciones infinitas se hace muy difícil de entender. Tal vez yo no sea demasiado avezado para comprender tal “teorema” del muestreo, pero a continuación expondré mis argumentos y con eso me daré por bien servido, porque será un medio para desfogar mi ira, no contra mis colegas de otras disciplinas, sino contra la idiosincrasia impertinente que domina estas latitudes.

Un buen ejemplo del dominio de este arte, diría yo oscura, de dominar el infinito, lo viví hace poco en una reunión en la que se negociaba la realización de un estudio con una firma encuestadora de renombre nacional. Uno de los presentes hizo un comentario que me hizo sentir todo un neófito en temas estadísticos. Se trataba de un profesional no estadístico, que de verdad admiro mucho por sus características administrativas, que exponía que cuando él estaba en la universidad, cursando el pregrado, tomó una clase de probabilidad en donde el profesor hacía referencia a la ley fuerte de los grandes números. Después de argumentar lo anterior, afirmó que el tamaño de muestra en el estudio en cuestión era adecuado porque después de cierto número de encuestas la población se consideraba infinita.

Otro ejemplo lo viví en el marco de una asesoría que realicé a una propuesta técnica en la que me disgustaba el tamaño de muestra que habían propuesto. Yo sugerí que debían aumentar el tamaño de muestra para que se alcanzaran los errores mínimos de muestreo. Craso error… Acto seguido, me citaron a una reunión a la que asistió hasta el gerente de la compañía para indagar más acerca de mi recomendación. En esa reunión, uno de los funcionarios de la firma, con marcador en mano, me < > que no se debía aumentar el tamaño de muestra, puesto que la población era grande y esto era equivalente a que la población pudiera ser considerada como infinita. Por tanto, el tamaño de muestra que ellos proponían no debía cambiar. Lo más valioso, en ese proceso de aprendizaje, ocurrió cuando el funcionario dibujó en el tablero una curva y me explicó el concepto de asíntota.

En primer lugar, y esto lo digo en mis clases, yo jamás he trabajado en estudios o investigaciones que involucren poblaciones infinitas. Realmente no creo que ninguno de mis colegas estadísticos lo haya hecho alguna vez. De hecho, si alguna vez me ofrecen trabajar en alguna investigación que tenga como objeto una población infinita, yo declinaría inmediatamente la oferta, simplemente porque el infinito es algo que yo no entiendo aún, incluso cuando algunos colegas estadísticos y no estadísticos parecen dominarlo con excelencia.

Mi segundo argumento puntual es el siguiente: no existen poblaciones infinitas. O.K., existen las estrellas, los átomos y demás. Pero ese tipo de poblaciones no son de interés en estudios sociales, o de mercadeo, que es donde se utiliza el muestreo. Como ese tipo de poblaciones no es de interés, entonces no me gusta que me salgan con argumentos traídos de los cabellos.

Tercero, aunque la teoría de probabilidad es la base del muestreo, no es posible afirmar que las poblaciones son infinitas. En realidad, si después de cuarenta, todas las poblaciones son infinitas, entonces todas las estrategias de muestreo serían iguales, todos los tamaños de muestra serían iguales y todos los errores de muestreo serían los mismos. En estudios por muestreo, el hecho de que la población sea grande, no garantiza nada.

Cuarto, la inferencia que nos enseñaron en el pregrado, no es apta para ningún diseño de muestreo, a excepción del diseño de muestreo aleatorio simple con reemplazo. Espero que esto quede claro, si usted o sus clientes realizan una muestra, la inferencia que se debe utilizar es diferente a la que nos han enseñado, y esto se debe tener en cuenta cuando se realizan los diseños del tamaño de muestra.

Quinto, no es cierto que entre más muestra haya, menos error de muestreo existe. Lo anterior, si bien es válido para estrategias de muestreo aleatorias simples, no es necesariamente lo que ocurre cuando se utilizan diseños de muestreo complejos. Por ejemplo, si se utiliza un diseño de muestreo de tamaño de muestra aleatorio, como Bernoulli o Poisson, así se realice un censo, va a existir error de muestreo. Por lo tanto, la asíntota en estos casos es simplemente un argumento que no aplica en nada.

Seis, que por favor, por misericordia, el que no sepa de muestreo que no se meta, que no opine y que no se inmiscuya en asuntos que no le conciernen. Yo, siendo estadístico, jamás opinaría acerca de un modelo de riesgo o de un modelo de series de tiempo. Así de sencillo, un curso en pregrado no es suficiente para licitar, no es suficiente para auditar y no es suficiente para siquiera pretender dar una estimación del tamaño de muestra en un estudio. Si se quiere ser efectivo, hay que especializarse en el tema. Afortunadamente, cada vez son más los muchachos que se interesan por el muestreo. Alguien me dijo que hay más de sesenta alumnos en la UNAL-Bogotá en muestreo II y en la USTA-Bogotá la cifra, si bien no es tan alta, no es nada despreciable y es una de las electivas más pedidas.

Respuestas al manifiesto

May 17th

Posted in Bayesiano

16 comments

Algún lector anónimo escribe lo siguiente:

Andrés,

Para impulsar estas ideas, hay que empezar por el principio.

¿De qué sirve una escuela con buenos profesores pero alumnos malos, desmotivados? definitivamente la prioridad 1 se debe enfocar en formar excelentes estudiantes motivados por el quehacer científico porque de nada sirve inflarse por inflarse.

¿Cuántos profesores motivan a sus estudiantes para estudiar en las mejores escuelas del mundo en el departamento de estadística en Colombia? Los dedos de una mano son demasiados para hacer la cuenta.

¿Qué intercambios interfacultades con prestigiosas universidades con área en estadística maneja la Universidad Nacional de Colombia?

Hay algunas de sus premisas que deben ser estudiadas en detalle antes de echarlas a ruedo porque como casi todo en la vida, se necesitan pre-requisitos.
Todas ellas hablan de un después de un Estadístico ya formado y NO en formación, por ejemplo dígame usted, para quién va dirigido el Workshop que hace la USTA?, porque los alumnos de allá presentan trabajos muy regulares y ellos tanto como los de la nacional asisten muy poco sabiendo que vienen excelentes profesores reconocidos internacionalmente a dar conferencias de muy alto nivel, por favor seamos consistentes en los sueños, primero lo primero. No confundamos el VERDADERO desarrollo científico nacional en estadística con el crecimiento desmesurado de la misma.

Saludes!

Querido lector anónimo… gracias por su comentario… Permítame responder a sus acotaciones:

¿De qué sirve una escuela con buenos profesores pero alumnos malos, desmotivados?

Me parece muy importante su pregunta, que a la vez resalta su punto de vista sobre nuestra práctica académica. Sin embargo, quisiera reiterarle que si existen buenos profesores y alumnos malos, entonces es muy discutible el calificativo de <<buenos profesores>>. Por otro lado, en mi experiencia recorriendo las facultades (o departamentos) de estadística en Colombia (sí, a mi corta edad soy bien destacado en Bogotá, Medellín, Cordoba, Tolima, entre otras, y conozco la excelente labor que se adelante en cada una de esas escuelas) me he encontrado con excelentes profesores y excelentes alumnos. Así que, en honor a la verdad, me permito contradecirle puesto que lo que yo veo, a diferencia suya, es un conglomerado de alumnos motivados, apoyados por unos excelentes profesores. Pero, respondiendo a su pregunta, y suponiendo que así fuera, una escuela con buenos profesores y malos alumnos sirve como caldo de cultivo para que los que se creen buenos profesores profundicen más y se bajen de la nube, porque seguramente, si hay malos alumnos es porque los profesores son aún más malos. Después de que los excelentes profesores se den cuenta de su verdadero estatus, entonces verán que sus alumnos no son malos. Pero, una vez más, eso no es lo que pasa en el país.

¿Cuántos profesores motivan a sus estudiantes para estudiar en las mejores escuelas del mundo en el departamento de estadística en Colombia?

No lo sé, pero creo que la mayoría. Si le sirve de algo, cuando yo estudiaba en el pregrado y maestría, el 80% de mis profesores alguna vez me mencionaron que yo debía salir a estudiar en el exterior. Además, me impulsaron y patrocinaron con dinero para presentar mis trabajos de muestreo en el exterior. Resultado de esto, conocí a profesores internacionales que me ofrecieron becas para estudiar en Europa. No me fui, porque creo que el papel que debo jugar está al pie de mi familia, que en ese momento atravesaba una difícil situación de victimización por la violencia en Colombia. Si de algo le sirve, estoy seguro de que la mayoría de estudiantes colombianos en el exterior fueron motivados por los buenos profesores para aceptar el reto de estudiar en las mejores escuelas del mundo. Como organizador de los Workshop de la USTA, he tenido el agrado de conocer a personalidades muy importantes de la estadística en el mundo y mi sorpresa ha sido grata al escuchar del buen desarrollo de estudiantes colombianos en sus facultades. Así, que una vez más, me permito contradecirlo. Los profesores sí motivan a sus estudiantes. Por otra parte, me sorprende saber que usted tenga tantos dedos en su mano.

¿Qué intercambios inter-facultades con prestigiosas universidades con área en estadística maneja la Universidad Nacional de Colombia?

No lo sé, pero en el caso de la USTA tenemos convenios activos con la Universidad De Buenos Aires, con la UNAM y con varias universidades de Chile. Este semestre recibimos dos estudiantes de estadística en intercambio desde la UNAM y dos muchachas de acá van a terminar sus estudios en universidades de Brasil. Si eso lo hacemos nosotros con cuatro años, me imagino que la Universidad Nacional de Colombia debe tener muchos más convenios. Aunque las estadísticas exactas son desconocidas para mí. Pero creo que los invitados al simposio dan cuenta de las excelentes relaciones que tienen la UNAL con otros departamentos en el mundo.

¿Para quién va dirigido el Workshop que hace la USTA?

Para estadísticos egresados y en formación. Siempre hay un par de cursos introductorios y un par de cursos avanzados. Y siempre hay espacio para que los muchachos presentes sus trabajos resultantes de investigaciones pequeñas surgidas en los semilleros de investigación.

Los alumnos de allá (USTA) presentan trabajos muy regulares y ellos tanto como los de la nacional asisten muy poco sabiendo que vienen excelentes profesores reconocidos internacionalmente a dar conferencias de muy alto nivel.

Tres cosas, la primera es que, a no ser que usted sea parte del equipo de docentes en la USTA (que no creo), se abstenga de lanzar esa clase de juicios con respecto a la clase de trabajos de los alumnos de la USTA. La segunda es que me permito informarle que los alumnos de la USTA son muy buenos y están siendo reconocidos localmente por su compromiso y entrega. Prueba de esto son muchas convocatorias de trabajo a la decanatura y a mi oficina, pidiendo alumnos para trabajar. Por otro lado, le garantizo que los alumnos de la USTA son muy buenos pues han sido formados por mí, por Jorge Ortiz, por Francisco Rincón, por Felipe Ortiz, por Hanwen Zhang, entre otros. Y déjeme decirle que nosotros conformamos una excelente planta docente, reconocida a nivel local. Y como somos buenos profesores, consideramos que nuestros alumnos son buenos. En tercer lugar, si los invitados internacionales vienen a dar conferencia de altísimo nivel, es más que entendible que los alumnos no asistan a esas conferencias y prefieran asistir a conferencias más descifrables.

No confundamos el VERDADERO desarrollo científico nacional en estadística con el crecimiento desmesurado de la misma.

¿A qué se referirá usted con el verdadero desarrollo científico nacional? Tal vez a sus múltiples artículos en revistas indexadas internacionalmente, o a sus muchos libros publicados por editoriales de punta, o a su extensa participación como invitado en eventos mundialmente reconocidos. Si es así, déjeme felicitarle de todo corazón.
Así como yo quiero ser cabeza de ratón, usted ha decidido se cola de león y es muy respetable. Sin embargo, en estas metas no estoy contemplando nada de procesos investigativos (que sí son muy importantes) sino cosas más terrenales y vulgares (pero aún más importantes) como el afianzamiento de nuestro gremio y la unión generada e institucionalizada en una asociación de PROFESIONALES (no de investigadores) en estadística. Le invito a crear su propia asociación de Investigadores de alto nivel en estadística. Estoy seguro que los dedos de su mano le alcanzarán para contar los posibles miembros. Por lo demás, no sobra invitarlo a que haga parte de nuestro esfuerzo que tendrá muchas manos unidas en pro de nuestros profesionales.

Manifiesto: quiero ser cabeza de ratón

May 17th

Posted in Bayesiano

9 comments

Quiero ser cabeza de ratón… No me interesa cambiar el mundo… quiero impactar en mi país y en mi región… Desde hoy y en los próximos treinta años voy a:

Impulsar la creación de la Asociación Colombiana de Estadísticos.
Ayudar en el posicionamiento y estabilización del gremio a través de la publicación y divulgación de ofertas laborales y de investigación en un portal institucional liderado por un consejo de facultades de estadística en Colombia.
Promover la institucionalización de la tarjeta profesional para los estadísticos.
Motivar la creación de un programa de posgrado en metodología de encuestas.
Posicionar la Revista Comunicaciones en Estadística.
Organizar un encuentro bienal de Estadística Aplicada, patrocinado por la Asociación Colombiana de Estadísticos, y promovido por las universidades públicas y privadas y también por las empresas privadas y los institutos de estadísticas oficiales.
Crear una editorial de libros de texto en estadística.

Y lo más ambicioso y controvertido:

8. Impulsar la acreditación de los estadísticos en Colombia. Eso promoverá más competencia y más calidad… El estadístico graduado debe acreditarse ante un consejo de expertos. Algo así como los exámenes de la SOA en actuaría… Pues bien, habrán exámenes de la ACE en estadística. El que no los quiera presentar va a quedar en desventaja frente a los que sí nos acreditemos. Muchos estadísticos hispanoamericanos vendrán de otros países para acreditarse e Colombia.

Claro, no puedo hacerlo solo… sería imposible… Le pido a Dios que me ayude y a los lectores de este espacio que piensen en estas ocho opciones y que apoyen nuestros esfuerzos en este largo y tedioso proceso. Surgirán muchas críticas y rivalidades…. No me importa, me la juego por el gremio. En últimas, las ventajas son mucho más claras y los beneficiados no seremos nosotros directamente, sino la próxima generación de estadísticos.

El principio de representatividad (My talk in Ibague)

May 12th

Posted in Inferencia

La teoría y práctica de la inferencia basada en el diseño de muestreo descansa en el principio de la representatividad de las muestras; este artículo discute el papel que este principio juega en la consideración de la mejor estrategia de muestreo para la consecución de estadísticas oficiales. En algunas ocasiones, el estadístico puede diseñar un excelente plan de muestreo que al final no es considerado en la etapa de estimación debido a la escogencia de un determinado estimador; en algunas otras ocasiones, el estadístico puede agotar todos sus recursos en la búsqueda de un excelente estimador y restar importancia a la forma de consecución de la información. Aunque la práctica estadística es difícil en el sentido de determinar cuál es el mejor diseño de muestreo y cuál es el mejor estimador, el estadístico debe paliar este tipo de situaciones considerando que en realidad se trata de escoger una estrategia óptima para cada tipo de investigación. Descargar la presentación acá.

La entropía de un diseño muestral

May 3rd

Posted in Muestreo