“Llegará el día en el que el pensamiento estadístico será una condición tan necesaria para la convivencia eficiente como la capacidad de leer y escribir” — H.G. Wells
Posts tagged Estimador
Inferencia: Modelos o Aleatorización
Jul 27th

Las nociones de la inferencia en poblaciones finitas fueron expresadas hace más de 60 años en muchos libros clásicos como Cochran, Hansen, Hurwitz y Madow, Deming, Muthy, Des Raj y otros. La teoría de muestreo era aplicada desde la perspectiva misma de la selección aleatorizada de posibles muestras en la población finita. Dependiendo de las circunstancias prácticas, la selección se hacía de distintas maneras: muestreo aleatorio simple, muestreo aleatorio estratificado, muestreo de conglomerados, muestreo en dos etapas, etc. El muestreo era considerado como la actividad primaria y la estimación nunca fue considerada como una práctica separada sino como una consecuencia automática. Lo anterior se debía a que cada tipo de diseño de muestreo inducía un estimador cuyas propiedades estadísticas como el insesgamiento y la varianza eran establecidas de antemano con el diseño y así, la varianza era calculable y estimable.
Así que, para la década de los 60′s, muchos creyeron que la investigación en el campo del muestreo y de la inferencia en poblaciones finitas ya estaba muerta porque se deberían inventar nuevas formas de selección de muestras (tarea ardua y difícil), más allá de las que se cubrían en los libros clásicos del muestreo. Aunque el estimador de razón fue considerado en algún detalle por los textos de referencia, la inclusión de varias variables de información auxiliar no se vio como un tópico que prometiera rédito alguno para emprender el camino de la investigación en esa vía.
En la década de los 70′s, varios autores dieron un viraje en su perspectiva epistemológica de la inferencia en poblaciones finitas. Es así como Basú, Brewer, Godambe y Royall, entre otros, consideraron los modelos estadísticos (en sintonía con la estadística clásica Fisheriana) como los verdaderos fundamentos de la estimación e inferencia en poblaciones finitas. Su trabajo se cimentó alrededor de la posibilidad de tener una inferencia que dependiera estrictamente del modelo propuesto y no tuviera nada que ver con el diseño de muestreo utilizado en la recolección de los datos. Como consecuencia, la atención se tornó alrededor de la estimación y se dejo de lado el muestreo por la relación existente o propuesta entre la característica de interés y las variables de información auxiliar.
El camino que tomó la historia del muestreo fue, precisamente, la incorporación de las dos corrientes de pensamiento bajo una sola sombrilla. Así que, fue posible combinar la Aleatorización clásica con un percepción más general de la relación de y con x. No hubo necesidad de sacrificar los principios basados en la aleatorización. Así nació la inferencia asistida por modelos pero basada en ala aleatorización (model assited desig-based inference por su original en inglés). Este nuevo tipo de inferencia se hizo muy atractiva porque la regresión y los modelos acompañan al estadístico desde sus primeros cursos y van tomando más fuerzas a medida que se avanza en el camino universitario. Así que, este pensamiento “asistido por modelos” es un matrimonio efectivo y tolerante que permite las ideas de la regresión junto con el paradigma de la aleatorización.
Jan Wrettman opina que el ajuste de un modelo se ha convertido en parte integral de la teoría clásica del muestreo, aunque los principios de la misma deben permanecer intocables porque as propiedades de los estimadores son evaluadas con respecto al mecanismo de probabilidad que genera la muestra y no con respecto a cualquier modelo asumido.
Adaptado de JOS (2005)
Acerca de la estadística Bayesiana
Apr 8th

En la página web del autor del éxito en ventas “Bayesian Data Analysis” se encuentra un punto de vista acerca de la inferencia realizada por los estadístico Bayesianos.
La inferencia Bayesiana es una teoría matemática coherente pero no brinda la suficiente confianza en usos científicos. Las distribuciones a priori subjetivas no inspiran confianza porque ni siquiera existe algún principio objetivo para elegir una a distribución a priori no informativa (incluso si ese concepto estuviera definido matemáticamente, pues no lo está). ¿De dónde vienen las distribuciones a priori? No confío en ellas y no veo ninguna razón para recomendarlas a otra gente, apenas me siento cómodo acerca de su coherencia filosófica.
La teoría Bayesiana requiere un pensamiento mucho más profundo sobre la situación y recomendar el teorema de Bayes para el uso de los científicos es como darle al hijo del vecino la llave de un F-16. De veras que, yo comenzaría con algo de métodos probados y confiables, y entonces generalizaría la situación utilizando los principios estadísticos y la teoría del minimax, que no dependen de ninguna creencia subjetiva. Especialmente cuando las distribuciones a priori que veo en la práctica toman formas conjugadas. ¡Qué coincidencia!
Dejando de lado las preocupaciones matemáticas: Me gustan las estimaciones insesgadas, los intervalos de confianza con un nivel real de cobertura. Pienso que la manera correcta de inferir es acercarse al parámetro tanto como sea posible y desarrollar métodos robustos que trabajen con supuestos mínimos. El acercamiento Bayesiano intenta aproximar el insesgamiento, mientras asume supuestos más y más fuertes. En los viejos tiempos, los métodos Bayesianos por lo menos tenían la virtud de estar matemáticamente limpios. Hoy en día, cualquier inferencia se realiza mediante el uso de las cadenas de Markov mediante métodos de Monte Carlo (MCMC). Lo anterior significa que, no sólo no se pueden evaluar las características estadísticas del método, sino que tampoco se puede asegurar su convergencia.
La gente tiende a creer los resultados que apoyan sus preconceptos y descreen los resultados que los sorprenden, ésta es una forma errada y sesgada de pensar. Pues bien, los métodos Bayesianos animan este modo indisciplinado de pensamiento. Estoy seguro que muchos estadísticos Bayesianos están actuando de buena fe. Sin embargo; al mismo tiempo, están proporcionando estímulo a científicos descuidados y poco éticos por todas partes, porque el investigador queda estancado al momento de escoger una distribución a priori.
Y para no pasar a temas más críticos, termino la discusión con lo que los Bayesianos piensan acerca de la recolección de los datos. Los cálculos de la teoría Bayesiana de la decisión guían a la idea de que el muestreo probabilístico y la asignación aleatoria de tratamientos son ineficaces, de que los mejores diseños y muestras son los deterministas. No tengo ninguna conflictos con estos cálculos matemáticos — el conflicto es más profundo, en los fundamentos filosóficos, en la idea de que el objetivo de la estadística consiste en tomar una decisión óptima. Un estimador Bayesiano es un estimador estadístico que reduce al mínimo el riesgo promedio. Sin embargo, cuando hacemos estadística, no estamos intentando “reducir al mínimo el riesgo promedio“, estamos intentando hacer estimación y juzgamiento de hipótesis.
No puedo estar al tanto de lo que están haciendo todos esos Bayesianos hoy en día –desafortunadamente, toda clase de personas están siendo seducidas por las promesas de la inferencia automática con la “magia de MCMC “– pero desearía que todos paráramos de una vez y por todas y empezáramos, de nuevo, a hacer estadística de la forma en que debe ser hecha, volviendo a los viejos tiempos en que un p-valor era utilizado para algo, cuando un intervalo de confianza tenía significado, y el sesgo estadístico era algo que se quería eliminar y no algo que se debiera abrazar.
El autor de este blog, comparte algunas ideas de la anterior disertación. Sin embargo, reconoce la magnitud y el impacto que los Bayesianos han tenido no sólo en el desarrollo de la teoría estadística sino también en el pensamiento estadístico del autor. La estadística Bayesiana debe ser utilizada con expertise. Al ser utilizada por investigadores neófitos puede ser tergiversada. Sin embargo, el mal uso que se le dé a un método no involucra su credibilidad, sino la ignorancia del investigador.
La muerte de los mínimos cuadrados
Apr 5th
Un estudiante recién graduado se pregunta preocupadamente: “¿Todo lo que sé son mínimos cuadrados (MC)?, estos resultados no convencerán a nadie”. Un profesor pone en su puerta un letrero de MC encerrado en un círculo rojo con la raya negativa. Un gurú en modelamiento alaba la estimación máxima verosímil y maldice el método de MC. Todos ellos se están preguntando ¿Están muertos lo mínimos cuadrados (MC)? En el artículo de Krueger y Lewis-Beck se discute el estado del arte en relación a la estimación MC con base en ciencias políticas.
El análisis de regresión, en algunas versiones, ha servido como caballo de batalla en ciencia política. Dados los supuestos clásicos, existen dos corrientes en cuanto a la optimalidad del estimador MC. Unos argumentan que el estimador es robusto, pero otros argumentan que es un estimador muy frágil. Partiendo desde la perspectiva de fragilidad, entonces el uso del método MC puede resultar problemático. Tomando en cuenta estos argumentos, además de la incrementada atención en nuevos métodos de estimación, lo que esperaríamos es que los MC hayan cesado de aparecer en las investigaciones recientes.
Para asegurarse de esto, se han examinado una gran cantidad de publicaciones recientes (en el contexto de ciencia política) en los journals más leídos. En total N = 1756 artículos publicados. La tabla siguiente muestra la frecuencia de uso para diferentes técnicas cuantitativas. Esas técnicas pueden ser clasificadas como más o menos sofisticadas que los MC.
De acuerdo a esta clasificación, los MC es la técnica más popular, apareciendo en casi el 31% de los artículos. Tomando juntos, los estimadores que parecen ser más sofisticados – logit, probit, series de tiempo, técnicas de máximo verosimilitud, variables latentes, simulación, regresión avanzada – aparecen con un 43%. Los demás métodos cuantitativos que son menos sofisticados que los MC tienen un 21% de aparición.
Los MC no están muertos. Por el contrario, parece ser la principal técnica de análisis multivariado de los investigadores que publican en los principales journals. La academia debe tener en cuenta el buen funcionamiento de estos estimadores y las ventajas putativas de éste método debe estar siempre presente pues los MC ofrecen una lengua común interdisciplinaria à Es un método de fácil cálculo, de fácil entendimiento y de fácil interpretación. Por otra parte, no hay que olvidar que sigue siendo el mejor estimador lineal insesgado (BLUE, por sus siglas en inglés) cuando los supuestos clásicos de la regresión son satisfechos.
La fábula de los elefantes de Basu
Sep 25th

En en estos días he estado reflexionando sobre el porqué algunos pintorescos personajes se ven influenciados por el lado oscuro de la fuerza. Alguna vez un socio de negocios me advirtió sobre la posibilidad de que en la marcha él pudiera volverse al lado oscuro de la fuerza; en ese momento no le presté atención, pero más adelante entendería muy bien a lo que se refería.
-
El enfoque tradicional y clásico basado en una inferencia hacia el infinito, en donde se asumen poblaciones hipotéticas (y si se le quiere utópicas). En este enfoque se tiene una muestra de n observaciones independientes sobre una variable aleatoria X que tiene una función de densidad.
-
El enfoque basado en una inferencia hacia la población finita en donde una muestra es seleccionada con respecto a un diseño de muestreo.
En realidad, aunque existe conflicto, estos dos enfoque no son opuestos ni contradictorios; simplemente, son dos enfoques… Me permito citar la siguiente fábula de Basu (una vez más, el profesor Trujillo disculpará mi deficiente inglés) que, desde su publicación, removió la bases de la inferencia basada en el segundo enfoque.
El dueño de un circo está planeando transportar sus 50 elefantes adultos, para este propósito él necesita una buena estimación del peso total de los elefantes. Como pesar un elefante es una tarea muy incomoda, el dueño del circo quiere estimar el peso total pesando sólo un elefante. ¿Cuál elefante debería pesar? El dueño del circo decide echar un vistazo a sus registros y descubre una antigua lista de los pesos de los elefantes, elaborada hace tres años. Él encuentra que tres años atrás Sambo, un elefante mediano, era el promedio (en peso) de su manada. El dueño del circo verifica la información con el entrenador quien le asegura que Sambo todavía puede considerarse como el promedio de la manada.
Así, el dueño del circo planea pesar a Sambo y tomar a 50x (donde x es el peso de Sambo) como una estimación del peso total X=X_1+…+X_50 de la manada. Pero el estadístico del circo se aterra al conocer el plan de muestreo del dueño (con un diseño de muestreo no probabilístico).
- ¿Cómo puede obtener una estimación insesgada de X? – protesta el estadístico
Así, ellos trabajan juntos en la elaboración de un plan de muestreo. Con la ayuda de una tabla de números aleatorios, diseñan un plan que asigna una probabilidad de inclusión de 99/100 a Sambo y probabilidades de 1/4900 al resto de la manada. Naturalmente, Sambo es seleccionado y el dueño del circo está feliz.
- ¿Cómo va a estimar X? – pregunta el estadístico
- ¿Por qué? La estimación debería ser 50x, por supuesto – responde el dueño
- ¡Oh¡ no, eso es incorrecto – responde el estadístico – recientemente, yo leí en un artículo de Annals of Mathematical Statistics, en donde se prueba que el estimador de Horvitz-Thompson es el único estimador hiper admisible en la clase de todos los estimadores insesgados polinomiales generalizados.
- ¿Cuál sería la estimación de Horvitz-Thompson en este caso? – pregunta el impresionado dueño – Dado que la probabilidad de inclusión de Sambo fue de 99/100 – dice el estadístico – el estimador es 100/99x y no 50x
- ¿Y cuál sería nuestra estimación si el plan de muestreo hubiese seleccionado a Jumbo? – pregunta el incrédulo dueño
- De acuerdo a lo que yo entiendo acerca del método de Horvitz-Thompson – dice el infeliz estadístico – el estimador de X sería 4900x donde x es el peso de Jumbo.De esta forma, el estadístico perdió su empleo (y quizás se convirtió en profesor de estadística).
Sharon Lohr se pregunta si fue justo despedir o no al estadístico; esa pregunta se me antoja irrelevante (para mí la “falla” se presenta en el astuto empresario), simplemente mi comentario es que un buen diseño de muestreo debe tener la característica de inducir probabilidades de inclusión que tengan una buena correlación con la variable de interés.






Comentarios