“Llegará el día en el que el pensamiento estadístico será una condición tan necesaria para la convivencia eficiente como la capacidad de leer y escribir” — H.G. Wells
Probabilidad
Identificabilidad en modelos bayesianos mixtos y el teorema fundamental de las Cadenas de Markov… ¿puedo usar WinBugs?
Apr 28th
Bien, este es el escenario general… Se tiene un modelo mixto y acudiendo a la fama, uso y fácil e intuitiva programación de WinBugs, se definen distribuciones previas no informativas para los parámetros del modelo y además para los hiper-parámetros del modelo. Luego se realiza la inferencia Bayesiana. Por ejemplo, suponga el siguiente modelo mixto:
Siendo así, se reescribe la función la función de densidad posterior como el producto de las verosimilitudes con las densidades previas de los parámetros, 
Una definición muy usada para la distribución previa de los parámetros es la siguiente:
Con esta distribución previa no informativa, se acude a la multiplicación de todas las verosimilitudes con las distribuciones previas y se utiliza el análisis condicional y el algoritmo de Gibbs para “supuestamente” construir una Cadena de Markov cuya distribución estacionaria coincide exactamente con la distribución posterior. Sin embargo, cuando se utilizan distribuciones previas impropias para los parámetros, resulta que la distribución posterior es también impropia. Lo anterior está demostrado en Hill (1965, Journal of the American Statistical Association, 60, pp 806-825). Por lo anterior, aunque se utilice el algoritmo de Gibbs, la distribución posterior carecerá de sentido puesto que no es integrable y esto implica que no existe una distribución condicional conjunta que coincida con las distribuciones condicionales creadas al utilizar el algoritmo de Gibbs.
Las consecuencias de lo anterior no se hacen esperar. Máxime teniendo en cuenta que el teorema fundamental de las cadenas de Markov, sobre el cual se basa todo el andamiaje de los métodos MCMC, afirma que una cadena de Markov tiene distribución estacionaria si y sólo si todos sus estados son persistentes no nulos y, en ese caso, esa distribución es única. Ahora, un estado es persistente nulo si la esperanza del tiempo medio de recurrencia es infinita. Es decir, en este caso, cuando se presenta un estado persistente no nulo, la cadena de Markov generada mediante el algoritmo de Gibbs no converge en distribución. Sin embargo, dada nuestra restricción para verificar hipótesis en el infinito, es posible que observemos que la cadena ha entrado en una región de muy alta probabilidad, la cual es razonable. Sin embargo, si pudiésemos realizar y observar infinitas realizaciones de la cadena, nos daríamos cuenta de que en realidad esa convergencia jamás se presentó y nunca se presentará.
En conclusión, dado que la distribución posterior es impropia, entonces las cadenas de Markov inducidas por el algoritmo de Gibbs son recurrentes nulas y por tanto no convergerán en distribución. Lo anterior puede ser pasado por alto por la mayoría de estadísticos al utilizar la facilidad del entorno de programación de WinBugs. Más aún, en esta situación, las aproximaciones de Monte Carlo resultantes pueden parecer completamente razonables, lo cual nos pone en una situación bastante peligrosa puesto que el muestreador de Gibbs nos guiará a inferencias plausibles sobre una distribución que no existe. Por lo tanto, antes de escribir su código en WinBugs y antes de definir las distribuciones previas de los parámetros es aconsejable realizar un estudio de sensibilidad sobre estas distribuciones previas y sobre todo definirlas de tal forma que sean integrables a priori, como por ejemplo distribuciones normales centradas en cero, pero con una varianza muy grande, o inversas-gama con parámetros muy pequeños. De esta forma, esas distribuciones previas se hacen no informativas de antemano e integrables a priori.
Mejor dicho, cuando escriba su código en WinBugs, por favor sea cuidadoso y evite usar la siguiente asignación para las distribuciones previas:
Beta ~ dflat() Sigma ~ dflat()
En vez de lo anterior mejor asigne las siguientes distribuciones previas:
Beta ~ dnorm(0, 0.0001) Sigma ~ dgamma(0.01, 0.01)
Para mayor información acerca de este fenómeno desafortunado, puede remitirse a los siguientes artículos (si no puede conseguirlos en internet, envíeme un correo y yo los comparto con usted):
– Ibrahim, J. G., and Laud, P. W. (1991), On Bayesian Analysis of Generalized Linear Models Using Jeffreys’s Prior, Journal of the American Statistical Association, 86, 981-986.
– Hobert, J. P. and Casella, G. (1996), The Effect of Improper Priors on Gibbs Sampling in Hierarchical Linear Mixed Models James P. Hobert and George Casella, Journal of the American Statistical Association, 91, 436.
– Gelfand, A. E. and Sahu, S. K (1999), Identifiability, Improper Priors, and Gibbs Sampling for Generalized Linear Models, Journal of the American Statistical Association 94, 445 (Mar., 1999), pp. 247-253.
TEAM
Sep 5th
Este libro conduce al lector por el apasionante viaje de la práctica estadística la cual ciertamente debe estar fundamentada en una rigurosidad teórica bien definida. El análisis de datos no empieza con un modelo de probabilidad. El análisis de datos empieza con los mismos datos; en la vida práctica el profesional debe cuestionarse acerca de la naturaleza de los datos: ¿qué rango tienen? ¿cuál es la fuente de los datos? ¿cómo se obtuvieron? En la vida real no sucede que el profesional sea contratado para analizar una muestra aleatoria que proviene de una distribución continua o discreta. No, en la vida real, el profesional decide qué tipo de distribución se ajusta mejor y sobre ello utiliza las mejores herramientas para inferir y convertir su análisis en información valiosa. Este texto tiene ese enfoque y la particularidad de poner en contexto al lector y mediante ejemplos prácticos afianzar la teoría e introducir al lector en el interesante camino de la programación estadística.
Obtenga una visualización del texto acá (Google books)
Compre el libro acá (Librería de la U)
Compre el libro acá (Lemoine editores)
Compre el libro acá (Librería Nacional)
Puntos de venta:
Librería de la Universidad Santo Tomás: Carrera 13 No 51 (Bogotá)
Comunicaciones en Estadística Volumen 4 No. 1
Aug 8th
http://comunicacionesenestadistica.usta.edu.co/
En el sexto número de la revista Comunicaciones en Estadística queremos extender un afectuoso saludo a nuestros lectores y a través de esta editorial manifestarles nuestro agradecimiento por habernos puesto en un importante lugar en el medio estadístico nacional. Cada vez se acerca más la tan anhelada indexación nacional. Esperamos que en un tiempo muy corto esta publicación esté indexada en una muy buena categoría. Por lo pronto, ya somos reconocidos por Colciencias y estamos dentro de su repositorio de revistas científicas reconocidas.
Este número de la revista Comunicaciones en Estadística abre con un artículo escrito por González y Zambrano, en donde se profundiza en la implementación de cartas de control, sistematizadas en el paquete estadístico R, con el fin de monitorear la media de procesos que se desvían del supuesto usual de ausencia de autocorrelación. Con este fin, los autores implementan varios códigos computacionales que permiten el ajuste de modelos ARMA, cartas EWMA y ajuste de residuales con modelos que asumen autocorrelación.
Por otro lado, Rodríguez y Cepeda consideran algunos resultados de un estudio de la concentración de la tierra en Colombia. Mediante un análisis descriptivo, establecen una relación entre porcentajes de propietarios y porcentajes de tierra acumulada. Este artículo concluye con el análisis de coeficientes de Gini para algunas regiones de Colombia.
El tercer artículo de este número, escrito por Gutiérrez, trata sobre el tema del principio de representatividad en algunas estrategias de muestreo que utilizan información auxiliar para mejorar la eficiencia de las estimaciones. Se trata de un artículo que expone, mediante simulaciones empíricas, que, en algunas ocasiones, es mejor utilizar estrategias de muestreo básicas puesto que inducen mejores resultados que aquellas que utilizan información auxiliar que no está bien correlacionada estructuralmente con la característica de interés.
Camacho, utilizando un modelo lineal generalizado, expone los resultados de un estudio realizado en Colombia, con el fin de encontrar asociaciones de polimorfismos genéticos de algunas razas de bovinos con el desarrollo muscular y el peso al nacimiento. El artículo finaliza con algunas conclusiones sobre el desempeño que poseen ciertas razas sobre el ganado cebuino.
Por último, Ortiz explora las propiedades de la prueba hipergeométrica aleatorizada y propone algunos métodos computacionales que permiten concluir acerca de la eficiencia de la prueba, que está basada en el manejo de datos cuya naturaleza es discreta. En este artículo, Ortiz expone de manera detallada y muy pedagógica que en términos de pruebas estadísticas, la aletaorización está centrada en la regla de decisión y no en el resultado obtenido de la prueba.
Una vez más, desde la Facultad de Estadística de la Universidad Santo Tomás, enviamos un mensaje de agradecimiento a nuestros lectores y les invitamos a hacerse partícipes mediante el envío de sus artículos.
Respuestas al manifiesto
May 17th
Algún lector anónimo escribe lo siguiente:
Andrés,
Para impulsar estas ideas, hay que empezar por el principio.
¿De qué sirve una escuela con buenos profesores pero alumnos malos, desmotivados? definitivamente la prioridad 1 se debe enfocar en formar excelentes estudiantes motivados por el quehacer científico porque de nada sirve inflarse por inflarse.
¿Cuántos profesores motivan a sus estudiantes para estudiar en las mejores escuelas del mundo en el departamento de estadística en Colombia? Los dedos de una mano son demasiados para hacer la cuenta.
¿Qué intercambios interfacultades con prestigiosas universidades con área en estadística maneja la Universidad Nacional de Colombia?
Hay algunas de sus premisas que deben ser estudiadas en detalle antes de echarlas a ruedo porque como casi todo en la vida, se necesitan pre-requisitos.
Todas ellas hablan de un después de un Estadístico ya formado y NO en formación, por ejemplo dígame usted, para quién va dirigido el Workshop que hace la USTA?, porque los alumnos de allá presentan trabajos muy regulares y ellos tanto como los de la nacional asisten muy poco sabiendo que vienen excelentes profesores reconocidos internacionalmente a dar conferencias de muy alto nivel, por favor seamos consistentes en los sueños, primero lo primero. No confundamos el VERDADERO desarrollo científico nacional en estadística con el crecimiento desmesurado de la misma.
Saludes!
Querido lector anónimo… gracias por su comentario… Permítame responder a sus acotaciones:
¿De qué sirve una escuela con buenos profesores pero alumnos malos, desmotivados?
Me parece muy importante su pregunta, que a la vez resalta su punto de vista sobre nuestra práctica académica. Sin embargo, quisiera reiterarle que si existen buenos profesores y alumnos malos, entonces es muy discutible el calificativo de <<buenos profesores>>. Por otro lado, en mi experiencia recorriendo las facultades (o departamentos) de estadística en Colombia (sí, a mi corta edad soy bien destacado en Bogotá, Medellín, Cordoba, Tolima, entre otras, y conozco la excelente labor que se adelante en cada una de esas escuelas) me he encontrado con excelentes profesores y excelentes alumnos. Así que, en honor a la verdad, me permito contradecirle puesto que lo que yo veo, a diferencia suya, es un conglomerado de alumnos motivados, apoyados por unos excelentes profesores. Pero, respondiendo a su pregunta, y suponiendo que así fuera, una escuela con buenos profesores y malos alumnos sirve como caldo de cultivo para que los que se creen buenos profesores profundicen más y se bajen de la nube, porque seguramente, si hay malos alumnos es porque los profesores son aún más malos. Después de que los excelentes profesores se den cuenta de su verdadero estatus, entonces verán que sus alumnos no son malos. Pero, una vez más, eso no es lo que pasa en el país.
¿Cuántos profesores motivan a sus estudiantes para estudiar en las mejores escuelas del mundo en el departamento de estadística en Colombia?
No lo sé, pero creo que la mayoría. Si le sirve de algo, cuando yo estudiaba en el pregrado y maestría, el 80% de mis profesores alguna vez me mencionaron que yo debía salir a estudiar en el exterior. Además, me impulsaron y patrocinaron con dinero para presentar mis trabajos de muestreo en el exterior. Resultado de esto, conocí a profesores internacionales que me ofrecieron becas para estudiar en Europa. No me fui, porque creo que el papel que debo jugar está al pie de mi familia, que en ese momento atravesaba una difícil situación de victimización por la violencia en Colombia. Si de algo le sirve, estoy seguro de que la mayoría de estudiantes colombianos en el exterior fueron motivados por los buenos profesores para aceptar el reto de estudiar en las mejores escuelas del mundo. Como organizador de los Workshop de la USTA, he tenido el agrado de conocer a personalidades muy importantes de la estadística en el mundo y mi sorpresa ha sido grata al escuchar del buen desarrollo de estudiantes colombianos en sus facultades. Así, que una vez más, me permito contradecirlo. Los profesores sí motivan a sus estudiantes. Por otra parte, me sorprende saber que usted tenga tantos dedos en su mano.
¿Qué intercambios inter-facultades con prestigiosas universidades con área en estadística maneja la Universidad Nacional de Colombia?
No lo sé, pero en el caso de la USTA tenemos convenios activos con la Universidad De Buenos Aires, con la UNAM y con varias universidades de Chile. Este semestre recibimos dos estudiantes de estadística en intercambio desde la UNAM y dos muchachas de acá van a terminar sus estudios en universidades de Brasil. Si eso lo hacemos nosotros con cuatro años, me imagino que la Universidad Nacional de Colombia debe tener muchos más convenios. Aunque las estadísticas exactas son desconocidas para mí. Pero creo que los invitados al simposio dan cuenta de las excelentes relaciones que tienen la UNAL con otros departamentos en el mundo.
¿Para quién va dirigido el Workshop que hace la USTA?
Para estadísticos egresados y en formación. Siempre hay un par de cursos introductorios y un par de cursos avanzados. Y siempre hay espacio para que los muchachos presentes sus trabajos resultantes de investigaciones pequeñas surgidas en los semilleros de investigación.
Los alumnos de allá (USTA) presentan trabajos muy regulares y ellos tanto como los de la nacional asisten muy poco sabiendo que vienen excelentes profesores reconocidos internacionalmente a dar conferencias de muy alto nivel.
Tres cosas, la primera es que, a no ser que usted sea parte del equipo de docentes en la USTA (que no creo), se abstenga de lanzar esa clase de juicios con respecto a la clase de trabajos de los alumnos de la USTA. La segunda es que me permito informarle que los alumnos de la USTA son muy buenos y están siendo reconocidos localmente por su compromiso y entrega. Prueba de esto son muchas convocatorias de trabajo a la decanatura y a mi oficina, pidiendo alumnos para trabajar. Por otro lado, le garantizo que los alumnos de la USTA son muy buenos pues han sido formados por mí, por Jorge Ortiz, por Francisco Rincón, por Felipe Ortiz, por Hanwen Zhang, entre otros. Y déjeme decirle que nosotros conformamos una excelente planta docente, reconocida a nivel local. Y como somos buenos profesores, consideramos que nuestros alumnos son buenos. En tercer lugar, si los invitados internacionales vienen a dar conferencia de altísimo nivel, es más que entendible que los alumnos no asistan a esas conferencias y prefieran asistir a conferencias más descifrables.
No confundamos el VERDADERO desarrollo científico nacional en estadística con el crecimiento desmesurado de la misma.
¿A qué se referirá usted con el verdadero desarrollo científico nacional? Tal vez a sus múltiples artículos en revistas indexadas internacionalmente, o a sus muchos libros publicados por editoriales de punta, o a su extensa participación como invitado en eventos mundialmente reconocidos. Si es así, déjeme felicitarle de todo corazón.
Así como yo quiero ser cabeza de ratón, usted ha decidido se cola de león y es muy respetable. Sin embargo, en estas metas no estoy contemplando nada de procesos investigativos (que sí son muy importantes) sino cosas más terrenales y vulgares (pero aún más importantes) como el afianzamiento de nuestro gremio y la unión generada e institucionalizada en una asociación de PROFESIONALES (no de investigadores) en estadística. Le invito a crear su propia asociación de Investigadores de alto nivel en estadística. Estoy seguro que los dedos de su mano le alcanzarán para contar los posibles miembros. Por lo demás, no sobra invitarlo a que haga parte de nuestro esfuerzo que tendrá muchas manos unidas en pro de nuestros profesionales.
Manifiesto: quiero ser cabeza de ratón
May 17th
Quiero ser cabeza de ratón… No me interesa cambiar el mundo… quiero impactar en mi país y en mi región… Desde hoy y en los próximos treinta años voy a:
-
Impulsar la creación de la Asociación Colombiana de Estadísticos.
-
Ayudar en el posicionamiento y estabilización del gremio a través de la publicación y divulgación de ofertas laborales y de investigación en un portal institucional liderado por un consejo de facultades de estadística en Colombia.
-
Promover la institucionalización de la tarjeta profesional para los estadísticos.
-
Motivar la creación de un programa de posgrado en metodología de encuestas.
-
Posicionar la Revista Comunicaciones en Estadística.
-
Organizar un encuentro bienal de Estadística Aplicada, patrocinado por la Asociación Colombiana de Estadísticos, y promovido por las universidades públicas y privadas y también por las empresas privadas y los institutos de estadísticas oficiales.
-
Crear una editorial de libros de texto en estadística.
Y lo más ambicioso y controvertido:
8. Impulsar la acreditación de los estadísticos en Colombia. Eso promoverá más competencia y más calidad… El estadístico graduado debe acreditarse ante un consejo de expertos. Algo así como los exámenes de la SOA en actuaría… Pues bien, habrán exámenes de la ACE en estadística. El que no los quiera presentar va a quedar en desventaja frente a los que sí nos acreditemos. Muchos estadísticos hispanoamericanos vendrán de otros países para acreditarse e Colombia.
Claro, no puedo hacerlo solo… sería imposible… Le pido a Dios que me ayude y a los lectores de este espacio que piensen en estas ocho opciones y que apoyen nuestros esfuerzos en este largo y tedioso proceso. Surgirán muchas críticas y rivalidades…. No me importa, me la juego por el gremio. En últimas, las ventajas son mucho más claras y los beneficiados no seremos nosotros directamente, sino la próxima generación de estadísticos.
¿Qué tan insignificante es la significación estadística?
Apr 13th
Como algunos de ustedes habrán leído acerca del caso Zicam, la corte suprema de EE.UU. ha omitido un concepto desfavorable para los estadísticos puristas que se aferran fervientemente a los valores p. En pocas palabras, el concepto afirma que la divulgación de posibles efectos colaterales en el uso de fármacos no debe basarse solamente en la significación estadística. Luis Pericchi ha escrito esta interesante nota que devela, desde el punto de vista de la teoría de la decisión, que la inferencia estadística también debería depender del propósito del estudio y de las consecuencias de las decisiones que se tomarán.
Soy parte de los 300mil
Apr 5th
Hoy este blog alcanzó los 300mil visitantes. Agradezco a todos los lectores. Este blog empezó en abril de 2008 en la plataforma WordPress y hasta el momento cuenta con más de 300mil vistias, 251 posts, 571 comentarios, cientos de correos electrónicos, 25 categorías, 77 etiquetas, una página virtual en Facebook con más de 400 fans y una comunidad de seguidores en un grupo de FaceBook que recoge a más de 680 miembros. Las cifras son asombrosas. Más aún, desde que se tiene esta plataforma propia, este blog ha publicado más de 63 ofertas laborales para los estadísticos, principalmente en Colombia.
¡¡¡Una vez más gracias!!!
Sobre blogs, publicaciones, arbitrajes y zorros: una conversación con Sander Rangel
Mar 15th
Exactamente eso… una conversación amena con el decano de la Facultad de Estadística de la Universidad Santo Tomás.
Andrés Gutiérrez & Sander Rangel - Nuevas tendencias y herramientas virtuales en la estadísticaGuía rápida para probabilidad y estadística
Mar 6th
Matthias Vallentin, adscrito al Berkeley California Computer Science Institute ha desarrollado esta hoja de referencias que integra una variedad de temas de probabilidad y de teoría estadística. La versión más reciente de este documento está disponible en http://bit.ly/probstat.
Consultorio estadístico para Hispanoamérica
Mar 3rd
Qué bueno saber que así como existen consultorios jurídicos, existen consultorios estadísticos en donde el usuario tiene la posibilidad de acercarse y formular su problemática y recibir ayuda de un panel de practicantes guiados por un experto consultor… Y LO MEJOR DE TODO, SIN NINGÚN COSTO.
Todos los lectores de este blog, sin importar su lugar de residencia, pueden establecer contacto con el Consultorio Estadístico de la Universidad Santo Tomás por correo electrónico a consulta.estadística@usantotomas.edu.co. Si su lugar de residencia es en Bogotá, Colombia, pueden acercarse directamente a la Facultad de Estadística ubicada en la Carrera 9 No 51 – 11 Piso 3 y exponer allí sus dudas en términos de métodos estadísticos aplicados a investigaciones prácticas. Si usted no reside en Colombia, siéntase libre de exponer su caso mediante correo electrónico y adjuntar los archivos pertinentes para contextualizar al staff de estadísticos que asesoran su investigación.
PD: el Consultorio Estadístico no es un espacio para resolver problemas de estudiantes que tal vez están cursando sus materias. Es un espacio exclusivo para el asesoramiento de investigaciones reales.
Visualización interactiva de una mezcla de normales (la ley de la esperanza total y la ley de la varianza total)
Feb 12th
Las leyes de la esperanza total y la varianza total (que vienen directamente del teorema de probabilidad total) se mantienen para cualquier distribución de probabilidad. Aquí se muestra el funcionamiento de estas leyes con una mezcla de distribuciones normales. Esta demostración resulta muy amena porque está basada en una descomposición visual muy agradable (perfecto para un curso de modelos estadísticos avanzados).
Esta demo probablemente necesitará de Firefox o Google Chrome para que cargue sin problemas.
Programación del Workshop en Estadística Bayesiana (Bogotá – Colombia)
Jan 19th
La International Association of Survey Statisticians, junto con la Facultad de Estadística de la Universidad Santo Tomás presentan uno de los eventos más esperados por la comunidad estadística colombiana, el International Workshop on Applied Statistics en su segunda versión. Este evento bienal que tendrá lugar en la sede principal de la Universidad entre el 3 y el 5 de febrero de 2011, abordará como tema principal la Estadística Bayesiana y sus Aplicaciones.
El evento contará con la presencia de reconocidos profesionales de la estadística a nivel internacional, los cuales estarán acompañados de destacados estadísticos nacionales, todos ellos expertos en Estadística Bayesiana, a saber:
- Raquel Prado – University of California
- Mike Daniels – University of Florida
- Eduardo Gutiérrez – Universidad Nacional Autónoma de México
- Andrés Gutiérrez – Universidad Santo Tomás
- Fabio Humberto Nieto – Universidad Nacional de Colombia (Sede Bogotá)
- Jairo Fúquene - University of Puerto Rico
- Victor López – Universidad Nacional de Colombia (Sede Medellín)
El workshop se caracteriza porque todos los invitados internacionales, además de conferencias, desarrollarán cursillos intensivos (10 horas) sobre temas de punta en la investigación de la estadística aplicada, con lo cual los participantes serán instruidos personalmente por este reconocido equipo estadístico. Los cursos ofrecidos, son:
- Introducción a la Estadística Bayesiana
- Modelos e Inferencia Bayesiana en Series Temporales
- Bayesian Modeling of Missing Data in Longitudinal Studies
La información sobre el programa del seminario, el valor de la inversión, así como el procedimiento de inscripciones, puede encontrarse en la página web: http://www.usta.edu.co/
Los contactos para ampliar la información son:
- estadistica@usantotomas.edu.co
- heivarrodriguez@usantotomas.edu.co
- Teléfonos: 5878869, 5878797 ext: 1422 – 1450
PROGRAMA
CURSILLO N°1:
Raquel Prado (University of California): Modelos e Inferencia Bayesiana en Series Temporales
CURSILLO N°2:
Mike Daniels (University of Florida): Bayesian modeling of missing data in longitudinal studies
CURSILLO N°3:
Eduardo Gutiérrez (Universidad Nacional Autónoma de México): Introducción a la Estadística Bayesiana
JUEVES 03 DE FEBRERO DE 2011
- 8:00 – 11:00 am
Cursillos – Día 1 (Salas asignadas)
- 6:30 – 7:00 pm
Instalación del Evento (Aula Magna Fray Domingo de las Casas)
- 7:00 – 8:00 pm
Conferencia 1: Time Series Analysis using TAR Models – Fabio Humberto Nieto. Universidad Nacional de Colombia – Sede Bogotá.
- 8:00 – 8:30 pm Acto Social
VIERNES 04 DE FEBRERO DE 2011
- 8:00 – 11:00 am
Cursillos – Día 2 (Salas asignadas)
- 3:00 – 4:00 pm
Ciclo de Comunicaciones
- 4:00 – 5:00 pm
Conferencia 2: “A Case for Robust Bayesian Priors with Applications to Clinical Trials”- Jairo Fúquene (University of Puerto Rico)
- 5:00 – 6:00 pm
Conferencia 3: “Modelos doblemente generalizados utilizando técnicas bayesianas”- Andrés Gutiérrez (Universidad Santo Tomás)
- 6:00 – 6:30 pm
Coffee Break.
- 6:30 – 7:30 pm
Conferencia 4: “Construcción de distribuciones a partir de variables latentes” – Eduardo Gutiérrez. Universidad Nacional Autónoma de México (UNAM)
- 7:30 – 8:30 pm
Conferencia 5: “Modelos temporales para detectar fatiga a partir de señales de electroencefalografías” – Raquel Prado. University of California.
SÁBADO 05 DE FEBRERO DE 2011
- 8:00 – 11:00 am
Cursillos – Día 3 (Salas asignadas)
- 2:00 – 2:45 pm
Conferencia 6: “Teoría de diseños óptimos Bajo una perspectiva Bayesiana” – Víctor López. Universidad de Nacional de Colombia- Sede Medellín
- 2:45 – 3:30 pm
Conferencia 7: “A Bayesian Shrinkage Model for Incomplete Longitudinal Binary Data with Application to the Breast Cancer Prevention Trial” – Mike Daniels. University of Florida
- 3:30 – 4:30 pm
Panel de Clausura – ¿Llegó la era de la estadística bayesiana?
Raquel Prado (University of California), Mike Daniels (University of Florida) & Eduardo Gutiérrez (Universidad Nacional Autónoma de México).
Moderador: Andrés Gutiérrez – Universidad Santo Tomás
- 4:30 – 5:00 pm
Evento Social – Cierre
Declaración sobre Ética Profesional del Instituto Internacional de Estadística
Jan 11th
La Declaración sobre Ética Profesional del Instituto Internacional de Estadística consiste en un enunciado de valores profesionales compartidos y de una serie de principios éticos que derivan de esos valores. A los efectos de este documento, la definición de quién es un estadístico va mucho más allá de aquellos con grados formales en el campo, para incluir una amplia gama de creadores y usuarios de datos y herramientas estadísticos. Los estadísticos trabajan dentro de una variedad de ambientes económicos, culturales, jurídicos y políticos, cada uno de los cuales influye en el énfasis y en el enfoque de las investigaciones estadísticas. También trabajan en diferentes ramas de su disciplina, cada una de las cuales tiene sus propias técnicas y procedimientos y, posiblemente, su propio enfoque ético.
Los estadísticos trabajan en diversos campos tales como economía, psicología, sociología, medicina, cuyos profesionales tienen convenciones éticas que pueden influir en su comportamiento. Incluso dentro del mismo ambiente y rama estadística, los individuos pueden
enfrentarse a diferentes situaciones y limitaciones que plantean cuestiones éticas. El objetivo de esta declaración es permitir que las consideraciones y decisiones éticas individuales del estadístico se apoyen en valores compartidos y experiencia, más que en rígidas reglas impuestas por la profesión. La declaración busca documentar principios ampliamente sostenidos por la profesión estadística e identificar los factores que obstaculizan su aplicación. Toma en cuenta que la aplicación de un principio puede obstaculizar la aplicación de otro y que, como ocurre con otros grupos de ocupación, los estadísticos enfrentan obligaciones concurrentes que puede no ser factible cumplir todas simultáneamente. Por lo tanto, los estadísticos a veces tendrán que elegir entre principios. La declaración no intenta resolver estas opciones o establecer prioridades entre los principios. En su lugar ofrece un marco dentro del cual el estadístico consciente debe poder trabajar cómodamente. Se insta a que las desviaciones del marco de principios sean el resultado de la deliberación y no de la ignorancia.
La primera intención de la declaración es la de ser informativa y descriptiva, más que autoritaria o prescriptiva. En segundo lugar, está diseñada para ser aplicable en la medida de lo posible a las amplias y cambiantes áreas de las metodologías y aplicaciones estadísticas. Por esta razón, sus disposiciones se formulan en términos muy generales. En tercer lugar, a pesar de que los principios se formulan de manera de que tengan una aplicación a las decisiones más amplia que a los temas que menciona específicamente, la declaración no es de ninguna manera exhaustiva. Está diseñada en el entendimiento de que se requerirá periódicas actualizaciones y enmiendas, que reflejen por un lado los desarrollos en la generación de información y en las herramientas técnicas utilizadas por los estadísticos y, por otro lado, en los usos (y, por consiguiente, en los malos usos) de la producción estadística. En cuarto lugar, los valores, principios y los comentarios que siguen se inscriben dentro de las reglas y normas generales, escritas o no, tales como el cumplimiento de la ley o la necesidad de probidad. Sin embargo, la declaración se limita en lo posible a las cuestiones de interés específico para el trabajo estadístico. A pesar de que no se indiquen explícitamente, los Principios inherentemente reflejan las obligaciones y responsabilidades de los estadísticos, así como los conflictos resultantes de las fuerzas y presiones externas a su propio trabajo, a saber:
• de la sociedad,
• de empleadores, clientes y financiadores,
• de colegas,
• de los grupos a los que se aplica su trabajo.
En el desempeño de sus responsabilidades, cada estadístico debe ser sensible a la necesidad de garantizar que sus acciones sean, en primer lugar, consistentes con los mejores intereses de cada grupo y, en segundo lugar, que no favorezcan a ningún grupo a expensas de ningún otro, o que entren en conflicto con cualquiera de los Principios. En http://isi-web.org/about/declarationprofessionalethics-2010uk se presentan, solamente en inglés, breves comentarios sobre los conflictos y las dificultades inherentes a la aplicación de cada uno de los Principios, para quienes deseen profundizar sobre los temas. De igual manera, en el mismo enlace se proporciona una breve bibliografía anotada para aquellos que quieran profundizar estas cuestiones mediante la consulta de textos detallados.
La Declaración sobre Ética Profesional del Instituto Internacional de Estadística consiste en un enunciado de valores profesionales compartidos y de una serie de principios éticos que derivan de esos valores. A los efectos de este documento, la definición de quién es un estadístico va mucho más allá de aquellos con grados formales en el campo, para incluir una amplia gama de creadores y usuarios de datos y herramientas estadísticos. Los estadísticos trabajan dentro de una variedad de ambientes económicos, culturales, jurídicos y políticos, cada uno de los cuales influye en el énfasis y en el enfoque de las investigaciones estadísticas. También trabajan en diferentes ramas de su disciplina, cada una de las cuales tiene sus propias técnicas y procedimientos y, posiblemente, su propio enfoque ético. Los estadísticos trabajan en diversos campos tales como economía, psicología, sociología, medicina, cuyos profesionales tienen convenciones éticas que pueden influir en su comportamiento. Incluso dentro del mismo ambiente y rama estadística, los individuos pueden enfrentarse a diferentes situaciones y limitaciones que plantean cuestiones éticas. El objetivo de esta declaración es permitir que las consideraciones y decisiones éticas individuales del estadístico se apoyen en valores compartidos y experiencia, más que en rígidas reglas impuestas por la profesión.
La declaración busca documentar principios ampliamente sostenidos por la profesión estadística e identificar los factores que obstaculizan su aplicación. Toma en cuenta que la aplicación de un principio puede obstaculizar la aplicación de otro y que, como ocurre con otros grupos de ocupación, los estadísticos enfrentan obligaciones concurrentes que puede no ser factible cumplir todas simultáneamente. Por lo tanto, los estadísticos a veces tendrán que elegir entre principios. La declaración no intenta resolver estas opciones o establecer prioridades entre los principios. En su lugar ofrece un marco dentro del cual el estadístico consciente debe poder trabajar cómodamente. Se insta a que las desviaciones del marco de principios sean el resultado de la deliberación y no de la ignorancia. La primera intención de la declaración es la de ser informativa y descriptiva, más que autoritaria o prescriptiva. En segundo lugar, está diseñada para ser aplicable en la medida de lo posible a las amplias y cambiantes áreas de las metodologías y aplicaciones estadísticas. Por esta razón, sus disposiciones se formulan en términos muy generales. En tercer lugar, a pesar de que los principios se formulan de manera de que tengan una aplicación a las decisiones más amplia que a los temas que menciona específicamente, la declaración no es de ninguna manera exhaustiva. Está diseñada en el entendimiento de que se requerirá periódicas actualizaciones y enmiendas, que reflejen por un lado los desarrollos en la generación de información y en las herramientas técnicas utilizadas por los estadísticos y, por otro lado, en los usos (y, por consiguiente, en los malos usos) de la producción estadística. En cuarto lugar, los valores, principios y los comentarios que siguen se inscriben dentro de las reglas y normas generales, escritas o no, tales como el cumplimiento de la ley o la necesidad de probidad. Sin embargo, la declaración se limita en lo posible a las cuestiones de interés específico para el trabajo estadístico.
En http://isi-web.org/about/declarationprofessionalethics-2010uk se presentan, solamente en inglés, breves comentarios sobre los conflictos y las dificultades inherentes a la aplicación de cada uno de los Principios, para quienes deseen profundizar sobre los temas. De igual manera, en el mismo enlace se proporciona una breve bibliografía anotada para aquellos que quieran profundizar estas cuestiones mediante la consulta de textos detallados.
Tomado del preámbulo del documento Declaración sobre Ética Profesional del Instituto Internacional de Estadística (http://isi-web.org/images/about/Declaration-SPANISH2010.pdf)
MacArthur sobre el azar y la evolución
Jan 10th
Yo no soy un creacionista ni pretendo inmiscuirme en tan intrincados asuntos y teorías que al fin y al cabo no tendrán nunca respuesta alguna si se utiliza el método científico… Sin embargo, en el libro que actualmente estoy leyendo, John MacArthur hace varios comentarios acerca del azar, que aparte de interesantes, me han puesto a pensar y quisiera compartirlos con ustedes:
El azar es el motor que pone en movimiento el proceso evolutivo. El naturalismo enseña que con el paso del tiempo y a partir del caos total, la materia evolucionó por azar hasta convertirse en todas las cosas que vemos hoy día…. De esta manera se ha asignado la distinción al azar de agente creador. John Ankerberg y John Weldom demuestran que la materia, el tiempo y el azar constituyen la santa trinidad de la evolución. En efecto, sólo existen tres cosas que pueden reconocerse como eternas y omnipotentes en el esquema evolutivo: materia, tiempo y azar. Jacques Monod, ganador del premio Nobel en 1965 por su labor en el campo de la bioquímica, en su libro Chance and Necessity afirma que “el hombre está solo en la inmensidad yerta del universo, de la cual surgió por azar… El azar es la fuente única de toda innovación y de toda creación en la biosfera. El azar puro, con libertad absoluta pero siempre siego, es la piedra angular del edificio de la evolución.”
Más adelante MacArthur agrega:
Si reflexionamos por un momento nos daremos cuenta de que el azar no puede ser la causa de alguna cosa, mucho menos de todas las cosas. El azar no es una fuerza. El único sentido legítimo en que puede emplearse el azar forma parte de la probabilidad matemática. Si usted lanza una moneda al aire en repetidas ocasiones, los cocientes estadísticos indican que la moneda tiene probabilidad de caer sobre cada uno de sus lados cincuenta veces de cada cien lanzamientos. Sin embargo el azar no es la fuerza responsable del lanzamiento de la moneda. El azar no es un intelecto que diseña el patrón exacto de las probabilidades matemáticas y tampoco puede dictar la trayectoria y el resultado final de cada lanzamiento. La probabilidad matemática sólo es una manera de medir lo posible con respecto a lo que sucede en realidad.
Y se pone mejor cuando afirma que:
Los naturalistas han atribuido al azar la capacidad para causar y determinar todo lo que sucede. No puede negarse que es un concepto irracional… Todo efecto es determinado por una causa. Hasta el lanzamiento de una moneda no puede ocurrir sin una causa concreta, y el sentido común nos dice que la caída de la moneda sobre una de sus caras viene determinado por algo. Una serie de factores que incluyen la cantidad precisa de fuerza con que se lanza la moneda y la distancia que debe recorrer antes de llegar al suelo, así como la textura y la composición del suelo y muchos otros, son factores que determinan el número de vueltas y rebotes que hará antes de quedar sobre uno u otro lado. Aunque nos resulte imposible controlar con precisión las fuerzas que determinan cómo termina el lanzamiento de la moneda, no es el azar sino esas fuerzas las que determinan un resultado final de cara o sello. Algo que puede parecer arbitrario e indeterminado en la vida cotidiana, es en realidad u efecto determinado por algo muy concreto y definido. Nada es causado por azar puro, ya que el azar no existe como fuerza ni como causa. El azar no es más que un concepto humano.
Esto me hace recordar un post antiguo basado en un artículo de Andrew Gelman, en donde afirmaba, en la misma vía que MacArthur, que es una tarea muy dispendiosa el separar lo aleatorio de lo determinístico. ¿Qué es un evento aleatorio? Cada vez que el ser humano adquiere nuevas herramientas y se complejiza su entorno, lo aleatorio adquiere el carácter de determinístico. Estoy en completa concordancia con MacArthur cuando afirma que el azar no es más que un concepto humano. Por mi parte, lo pensaré dos veces antes de referirme al lanzamiento de la moneda como un suceso aleatorio. Por último, si no fue el azar…. ¿Entonces? Yo sé la respuesta… DIOS.
Comunicaciones en Estadística Volumen 3 No. 2
Dec 21st
En este quinto número consecutivo de la revista Comunicaciones en Estadística nos encontramos frente a un cisma generado por la globalización del conocimiento estadístico. El día 20 de octubre de 2010, el mundo celebró el día mundial de la estadística. Desde la Facultad de Estadística de la Universidad Santo Tomás esperamos que sea la primera de muchas celebraciones como reconocimiento al valor y aporte de los profesionales en estadística en el mundo. Esta es una iniciativa de las Naciones Unidas, y su objetivo es celebrar el papel y la importancia de la estadística y dar a conocer muchos de los logros de las estadísticas oficiales. Estas celebraciones tuvieron lugar alrededor de todo el mundo tanto en los institutos nacionales de estadística como en las instituciones educativas que imparten conocimiento estadístico en formación profesional y posgradual.
En concatenación con lo anterior, y gracias a la buena recepción que la revista Comunicaciones en Estadística ha tenido en el medio nacional e internacional, presentamos con orgullo ante ustedes este quinto número que presenta cinco artículos que tratan con temas de interés en las diferentes áreas del conocimiento estadístico. Es así como Correa presenta una metodología basada en la tasa de descubrimientos falsos para la detección de observaciones influyentes. Este procedimiento reduce la complejidad del diagnóstico y en el artículo se presenta la programación en el software estadístico R.
El artículo de Rincón Rodríguez, presenta un caso de estudio acerca de la identificación de la presencia de variabilidad espacio-temporal en la temperatura del agua en Santa Marta, ciudad costera ubicada al norte de Colombia. El trabajo desarrollado consiste en la formulación de modelos aditivos con estructura de covarianza dependiente del tiempo y del espacio. Este enfoque permite detectar que un modelo lineal clásico no captura toda la variabilidad conjunta necesaria para modelar este tipo de datos.
Jiménez propone en su trabajo una nueva función de densidad simétrica que puede ser utilizada como modelo probabilístico para datos cuyo histograma describa simetría y alta curtosis. Esta nueva función de densidad describe una buena alternativa cuando, para este tipo de datos, las pruebas estadísticas rechazan la hipótesis de normalidad. El artículo ofrece una aplicación concerniente al cambio Dolar/Euro y propone la estimación de los parámetros por medio del método de los momentos.
En una continuación de un artículo anterior publicado en esta revista, Rincón Suarez presenta un método para determinar un grupo de observaciones influyentes para la suma de cuadrados del error en la formulación de modelos de rango completo. Además del desarrollo teórico, el artículo se ve complementado con un ejemplo empírico para datos simulados e incluye toda la programación pertinente en el sofware estadístico SAS.
Por último, Pinilla y Zhang presentan una valiosa discusión acerca de la inclusión de la igualdad en la hipótesis nula. Este artículo pretende mostrar algunas de las contradicciones prácticas que se pueden presentar cuando el investigador, al momento de formular las hipótesis de su estudio, omite la inclusión de la igualdad en la hipótesis nula.
Entre otros aspectos, es importante resaltar que la Universidad Santo Tomás ha aprobado la organización del Second Workshop on Applied Statistics, evento que tendrá lugar en la sede principal de la Universidad en la primera semana de febrero de 2011, cuyo tema principal será la estadística bayesiana y sus aplicaciones. Este evento se caracterizará porque todos los invitados internacionales, además de conferencias, darán cursillos intensivos sobre temas de punta en la investigación de la estadística aplicada. Lo anterior es muy interesante puesto que el participante será educado personalmente por un equipo estadístico de reconocimiento internacional. Siendo esa la filosofía del evento, desde la dirección de la revista Comunicaciones en Estadística, es pertinente invitar a toda la comunidad nacional e internacional a hacerse partícipe de este evento. Entre los invitados internacionales están:
- Mike Daniels (Director del Departamento de Estadística de la Universidad de Florida en Gainesville, EE.UU.) -Cursillo: modelos de antedependencia para datos longitudinales binarios con aplicación a la prevención del cáncer de mama.
- Raquel Prada (Profesora Asociada del Departamento de Matemáticas Aplicadas y Estadística de la Universidad de Califonia, EE.UU.) -Cursillo: Ajuste de modelos de series de tiempo utilizando el enfoque bayesiano.
- Eduardo Gutiérrez (Ganador del Jan Tinbergen Award, otorgado por el International Statistical Institute y profesor de la UNAM, México) -Cursillo: Introducción a la estadística bayesiana.
Desde la Facultad de Estadística de la Universidad Santo Tomás les agradecemos por los gratos comentarios que hemos recibido. Esperamos que este número sea aceptable para nuestros lectores y que sus artículos impulsen la cultura de investigación estadística en nuestras aulas de clase.
Malditas estadísticas II (No, Colombia no es el país más feliz del mundo)
Dec 18th
Y conoceréis la verdad, y la verdad os hará libres (Juan 8:32)
Hace unos años tuve el privilegio de trabajar en una empresa de investigación de mercado que, además de encuestas de mercadeo, realizaba sondeos de opinión mediante interceptación geográfica. En una capacitación, el gerente de aquella compañía me hizo saber orgulloso que ellos habían realizado un estudio de felicidad en Colombia, el cual había arrojado un sorprendente resultado.
En aquella ocasión Colombia fue catalogada como la nación más feliz del mundo. En aquella ocasión este resultado paso inadvertido ante mi, como muchas otras cosas importantes, y supuse que aquel comentario hacía parte del ego sin precedentes de aquel individuo. Hoy, años después me he puesto a recapacitar acerca de este estudio. Estadístico de profesión, tengo valiosas herramientas para analizar datos y extraer información valiosa.
Aunque no soy sociólogo, en los últimos meses he aprendido a examinar los sucesos un poco más subjetivamente. Hoy, años después ese comentario aturde mi corazón y desearía con todas mis fuerzas que el resultado del estudio fuera real y que esta entrada no se tuviese que escribir; máxime teniendo en cuenta que el autor de la misma, en realidad es una tipificación clara del comportamiento colombiano, tratando de ser feliz evadiendo la realidad.
En la página de Colombia es pasión, es posible leer lo siguiente:
Tierra maravillosa de gente amable… en el ranking de las naciones más felices del mundo, Colombia ocupa el segundo lugar… en el mundo no hay una nacionalidad más feliz que la colombiana.
Este extracto fue escrito como conclusión al estudio británico desarrollado por la organización New Economics Foundation (NEF), el cual presenta los llamativos resultados condensados en su ranking. Acerca de esto, Andrew Simms, uno de los directivos de la organización declara que:
… este indice desnuda la economía hasta su concepto más básico: lo que usamos (recursos) y lo que obtenemos; vidas más o menos largas, más o menos felices… El orden en el que aparecen los países puede que contradiga la intuición, pero esto se debe a que los políticos se han perdido al dejarse guiar por modelos matemáticos abstractos de una economía que tiene poco que ver con el mundo real…
En el reporte oficial del índice de felicidad mundial, se describe en detalle cómo se lleva a cabo el estudio, las metodologías utilizadas, el cálculo del índice, entre otros aspectos técnicos. Allí se afirma que este índice representa una medida eficiente del bienestar contrastada con el impacto ambiental de las unidades de muestreo sobre su entorno. Este cálculo parece estar soportado en una extensa bibliografía científica y merece ser considerado como una medida robusta de lo que el estudio intenta investigar.
Lo anterior, sería cierto si tan sólo, y como en muchos otros estudios estadísticos, se asegurara una estrategia representativa sobre la población. En el caso de Colombia, ya hemos tenido bastante con los sondeos de opinión pública que yerran sobremanera en la predicción de los resultados de interés. En esta ocasión, creo que está pasando exactamente lo mismo, y por lo tanto mis objeciones acerca de esta medición no están basadas en las fórmulas matemáticas o los métodos estadísticos utilizados sino, una vez más, en la estrategia de muestreo que se utiliza para acceder a los respondientes.
En el apéndice de este documento se revela que, para este y otros tipos de estudio, es un reto llegar a las comunidades rurales y las comunidades pobres en los países en vía de desarrollo (entre los cuales se encuentra Colombia) y que el método estándar será la metodología logística utilizada por Gallup. Bla, bla, bla… ya sabemos que estas empresas colombianas de investigación de opinión no tienen una marcada rigurosidad en términos de muestreo y pues bien, este argumento técnico es suficiente para controvertir el resultado.
Es bien sabido que en este país, aunque debieran tener un gran impacto, las metodologías estadísticas no son lo suficientemente respetadas como para controvertir algo y los gerentes de estas empresas se excusarán en cualquier argumento logístico como para hacer que la discusión parezca una perogrullada. Pues bien, saliendo un poco por la tangente, hoy quiero traer a colación algunas realidades que, tal vez y sólo tal vez, los respondientes olvidaron (resultan ser argumentos surgidos de estadísiticas oficiales) y que fácilmente permitirían conocer la realidad de nuestro país.
En materia de repartición de la riqueza, Hector Rincón (ex-luciernaga) afirmó en su columna de opinión en la entonces revista cambio:
En números gruesos en Colombia hay 20’200.00 pobres. Llámese pobres, según los tecnócratas que hacen las investigaciones, a aquellos ciudadanos que pertenecen a familias de cuatro miembros promedio que no alcanzan a recibir entre todos 1’086.000 pesos de ingresos mensuales. Hagan cuentas: 1’086.000 dividido cuatro, igual 271.500 pesos por cabeza. Cada mes. De pobres así de pobres tenemos 20’200.000, que equivalen a toda la población de Bogotá, Medellín, Cali, Barranquilla, Bucaramanga y Pereira juntas.
Y en indigencia, las cifras no desgarran sino que desgarran y subvierten y queman. De indigentes tenemos 7’900.000 colombianos. Llámese indigentes aquellos ciudadanos que pertenecen a familias de cuatro miembros en promedio y que no alcanzan a recibir entre todos 468.000 pesos mensuales. Hagan cuentas: 468.000 pesos dividido cuatro, igual 117.000 pesos por cabeza. Cada mes. De indigentes así tenemos 7’900.000, que equivalen a la población de Bogotá más la de Armenia más la de Popayán.
En materia de estabilidad social
Codhes estima que hay unos 4 millones de desplazados en Colombia, Acción Social reporta que tiene inscritas a 2,6 millones de personas. Los éxodos en masa indican que hay una presión violenta contra población civil en muchas regiones del país
En materia de compromiso estatal
La Asociación de familiares de detenidos y desaparecidos en Colombia, Asfaddes, calcula que en que en este país desaparecen en promedio dos personas al día. Hasta 2006, Asfaddes logró documentar unos 15 mil casos de desaparecidos en Colombia, pero las estadísticas que manejan la Fiscalía General de la Nación y el Instituto Nacional de Medicina Legal y Ciencias Forenses, ya superaron por amplio margen el balance de la asociación. Esos consolidados registran que más de 50 mil personas están aún desaparecidas.
En materia de buen gobierno por la gente
Según estadísticas de la Oficina Anticorrupción, los 3,9 billones de pesos que en procesos de contratación van a parar a los bolsillos de los corruptos alcanzarían para pagarle 10 semestres de carrera universitaria a 80 mil jóvenes colombianos, con un valor de 5 millones de pesos cada semestre. Esta cifra la estableció la Oficina Anticorrupción, tras conocer una encuesta realizada por Transparencia por Colombia y la Universidad Externado a 560 empresarios que contratan con el Estado. Los cálculos del Ministerio Público y del Zar Anticorrupción indican que los recursos con los que se quedan los corruptos equivalen a la financiación de dos años de la seguridad democrática; podrían ser subsidios de vivienda por valor de 11,5 millones de pesos para 347 mil familias de escasos recursos o cubrir la educación de 325 mil niños. Se calcula que el 12,9 por ciento de los recursos contratados se van en pagos de sobornos, del total de 30 billones de pesos de contratos que ejecuta la Nación. Tan solo el 8 por ciento de los encuestados que conocen de hechos de corrupción los denuncian.
En materia de seguridad
El Instituto Nacional de Medicina Legal reveló hubo un repunte “escandaloso” de 16% en la tasa de homicidio y las muertes totalizaron los 17.000 casos. El informe anual sobre las muertes en Colombia, “Forensis”, da cuenta que los homicidios pasaron de 15.250 casos en 2008 a 17.717 el año pasado, lo que representó un aumento bruto de 2.467 personas muertas o 16,2% de un año a otro. La principal causa de muerte violenta se da por el uso de arma de fuego con un equivalente a 78,1% o 13.851 casos. La primera causal es la “violencia interpersonal” con 11,7% o 2.080 de los casos, seguido por la “violencia sociopolítica” con 6,2% o 1.103 homicidios
Con estas escandalosas cifras (malditas estadísticas) ¿cómo es posible que se nos declare el país más feliz del mundo? Retomando la introducción de esta entrada, pienso que sufrimos de una felicidad efímera que sirve como escudo inconsiente para evadir la terrible realidad que nos aqueja. Lo supongo, simplemente, porque mi familia y yo hemos sido (somos) víctimas de la violencia en Colombia y por mucho tiempo traté de evadir esta oscura realidad. Si me hubiesen preguntado en aquel entonces si yo era feliz, hubiese respondido con un sí rotundo. Lo triste de la historia colombiana, a diferencia de la mía propia, es que tardaremos mucho tiempo en reconocer la realidad… sin realidad no habrá verdad, y sin verdad no habrá reparación… la verdad es importante porque repara a las victimas… y mientras más se dilate este duro proceso, más tardaremos en convertirnos en una sociedad realmente feliz.
Excelente libro online de DataMining
Dec 14th
La minería de datos trata de explicar el pasado y predecir el futuro por medio del análisis de datos. Este es un campo multidisciplinario que combina la estadística, el aprendizaje de la máquina, la inteligencia artificial y tecnología de base de datos. El valor de las aplicaciones de minería de datos se estima que será muy alta. Muchas empresas han almacenado grandes cantidades de datos a través de años de funcionamiento, y con la minería de datos se es capaz de extraer un conocimiento muy valioso de estos datos. Las empresas son capaces de aprovechar los conocimientos extraídos a más clientes, más ventas y mayores ganancias. Esto también es válido en los campos de ingeniería y medicina.
En el siguiente enlace encontrará un excelente libro online acerca de este tema. Además trae ejemplos y ejercicios muy valiosos.
http://chem-eng.utoronto.ca/~datamining/dmc/data_mining_map.htm
Second Workshop on Applied Statistics: Topics on Bayesian Data Analysis
Dec 4th
La International Association of Survey Statisticians junto con la Facultad de Estadística de la Universidad Santo Tomás han aprobado la organización de uno de los eventos más esperados por la comunidad estadística colombiana, el Workshop on Applied Statistics. Este evento bienal que tendrá lugar en la sede principal de la Universidad en la primera semana de febrero de 2011, en su segunda entrega tendrá como tema principal la estadística bayesiana y sus aplicaciones haciendo memoria a las palabras de Andrew Gelman (a mi leal saber y entender, el estadístico más influyente en el mundo actual) cuando afirmó que:
Hoy en día es posible ser no Bayesiano (non-Bayesian), pero dados los avances en métodos bayesianos aplicados de las dos décadas pasadas, ser anti bayesiano (anti-Bayesian) ya no es una opción…
Este evento se caracteriza porque todos los invitados internacionales, además de conferencias, darán cursillos intensivos sobre temas de punta en la investigación de la estadística aplicada. Lo anterior es muy interesante puesto que el participante será educado personalmente por un equipo estadístico de reconocimiento internacional. Siendo esa la filosofía del evento, desde este espacio, es pertinente invitar a toda la comunidad nacional e internacional a hacerse partícipe de este evento. Entre los invitados internacionales están:
- Mike Daniels (Director del Departamento de Estadística de la Universidad de Florida en Gainesville, EE.UU.) – Cursillo: modelos de antedependencia para datos longitudinales binarios con aplicación a la prevención del cáncer
- Raquel Prada (Profesora Asociada del Departamento de Matemáticas Aplicadas y Estadística de la Universidad de Califonia, EE.UU.) – Cursillo: Ajuste de modelos de series de tiempo utilizando el enfoque bayesiano.
- Eduardo Gutiérrez (Ganador del Jan Tinbergen Award, otorgado por el International Statistical Institute y profesor de la UNAM, México) – Cursillo: Introducción a la estadística bayesiana.
Entre los invitados nacionales están:
- Víctor López: Director de la Escuela de Estadística de la Universidad Nacional de Colombia – Sede Medellín
- Fabio Nieto: Director de investigación del Departamento de Estadística de la Universidad Nacional de Colombia – Sede Bogotá
Las inscripciones estarán abiertas hasta la inauguración del evento. Realmente ,los precios son muy asequibles y es una gran oportunidad para que la comunidad estadística se haga presente.
- Estudiantes de pregrado: 100 mil pesos
- Profesionales: 150 mil pesos
- Participantes con poster o ponencia aprobada: 100 mil
La convocatoria de ponencias y posters está abierta a partir de la fecha y pueden enviar sus resúmenes al correo electrónico del nuevo director del Centro de Investigaciones y Estudios Estadísticos (CIEES) , señor Yesid Rodríguez. Asimismo, para cualquier inquietud pueden comunicarse al siguiente correo electrónico:
heivarrodriguez@usantotomas.edu.co
La historia incompleta
Nov 6th
Complete las siguientes frases:
-
Si cov(X,Y) es igual a cero, entonces la correlación entre X y Y es igual a ____
-
Si X y Y son independientes, entonces cov(X,Y) es igual a ____
-
Si X y Y son independientes, entonces la correlación entre X y Y es igual a ____
De seguro que la mayoría de lectores, al igual que yo en un comienzo, aseveró que la palabra correcta para completar las frases es cero. Pues bien, Nitis Mukhopadhyay en un reciente artículo del American Statistician muestra que no siempre es así. A continuación unos ejemplos ilustrativos:
-
Sea U una variable aleatoria con distribución normal estándar y defínase X=U y Y=1/U. Luego XY=1 con probabilidad uno. Dado que E(Y) no es finita, entonces cov(X,Y) tampoco lo es. Luego, para dos variables aleatorias correctamente definidas, no necesariamente existe el término de covarianza.
-
Sean U_1, U_2, U_3, U_4 y U_5 variables aleatorias independientes con distribución normal estándar y defínase W=U_1^2+ U_2^2+ U_3^2 +U_4^2. Ahora, sean X=WU_5 y Y=1/W. Es fácil notar que W es una variable aleatoria con distribución ji cuadrado y que Y tiene distribución inversa ji cuadrado. Luego E(W)=4, E(XY)=E(U_5)=0 y E(Y)=1/2. De esta forma, cov(X,Y)=0. Sin embargo, dado que V(Y) es no finita, entonces el coeficiente de correlación es no finito. Entonces, aunque cov(X,Y)=0, la correlación no es nula.
-
Suponga U_1, U_2 variables aleatorias independientes con distribución normal estándar y defínase X=U_1 y Y=1/U_2. Claramente X es independiente de Y, pero dado que XY define una variable aleatoria con distribución de Cauhy, entonces su esperanza no es finita y por supuesto cov(X,Y)=E(XY)-E(X)E(Y) no es finita. De esta manera, aunque X es independiente de Y, la covarianza no es nula.
-
Sean U_1, U_2, U_3, U_4 y U_5 variables aleatorias independientes con distribución normal estándar y defínase X= U_1^2 y Y=1/(U_2^2+ U_3^2 +U_4^2+U_5^2). Obviamente, X es independiente de Y, además X tiene distribución ji cuadrado, Y tiene distribución ji cuadrado inversa y XY=(1/4)Z con Z una variable aleatoria con distribución F. Luego, E(X)=1, E(Y)=1/2, E(XY)=1/2 y se tiene que cov(X,Y)=0. Sin embargo, dado que E(Y^2) no es finita, entonces var(Y) tampoco lo es al igual que la correlación . En resumen, se tiene que, aunque X es independiente de Y, y la covarianza es nula, la correlación no lo es.
De este modo Mukhopadhyay concluye que los conceptos de covarianza, correlación e independencia deberían ser formalmente introducidos teniendo en cuenta que los momentos de orden uno y dos deben ser finitos para que, de esta manera, sea verídico que la palabra correcta para completar las frases sea cero.
PD: Espero que mis lectores no encuentren incomodidad alguna en la escritura X y Y, puesto que según la nueva edición de la ortografía, elaborada por las veintidós academias de la lengua, la letra Y se llamará “ye”.
Probabilidad… ¿una verdad inútil o una mentira útil?
Nov 2nd
En la última charla que sostuve con el profe Jorge, él me hacía los siguientes comentarios que me hicieron ver un poquito más allá de lo que inicialmente entendía. Se trata acerca de la probabilidad frecuentista y recalco que esta entrada no pretende otra cosa que profundizar un poco más en el concepto de esta valiosa herramienta matemática. Espero poder expresarme en estas cortas líneas con la misma sencillez que caracteriza al profe Jorge.
Suponga que una persona llamada AAA visita al médico. El doctor escucha pacientemente la sintomatología de su interlocutor y como resultado de la consulta ordena ciertos exámenes que dilucidarán un poco el complejo escenario, puesto que todo parece indicar que AAA puede padecer de gripa. En últimas, el razonamiento inconsciente del médico está enfoca do en encontrar la probabilidad de que el paciente AAA padezca la enfermedad. En este caso, desde el punto de vista frecuentista, se abren dos vertientes.
-
Uno de los objetivos es encontrar la probabilidad de que AAA padezca la enfermedad. Luego, se debería hacer un cociente entre las personas con gripa y las personas que presentaron una sintomatología similar. En este caso, AAA es parte del denominador de esta división y para encontrar esta probabilidad deberíamos saber si AAA hace parte del numerador o no. Sin embargo, lo anterior resultaría inocuo puesto que sabiendo si AAA es parte del numerador, se estaría asegurando que AAA padece la enfermedad. En este caso, este cálculo verdadero resulta en una verdad inútil.
-
En la misma vía, planteando un escenario más realista, al desconocer si AAA padece de la enfermedad, se debería realizar un cociente entre las personas con gripa y las personas que presentaron una sintomatología similar; sin embargo, esta vez AAA no hace parte ni del numerador ni del denominador. En este caso, se tiene un valor que, literalmente, no es la probabilidad de que AAA padezca de la enfermedad, puesto que un sujeto está siendo excluido del cálculo. Luego, tendríamos una mentira útil en el diagnóstico del paciente.
Y usted qué prefiere una Mentira útil o una verdad inútil?.
Estadística pragmática
Oct 6th
En este estupendo artículo, Robert Kass afirma que las marcadas diferencias entre las corrientes bayesiana y frecuentista han socavado – más que ayudado – al aprendizaje de la ciencia estadística. El frecuentista critica al bayesiano porque realiza inferencias subjetivas al escoger la distribución a priori de los parámetros de interés; el bayesiano critica al frecuentista porque la interpretación de confianza y significación sólo tiene sentido cuando se tiene en cuenta un número grande de experimentos controlados: por ejemplo, un intervalo de confianza del 95% se interpreta como que al calcular ese mismo intervalo 100 veces en muestras aleatorias, entonces 95 intervalos contendrán al parámetro de interés.
La verdad es que en la vida real, estos conceptos bayesianos o frecuentistas son de vital importancia y han ayudado a resolver cientos de miles de problemas de investigación. Por esto, Kass afirma que los estadísticos prácticos modernos deben tener una mente abierta para apreciar el papel que juegan los supuestos teóricos y no para recitar correctamente la interpretación de un intervalo de confianza. Así que, Kass hace un llamado para entrar en una especie de filosofía moderna que él llama, pragmatismo estadístico y que se basa en los siguientes puntos:
-
Los intervalos de confianza, la significación estadística y la probabilidad a posteriori son todas herramientas inferenciales valiosas.
-
Las situaciones de azar simple pueden suplir las intuiciones básicas acerca de la probabilidad de un evento.
-
Las frecuencias de largo plazo son importantes matemáticamente, tienen sentido interpretativo y pedagógico, sin embargo, es posible la asignación de probabilidades a eventos únicos: por ejemplo, que en un intervalo de confianza esté el parámetro de interés.
-
La interpretación subjetiva de la probabilidad a posteriori es importante para entender la inferencia bayesiana, pero no es fundamental en su uso.
-
Las inferencias estadísticas de todo tipo usan modelos estadísticos que requieren supuestos: las variables aleatorias, los intervalos de confianza y las probabilidades a posteriori viven en el mundo irreal de la teoría y se usan para concluir acerca del comportamiento de los datos reales.
El docente avezado debe tener en cuenta que el mundo real está constituido por los datos recolectados y que el mundo fantástico, muy útil y matemáticamente fundamentado pero en últimas irreal, está ligado a modelos probabilísticos de los cuales se extrae una muestra aleatoria para realizar inferencias acerca de uno o varios parámetros que definen el comportamiento estructural de un modelo supuesto. De esta manera, por ejemplo, en el mundo real se tiene acceso al promedio muestral de un conjunto de datos; en el mundo irreal, se tiene un estimador llamado, equis barra, que no denota una cantidad fija sino una variable aleatoria.
La regla de oro del muestreo
Aug 26th
La verdad no recuerdo si el sobrenombre <<regla de oro>> me lo inventé o lo leí en alguna parte. Pudo haber sido resultado de haber combinado la lectura del libro <<Foundations of Inference in Survey Sampling>> con la lectura de algún evangelio mientras meditaba en la conclusión del sermón del monte. Lo que recuerdo bien es que ese libro hablaba acerca de que una estrategia de muestreo es óptima siempre y cuando el vector de probabilidades de inclusión de primer orden fuese proporcional a la característica de interés. A eso es a lo que yo llamo la regla de oro del muestreo.
Al respecto, debo aclarar que, a mi modo de ver, lo de la proporcionalidad se debe entender como la similaridad en el comportamiento estructural de los dos conjuntos de datos (el vector de probabilidades de inclusión y el vector de valores observados de la característica de información auxiliar). Por ejemplo, suponga una encuesta de establecimientos en un país latino en donde hay pocas tiendas supergigantes que venden muchísimo, hay muchas tiendas grandes que venden mucho y hay muchísimas tienditas de barrio que venden poco. Ahora suponga tres diseños de muestreo para el mismo problema: el primero, que asigna probabilidades de inclusión iguales a cada elemento de la población, el segundo que asigna mayores probabilidades de inclusión a las tienditas que venden menos y menores probabilidades de inclusión a las supertiendas que venden muchísimo, y el tercer diseño que asigna probabilidades de inclusión mayores a las supertiendas y menores a las tienditas. Teniendo en cuenta la regla de oro del muestreo, el mejor diseño es este último pues más ventas implica mayores probabilidades de inclusión y menos ventas implica menores probabilidades de inclusión.
¿Por qué? Por el principio de representatividad sobre el cual se basa todo el andamiaje epistemológico de la inferencia en poblaciones finitas. Palabras más, palabras menos, se dice que a pesar de la variación per se de todas la poblaciones, algunos individuos son capaces de representarse a sí mismos y a algún otro conjunto de individuos. Es por lo anterior que en estadística se utilizan ponderadores para representar a la población de interés y, como es bien sabido, un ponderador natural es el inverso de la probabilidad de inclusión. Por tanto, un individuo con una probabilidad de inclusión máxima igual a uno, sólo es capaz de representarse a sí mismo y a nadie más, puesto que el inverso de la unidad es la unidad. Un individuo con una probabilidad de inclusión baja, se representará a si mismo y a un conjunto grande de individuos. Si se utiliza el primer diseño muestral, se está incurriendo en un error puesto que se le está asignando el mismo peso a las supertiendas gigantes que a las tienditas de barrio. Pero si se utiliza el segundo diseño muestral se está incurriendo en un error más grave aún puesto que se está afirmando que la supertienda gigante se representa a si misma y a muchas otras y a la vez las tienditas no tienen mucha representación en la población. Lo anterior es obviamente incorrecto. Así que, la regla de oro del muestreo, no es otra cosa que sentido común. Y contra el sentido común no hay mucho que pelear. Por eso a mi me gusta afirmar en mis clases que el diseño muestral y el estimador deben ser igualmente importantes. De qué sirve un mal diseño combinado con el único estimador hiper admisible en la clase de todos los estimadores insesgados polinomiales generalizados….. sirve de nada.
El proyecto IPSUR
Jul 31st
En Julio de este año, salió al ciberespacio la obra maestra de G. Jay Kerns. Él ha escrito una obra de alto talante que personalmente siempre quise leer… Se trata de un compendio introductorio de probabilidad y estadística con R… pero cuando digo con R quiero decir que R hace parte fundamental en la lectura y comprensión del texto… Se puede decir que el libro tiene dos partes: la primera enfocada con temas de probabilidad y la segunda con técnicas estadísticas. sin descartar la segunda, me parece que este texto resalta por su excelencia en la escritura de la primera parte… En los cursos de servicios de Probabilidad y Estadística es difícil realizar aplicaciones prácticas de probabilidad con algún software estadístico como SPSS o MINITAB o SAS y la estrategia del docente se remonta a la diagramación en tablero de árboles de porbabilidad siguiendo fielmente la teoría del libro de texto. Sin embargo, esta obra de Kerns, le permite al profesor llevar de la mano la teoría junto con la enseñanza de un software estadístico. Si el lector nota bien, se dará cuenta de que lo anterior conlleva a no sólo enseñar una matería sino también inculcar en el subconciente colectivo de la calse la necesidad de la computación para realizar estadística y la cultura del aprendizaje de R, hoy por hoy el más importante e influyente software estadístico en las aulas de clase. Me gusta este enfoque y fue precisamente lo que tratamos de hacer en <<Teoría Estadística: Aplicaciones y Métodos>> con los temas de inferencia estadística… llevar conceptos importantes como suficiencia, completez, insesgamiento, cotas de varianza a un lenguaje computacional estándar que sirviera como baluarte fundamental en la enseñanza de tales temas.
La segunda sección del libro de Kerns comprende técnicas estadísticas como pruebas de hipótesis, regresión o series de tiempo. No voy a ahondar en esto pues hay ya muchos libros que unifican estos conceptos con el software R. Esta obra hace parte de un proyecto adelantado por el mismo Kerns y por G. Andy Chang de la Youngstown State University. Como hace parte de un proyecto GNU… pues ¿adivinen qué? … sí, es grátis… la descarga del libro es gratis y viene acompañada de la descarga del paquete de R <<IPSUR>>. Ahora, que si lo quiere tener en formato de papel y así apoyar al autor, pues sólo debe adquirir su copia impresa por no más de 30 dólares americanos. Si usted ya es usuario de R siga las siguintes instrucciones para accede al paquete y al libro:
install.packages("IPSUR")
library(IPSUR)
read(IPSUR)
Pero esto apenas empieza, dado que es parte de un proyecto GNU, el autor de esta obra ha puesto a disposición de la comunidad los códigos LaTeX para que usted los modifique y pueda construir su propio libro (debe tener en cuenta el manejo de Sweave, LaTeX y BibTeX). Se trata de una obra sin antecedentes, no sólo por su contenido (libro y paquete) sino por el alcance que estoy seguro va a tener en el mediano plazo dadas sus técnicas de comercialización.
Nuevo portal WEB de la Revista Comunicaciones en Estadística
Jul 14th
La Facultad de Estadística de la Universidad Santo Tomás ha lanzado el nuevo portal de internet de su publicación semestral, la Revista Comunicaciones en Estadística. Nuevo portal, nuevo número, nuevo volumen. El link para acceder es el siguiente.
http://comunicacionesenestadistica.usta.edu.co
La verdad que el trabajo del equipo de ingenieros de la USTA es limpio y el diseño es fácil. Lo que quisimos hacer con esta nueva propuesta de navegación es crear un portal en donde el autor, el lector, el estudiante y el profesor, se sintieran a gusto en un entorno sencillo pero agradable. La visualización FLASH de los artículos brinda una experiencia de navegación interesante, cómoda, fácil y rápida. La versión es Beta, así que está en prueba; sin embargo, esperamos de todo corazón que disfruten esta nueva página.
La verdad es que nos enorgullece sobremanera la publicación de este cuarto número consecutivo de la Revista Comunicaciones en Estadística. Hace dos años que empezamos este proyecto editorial y, aunque al principio fue difícil, hemos sabido llamar la atención de la comunidad Estadística en Colombia y en la región Latinoamericana. Con lo anterior, el posicionamiento de nuestra publicación es mucho mejor y hemos logrado una buena calidad editorial, que cada vez más es reconocida por lo lectores de la revista y, que deseamos conservar a lo largo de los artículos publicados. Para este número, los artículos son:
-
Afijación óptima de tamaños de muestra en muestreo aleatorio estratificado vía programación matemática.
-
Una revisión de la metodología de estimación a través de muestreo por cadenas referenciales para las proporciones de una población oculta.
-
Intervalos de predicción para pronósticos no paramétricos de la inflación colombiana.
-
Una revisión de los modelos de volatilidad estocástica.
-
Distribución Poisson-Pascal generalizada utilizando el algoritmo de Panjer.
Si usted está interesado en publicar un artículo en nuestra revista, no dude en escribir a
revistaestadistica@usantotomas.edu.co
Apoye este producto, recuerde que no es un producto ligado a una institución, es un producto ligado al desarrollo de la ciencia estadística en Colombia. Gracias por leernos y por divulgar y difundir este esfuerzo que es de estadísticos para estadísticos (de formación o de profesión). Gracias por su apoyo.
Nuestro libro de estadística: Teoría Estadística, Aplicaciones y Métodos
Apr 7th
Hace unos pocos días hemos terminado un trabajo que desde hace unos años empezamos a gestar en la Facultad de Estadística de la Universidad Santo Tomás… se trata de un libro de teoría estadística que recoge la rigurosidad teórica y al mismo tiempo conduce al lector por el apasionante destino de la práctica estadística la cual ciertamente debe estar fundamentada en la teoría. Con este enfoque empezamos a divagar sobre cuál debería ser el orden de los contenidos y qué tópicos debería abordar el texto. Después de poco tiempo, propuse que debería ser el sentido común quien le diera el orden a los contenidos. El sentido común al que tanto apelaba Leslie Kish cuando, a grandes rasgos, afirmaba que las muestras no estaban dadas sino que debían ser recolectadas y analizadas.
Con base en lo anterior, verificamos que el análisis de datos no empieza con un modelo de probabilidad. El análisis de datos empieza con los mismos datos; en la vida práctica el profesional debe cuestionarse acerca de la naturaleza de los datos: ¿qué rango tienen? ¿cuál es la fuente de los datos? ¿cómo se obtuvieron? En la vida real no sucede que el profesional sea contratado para analizar una muestra aleatoria que proviene de una distribución beta. No, en la vida real, el profesional decide qué tipo de distribución se ajusta mejor y sobre ello utiliza las mejores herramientas para inferir y convertir su análisis en información valiosa. Este texto tiene ese enfoque… tiene la particularidad de poner en contexto al lector y mediante ejemplos prácticos afianzar la teoría que se desarrolla rigurosamente.
El libro está en proceso editorial y esperamos que en pocos meses esté disponible en el mercado hispanoamericano. Haciendo clic acá encontrará una visualización del texto. A continuación reproduzco el prologo, que muy amablemente fue escrito por Fabio Nieto, reconocido profesor e investigador del Departamento de Estadística de la Universidad Nacional de Colombia, sede Bogotá.
Sobre teoría estadística se han escrito muchos libros, indudablemente más en el concierto internacional que en el nacional. Sin embargo, cada vez que un lector se enfrenta a una nueva publicación sobre el tema, él quisiera detectar qué es lo nuevo, diferente o atractivo que se presenta o desarrolla en la obra que tiene en sus manos. Desde esta premisa, es muy agradable presentar este libro en el cual se marcan diferencias importantes con respecto a muchos otros escritos sobre la materia. En las líneas siguientes explicaré estas características significativas, para usar un término muy “estadístico”.
En virtud de la gran experiencia y habilidad en el manejo del lenguaje R por parte de los autores, el libro incluye muchos ejemplos ilustrativos de los conceptos fundamentales de la inferencia estadística, los cuales se han desarrollado con este lenguaje. Esto permite al lector comprender, por ejemplo entre muchas otras, la noción intuitiva de distribución muestral (o de muestreo).
Se incluye la teoría estadística básica de la inferencia multivariada, crucial en el entendimiento del comportamiento probabilístico de un vector de variables aleatorias y de las relaciones entre ellas. No es usual encontrar un trabajo en donde se incluyan conjuntamente, los contextos univariado y multivariado de la inferencia estadística.
Este libro es un buen punto de partida para el conocimiento e interiorización de la teoría estadística, por parte de estudiantes de una carrera de estadística, en el entendido de hacer de la práctica estadística una profesión. Además, podrá ser un gran soporte para la realización de estudios de posgrado, bien sea a nivel de profundización de conocimientos o a nivel de investigación.
En forma muy general, se puede afirmar que en la presente obra, la teoría y sus aplicaciones son presentadas de manera muy coherente y equilibrada; es decir, sin profundizar en lo teórico más allá de lo necesario y sin exagerar en la inclusión de las aplicaciones. Por esto y todo lo expresado anteriormente, me siento muy complacido de presentar este libro y de recomendarlo a un amplio conglomerado de lectores o usuarios de la estadística.
Fabio Nieto
Cosas que debo hacer este semestre…
Feb 14th
Recibo ideas…
- Publicar <<Inferencia Estadística, un enfoque integral>> (alguien tiene un mejor nombre?, todavía no me convenzo de ese título… este libro es pura estadística matemática aplicada a las ciencias sociales… modelos univariados y multivariados, ejemplos en R y datos reales, 350 pags!!!!)
- Empezar my thesis PhDs (Modelamiento Bayesiano para datos longitudinales en media y varianza, mi tutor me dice que debo entregar en año y medio… ojalá, Dios me ayude!!!)
- Terminar el libro de Bayesiano (En principio se llama Introducción a los modelos Bayesianos… ¿un mejor nombre?… ya terminé toda la parte teórica, pero falta que los coautores me ayuden con los ejemplos en R… Modelos univariados, multivariados, regresión, modelos lineales generalizados, modelos jerárquicos, series de tiempo, muestreo y sobrevida.)
- Darle forma a las notas de Análisis de Sobrevida (Esta será una linda aventura… todo empezó con el curso de doctorado y ahora ya tenemos unas notas que carecen de estructura, pero que muy seguramente saldrán a la vida en un libro introductorio de esta linda materia.)
- Patinar con mis amigos!!! skating with my hommies.
La distribución de Kuramaswany
Nov 29th
Esta distribución propuesta inicialmente por Poondi Kumaraswamy en 1980, tiene una forma similar a la de la distribución Beta, está restringida al intervalo [0,1] y su forma funcional resulta muy simple puesto que su forma es cerrada; al contrario de la distribución Beta cuya expresión, como lo afirma Jhon D. Cook, no puede ser reducida a funciones elementales a menos que sus dos parámetros sean enteros. La función de densidad está dada por
Un resultado importante es que si Y tiene una distribución Beta(1,b), entonces
Sin embargo, Jhon D. Cook afirma que la aproximación de los parámetros de las dos distribuciones no implica que la forma resultante de la distribución de Kuramaswani no sea equivalente a la forma de la distribución beta. En R, esta distribución está implementada en el paquete VGAM y la instrucción rkumar genera números aleatorios desde esta distribución. El gráfico de esta entrada se generó mediante la utilización de este código.
La probabilidad de un madrazo…
Nov 6th
Pasando a temas un poco más jocosos, imagine que usted recibe una carta de un amigo suyo. Usted lee la carta y con escepticismo se da cuenta que es un escrito estructurado, que se han tomado harto tiempo para escribirlo y que, a pesar de su gran sorpresa, usted cree que es un sutil insulto. Pues bien, a simple vista la carta contiene poca información pero detalladamente, usted se da cuenta que es un acróstico y que su amigo lo está mandando al carajo. Eso suena muy real después de que el gobernador de California, el carismático Arnoldo Suarez enviara una misiva respondiendo negativamente a una petición. Al mirar detalladamente el mensaje, es fácil darse cuenta que se trata de una composición casi poética que contiene un mensaje claro y directo: FUCK YOU.
Por supuesto, el gobernador de California niega estar detrás de este desagradable incidente y toda la culpa se la atribuye a una desafortunada coincidencia perpetrada por el desatino del destino. Sin embargo, Philip B. Stark, a través de numerosos escenarios, demuestra que la probabilidad de tal casualidad es casi nula. Entre algunos de los escenarios están:
-
Si se digita un escrito de siete líneas y cada letra es elegida al azar, de forma independiente, a partir de las 26 letras del alfabeto inglés (ignorando mayúsculas y minúsculas, espacios, números y puntuación), la probabilidad de que la primera letra de las siete líneas forme este acróstico es (1/26)^7 = 1.245e-10.
-
No todas las letras del alfabeto tienen la misma frecuencia de uso. Así, la letra c tiene una frecuencia de 0.03511, la letra f de 0.03779, la letra k de 0.00690, la letra o de 0.06264, la letra u de 0.01487, la letra y de 0.01620. De esta manera, la probabilidad buscada es de 0.03779 × 0.01487 × 0.03511 × 0.00690 × 0.01620 × 0.06264 × 0.01487 = 2.054e-12.
Pues bien, fíjese usted qué fácil es insultar sutilmente. Desde ahora en adelante lea bien, muy bien.
John Cook y sus tres acercamientos a la distribución binomial negativa
Sep 24th
John Cook plantea acá una interesante discusión acerca de la interpretación de la distribución binomial negativa. Nótese que esta distribución, según wikipedia, tiene la siguiente forma funcional:
En donde 
Esta distribución siempre ha tenido lugar al resolver el famoso problema del número de ensayos necesarios para lograr tantos éxitos. Por supuesto, si
Con lo anterior en mente, es posible asignar al parámetro
La ley de Newcomb-Benford en contra del fraude
Jul 28th
Estimado colega estadístico, las columnas de la siguiente tabal describen el territorio de algunos países del planeta. Una de las dos columnas es verdadera y la otra columna es falsa. Cuando observa la siguiente tabla de datos, ¿podría decir con exactitud cuál de las columnas es verdadera?
Intrigado por una charla del maestro Pericchi y con la buena fortuna de encontrarme leyendo por esos días la sección Teachers corner en The American Statistician, me ha llamado la atención fervorosamente la ley de Benford En palabras del propio Pericchi, esta ley, al igual que muchas otras cumple con el teorema de Good, que afirma que en las ciencias exactas, las leyes y resultados más importantes llevan el nombre de la segunda persona que lo estudió. Por ejemplo, el estimador de Horvitz-Thompson fue descubierto en primer lugar por Narain, sin embargo no lleva su nombre.
Volviendo al tema, la ley a la que hago referencia fue descubierta en 1881 por el astrónomo Simon Newcomb cuando notó que las páginas más desgatadas en los libros de logaritmos estaban en los primeros dígitos (nótese que es natural pensar que la distribución de los números es uniforme). Retomando a Newcomb, esta ley fue popularizada en 1938 por el físico Frank Benford quien recopiló más de veinte mil datos y llegó a conclusiones semejantes: la frecuencia de repetición del primer dígito, en los números de su estudio, era mucho mayor para los guarismos 1, 2, 3, y mostraba una tendencia decreciente para los restantes dígitos.
En general, la ley de Newcomb-Benford afirma que la distribución de probabilidad del primer dígito sigue una distribución, no uniforme, dada por
para 
Como se puede notar, la probabilidad del uno es de alrededor 0.3, mientras que la del cuatro es de más o menos 0.1 y la del nueve está alrededor de 0.05.
Este magnífico resultado ha sido utilizado en detección del fraude para declaraciones de impuestos (ver aquí) y también en detección de fraudes en registros electorales como en Venezuela o en Iran (ver aquí). De hecho, el profesor Mebane tiene un excelente ensayo acutalizado periódicamente con respecto a las dudosas elecciones recientes en Iran (ver aquí).
Pearson, Fisher, Bayes y …
Apr 28th
Desde la revolución estadística de Pearson y Fisher, la inferencia estadística busca encontrar los valores que parametrizan a la distribución desconocida de los datos. El primer enfoque, propuesto por Pearson, afirmaba que si era posible observar a la variable de interés en todos y cada uno de los individuos de una población, entonces era posible calcular los parámetros de la distribución de la variable de interés; por otro lado, si sólo se tenía acceso a una muestra representativa, entonces era posible calcular una estimación de tales parámetros. Sin embargo, Fisher discrepó de tales argumentos, asumiendo que las observaciones están sujetas a un error de medición y por lo tanto, así se tuviese acceso a toda la población, es imposible calcular los parámetros de la distribución de la variable de interés.
Del planteamiento de Fisher resultaron una multitud de métodos estadísticos para la estimación de los parámetros poblacionales. Es decir, si la distribución de 
Ahora, en este justo instante, vienen pequeños susurros desde Brasil, que mencionan que un grupo de estadísticos ha empezado a trabajar en un nuevo enfoque. Amanecerá y veremos.
Relaciones de las distribuciones de probabilidad
Jan 2nd
Que sea esta la oportunidad para desearle a cada uno de los lectores de este blog un muy Feliz año acompañado de todo tipo de bendiciones y logros realizados.
Abro el año con este gráfico realizado por John D. Cook acerca de las relaciones de las distribuciones de probabilidad. Según Cook, el gráfico está inspirado en un artículo de Lewis y McQueston publicado en TAS (The American Statistician) en donde los autores muestran en un gráfico mucho más extenso y completo cómo cada una de las distribuciones de probabilidad univariadas se relacionan y forman familias según las propiedades que tengan.
Entre las propiedades que parametrizan las distibuciones de probabilidad se encuentran las siguientes:
-
Propiedad de combinación lineal; por ejemplo, la suma de variables aleatorias normales independientes resulta tener una distribución normal
-
Propiedad de convolución; por ejemplo, una variable aleatoria con ditribución Chi cuadrado y con
grados de libertad puede venir de la suma de
-
Propiedad del producto; por ejemplo, el producto de lognormales resulta tener una distribución lognormal
-
Propiedad de la inversa; por ejemplo, Si una variable aleatoria tiene distribución F, su inversa aritmética también tendrá distribución F
Este tipo de ayudas visuales son muy importantes y brindan al estadístico un nivel de comprensión mucho más amplio y son un claro ejemplo de que uno no siempre tiene que saber todo… Sin embargo, sí debe saber en dónde buscar.
Todo comienza con la “p”
Nov 8th
Andrew Gelman comenta que John Cook comenta que,
Existe sólo un símbolo importante en estadística,
Usualmente, la regla de Bayes no requiere de mucha explicación. Sin embargo, en la anterior ecuación cada p denota funciones que son totalmente diferentes, aunque compartan el mismo símbolo. Los autores prefieren este tipo de escritura para evadir la notación engorrosa que requeriría la escritura completamente explícita.
A veces, la sobrecarga de la decimonovena letra del alfabeto se convierte en un lastre y los estadísticos cambian de notación y de alfabeto y usan la contraparte griega 
En su libro, Bayesian Data Analysis, Andrew Gelman, explica por qué la notación simple, con el uso (a veces abuso) de la letra p es más rigurosa de lo que, a simple vista, pueda parecer y comenta que,
En realidad no me gusta la notación que la mayoría de los estadísticos usan… 
Esto tiene sentido, aún más cuando se estudian las propiedades estadísticas de los estimadores desde el punto de vista de la teoría de la medida. Siendo así, el símbolo p se refiere a una notación para una medida de probabilidad, quizás inducida por un elemento aleatorio. De hecho, en la ecuación que determina la regla de Bayes, cada una de las 
De hecho, todo queda claro al realizar un diagrama que permita ver el espacio de salida y el espacio de llegada de los elementos aleatorios que inducen (si es el caso), cada una de las distribuciones de probabilidad. Por otra parte, Bob Carpenter, concluye que
[Una vez resuelto el problema de identificación de los espacios] la notación estadística depende en gran manera del contexto y aunque la regla de Bayes no necesite de mucha explicación, es necesario conocerlo todo acerca del contexto para poder interpretar las funciones que la conforman… El problema se hace mucho más agudo para los estadísticos novatos, pero eso se resuelve con la práctica. Una vez que uno sabe lo que está haciendo, se vuelve obvia la referencia de la distribución
Por lo anterior, es natural que algunos de los textos clásicos de estadística matemática, parezcan olvidar el contexto de las diferentes medidas de probabilidad. En realidad no es que lo olviden, lo que pasa es que los autores no son novatos y asumen que el lector sigue la idea de la referencia de la
Historia de la probabilidad (Era moderna)
Oct 25th
Siglo XX
El siglo XX se ha caracterizado por los avances de la tecnología; medicina y ciencia en general; fin de la esclavitud (al menos nominalmente); liberación de la mujer en la mayor parte de los países; pero también por crisis y despotismos humanos, que causaron efectos tales como las Guerras Mundiales; el genocidio y el etnocidio, las políticas de exclusión social y la generalización del desempleo y de la pobreza. Como consecuencia, se profundizaron las inequidades en cuanto al desarrollo social, económico y tecnológico y en cuanto a la distribución de la riqueza entre los países, y las grandes diferencias en la calidad de vida de los habitantes de las distintas regiones del mundo. En los últimos años del siglo, especialmente a partir de 1989-1991 con el derrumbe de los regímenes colectivistas de Europa, comenzó el fenómeno llamado globalización o mundialización.
1920-1930
En los años de la gran Guerra (primera guerra mundial entre 1914 y 1918) la probabilidad y la estadística se esparcieron por todos lados. Durante la guerra, la investigación en probabilidad casi se detiene por causa de que la gente se enlistaba en los servicios armados. Pearson, Lévy y Wiener trabajaron en balística, Jeffreys en meteorología e Yule en administración.
-
En 1900 David Hilbert propuso un conjunto de problemas para el siglo 20. El sexto problema fue, “tratar… por medio de axiomas, aquellas ciencias físicas en las cuales las matemáticas juegan un papel importante; en primer lugar están la teoría de la probabilidad y la mecánica.” La teoría de la medida, que jugaría un papel muy importante en la axiomatización de la probabilidad, fue creada por Borel, Lebesgue entre otros.
-
Desde diferentes campos surgieron contribuciones que eventualmente encontraron lugar en la teoría de los procesos estocásticos. En física, Einstein y Smoluchovski trabajaron en el movimiento Browniano. Bachelier desarrolló un modelo similar aplicado a la especulación financiera; alternamente, el actuario Lundberg desarrolló una teoría de riesgo colectivo. –la enfermedad de la malaria y la migración de los mosquitos fueron el foco principal de la investigación de Pearson originado en el problema de la caminata aleatoria. Ronald Ross y A. G.McKendrick, sin la referencia del anterior trabajo de Daniel Bernoulli, crearon modelos matemáticos de epidemias.
-
Charles Spearman (1863-1945) impulsó la correlación y esta empezó a ser parte importante de la sicología. Entre las contribuciones a la estadística estuvieron la correlación de rangos y el análisis factorial. Godfrey Thomson fue un crítico severo del análisis factorial de la inteligencia basado en el trabajo de Spearman. En la década de 1930 Louis L. Thurstone desarrolló el análisis factorial múltiple.
-
En economía, especialmente en los Estados unidos, los métodos cuantitativos empezaron a ser más prominentes. Las figuras más importantes fueron Warren Persons, Irving Fisher, Wesley Mitchell and H. L. Moore. La mayoría de su trabajo se clasificaría en el análisis de series de tiempo.
-
Las aplicaciones industriales en probabilidad empezaron con el trabajo de Erlang sobre congestión de sistemas telefónicos, el ancestro de la teoría de colas.
-
Los desarrollos institucionales incluyen, en 1911 la creación del departamento de estadísticas aplicadas en UCL encabezado por Pearson. Yule, podría ser llamado “el primer estadístico moderno”.
1920-1930
La mayoría de las personas que dominaron la probabilidad y la estadística tuvieron un impacto temprano. De ellos, el individuo que tuvo un mayor impacto fue Fisher en estadística. El alemán era el idioma tradicional en la literatura científica de la época. Sin embargo, Fisher escribía en inglés pues creía que la época de escritura alema había terminado con Gauss.
-
Los avances en probabilidad incluyeron refinamientos del teorema central del límite (Lindeberg hizo una muy importante contribución) y de la ley fuerte de los grandes números y nuevos resultados incluían la ley del algoritmo dominado. Hubo contribuciones de la mayoría de los países del continente europeo; por ejemplo, Mazurkiewicz de Polonia y en 1935 Turing repitió el trabajo de Lindeberg sin saber de su publicación.
-
Los fundamentos de la probabilidad recibieron mucha atención y ciertas posiciones encontraron expresiones clásicas: la interpretación lógica de la probabilidad (grado de creencia razonable) fue propuesta por los filósofos de Cambridge, W. E. Johnson, J. M. Keynes y C. D. Broad, y presentada a una audiencia científica por Jeffreys; el punto de vista frecuentista fue desarrollado por von Mises.
-
En estadística, R. A. Fisher generó nuevas ideas sobre estimación y juzgamiento de hipótesis y su trabajo de diseño experimental movió este tópico desde los linderos hasta el centro de la estadística. Sus Métodos estadísticos para investigadores (1925) fue el libro más influyente del siglo 20.
-
W. A. Shewhart (ASQ) fue el pionero del control de calidad, el cual se convirtió en una aplicación muy importante de la estadística en la industria.
1930-1940
En contra de una economía en recession y de una política desastrosa, hubo importantes desarrollos en probabilidad, teoría estadística y sus aplicaciones. En la Unión Soviética, a los matemáticos les iba mayor que a los economistas o a los genetistas y pudieron salir de su país y publicar en revistas internacionales; así Kolmogorov y Khinchin publicaron en Alemania, donde precisamente los judíos fueron expulsados de la academia desde 1934.
-
En probabilidad, los principales desarrollos fueron la axiomatización de la probabilidad por Kolmogorov y el desarrollo de la teoría de los procesos estocásticos por él y por Khinchin. Su trabajo es usualmente visto como el comienzo de la probabilidad moderna.
-
En los fundamentos de la probabilidad, Bruno de Finetti y Frank Ramsey (1903-1930) (St. Andrews, N.-E. Sahlin) trabajaron en la probabilidad subjetiva. Ramsey empezó con el criticismo de la escuela de lógica de Cambridge, en particular Keynes. Una superestructura estadística no se dio sino años después. Jeffreys dio un tratamiento complete a la estadística fundamentado en su noción lógica de la probabilidad, aunque la forma prevaleciente era la clásica.
-
Biometrika detuvo la publicación de la investigación biológica y se enfocó en la estadística teórica. El Instituto de estadística matemática fue fundado en 1930 y su revista, The Annals of Mathematical Statistics apareció en 1933. El primer laboratorio de estadística en los Estados Unidos fue creado en Iowa por Snedecor en 1933. Snedecor fue fuertemente influenciado por Fisher.
-
En el campo de la inferencia estadística, el mayor desarrollo fue la teoría del juzgamiento de hipótesis de Neyman-Pearson. El análisis multivariado se convirtió en una material identificable, formada por contribuciones como la distribución Wishart (1928), los componentes principales de Harold Hotelling (1933) y la correlación canónica (1936) y el análisis discriminante de Fisher (1936).
-
Las aplicaciones de las matemáticas y estadísticas a la economía se juntaron en el movimiento econométrico. Entre los líderes de la década de 1930 estuvieron Jan Tinbergen y Ragnar Frisch. Los econometristas que ganaron el premio Nobel en economía son Engle, Granger, Haavelmo, Heckman, Klein, McFadden.
1940-1950
Entre los millones de muertos de la segunda Guerra mundial se contaron algunos matemáticos y estadísticos. Doeblin es el más famoso de los finados; uno de los libros de Neyman está dedicado a la memoria de diez colegas y amigos. Esta guerra incentivó el estudio de la probabilidad y la estadística. Al final de la Guerra, muchas personas se encontraron trabajando como estadísticos, hubo nuevas aplicaciones y la importancia de esta material fue más ampliamente reconocida.
-
Las persecuciones Nazis y la segunda guerra mundial empujaron la migración de muchos estadísticos a los Estados Unidos. Algunas de las más importantes figures de la probabilidad en la postguerra en Estados Unidos son: Feller, M. Kac (MGP), Wald, G. E. P. Box (MGP), W. G. Cochran (ASA) (MGP), W. Hoeffding (MGP), H. O. Hartley (MGP), F. J.Anscombe (Obit. p. 17) (MGP), Z. W. Birnbaum (MGP) y O. Kempthorne (MGP).
-
Los métodos no-paramétricos empezaron a ser sistemáticamente estudiados, usando técnicas de la teoría de la inferencia estadística; E. J. G. Pitman fue un pionero importante. Las pruebas estadísticas para el juzgamiento de hipótesis vinieron de no-estadísticos como Spearman (rangos) o Wilcoxon (prueba de Wilcoxon). El repertorio conocido de las pruebas del signo, pruebas de permutación y la prueba de Kolmogorov-Smirnov se expandieron rápidamente en el medio.
-
El análisis moderno de series de tiempos vino de la unión de la teoría de los procesos estocásticos, la teoría de la predicción y la teoría de la inferencia estadística. Uno de los principales pioneros de esta década fue M. S. Bartlett. En la década de 1950 Tukey fue una figura importante. En la década de 1960, Kalman (filtro de Kalman) y los sistemas de ingeniería hicieron importantes contribuciones y en la década de 1970, los métodos de G. E. P. Box y G. M. Jenkins (Box-Jenkins) fueron adoptados en la economía y los negocios.
1950-1980
Este es un periodo de expansión, más países, más gente, más departamentos, más libros, más revistas. Los computadores empiezan a tener un gran impacto.
-
Los departamentos existents de estadística se expanden. Nuevas instituciones son creadas, entre ellas el Laboratorio estadístico en Cambridge en 1947 y el departamento de estadística en Harvard en 1958.
-
El alcance de la teoría de la probabilidad se incrementa con el nacimiento de nuevos subcampos como la teoría de colas y la teoría de la renovación. El libro de Feller Introduction to Probability Theory hizo un impacto muy grande en el mundo de habla inglesa pues promovió el estudio de tópicos más avanzados como las cadenas de Markov.
-
En material estadística hubo un renacimiento Bayesiano. En Estados Unidos, la teoría de decisión Bayesiana reflejó la influencia de la teoría de la decisión de Wald.
-
W. Edwards Deming continúo el trabajo de Shewhart en control de calidad y fue muy efectivo a la hora de adoptar estos métodos en la industria.
-
Laplace y Quetelet vieron el trabajo de los censos como posibles aplicaciones de la probabilidad pero el uso de la teoría estadística para recopilación de información oficial llegó sólo después de las actividades de Morris Hansen (ver entrevista) en la oficina de censos de Estados Unidos.
1980 + (Los efectos del computador)
Este periodo describe el efecto impactante de los ordenadores en el desarrollo de métodos estadísticos desde su advenimiento, en la década de 1950 y el dramático cambio en la historia de la probabilidad y la estadística en las recientes décadas. Al final del siglo 19, las máquinas mecánicas calculadoras proveyeron el material para la investigación de Pearson y Fisher y la construcción de sus tablas estadísticas. Con la disponibilidad de los computadores, las viejas actividades tomaron menos tiempo y nuevas actividades fueron posibles.
-
Las tablas estadísticas de números aleatorios fueron mucho más fáciles de producir y luego desaparecieron pues su función fue sometida a los paquetes estadísticos.
-
Una gran masa de datos, más grande que en épocas pasadas, puede ser analizada.
-
El Data mining exhaustivo es posible.
-
Modelos y métodos más complejos pueden ser usados. Los nuevos métodos se han diseñado con idea de la implementación computacional. Por ejemplo, la familia de los modelos lineales generalizados vinculada al programa GLIM (ver John Nelder FRS).
-
En el siglo 20 cuando Student (1908) escribió sobre la media normal y Yule (1926) escribió sobre las correlaciones sin sentido, ellos usaron experimentos basados en muestras y en la década de 1920 valió la pena producir tablas de números aleatorios. Esto cambió con la introducción de los métodos asistidos por el computador para la generación de números pseudo-aleatorios, más aún los métodos de Monte-Carlo (introducidos por von Neumann y Ulam) fueron posibles.
-
Desde 1980 los métodos de Monte Carlo han sido estudiados y usados directamente en el análisis de datos. En la inferencia clásica, el bootstrap ha sido prominente.
Historia de la probabilidad (Era Contemporánea)
Oct 11th
Siglo XIX
La característica fundamental son sus fuertes cambios. Cambios anunciados y gestados en el pasado pero que se efectuarían, de hecho, en el siglo. Cambios en todos los ámbitos de la vida y el conocimiento. Revoluciones de todas las índoles tendrían su lugar. La ciencia y la economía se retroalimentarían, el término “científico”, acuñado en 1833 por William Whewell,1 2sería parte fundamental del lenguaje de la época
1800-1830
Este periodo se encuentra dominado por las figuras de Laplace y Gauss. Laplace cubrió todo el rondó de la probabilidad y la estadística; Gauss se enfocó solamente en la teoría de los errores.
-
El trabajo en la teoría de los errores alcanzó un clímax con la introducción del método de los mínimos cuadrados que fue publicado Legendre en 1805. Durante veinte años hubo tres razonamientos basados en la teoría de la probabilidad: El argumento bayesiano de Gauss (con una distribución a priori uniforme), el argumento de Laplace basado en el teorema central del límite y el argumento de Gauss que se basó en el teorema de Gauss-Markov. El trabajo de investigación continuo a través del siglo 19 con la ayuda y contribución de numerosos astrónomos y matemáticos; entre ellos, Cauchy, Poisson, Fourier, Bessel, Encke, Chauvenet y Newcomb. (Aparece la distribución de Cauchy como un caso poco elegante de la teoría de los errores.) Pearson, Fisher y Jeffreys aprenden la teoría de los errores desde la perspectiva de los astrónomos.
-
Gauss encontró una segunda aplicación de los mínimos cuadrados en la geodesia. Los geodesistas hicieron importantes contribuciones a los mínimos cuadrados, particularmente desde la perspectiva computacional. Los epónimos, Gauss-Jordan y Cholesky, son puestos en honor a posteriores geodesistas. Helmert (la transformada de Helmert) fue un geodesista que contribuyó a la teoría de los errores. Nótese que el topógrafo Frank Yates contribuyó enormemente a la estadística siendo colega y sucesor de Fisher en Rothamsted.
-
William Playfair encontró nuevas formas de representación gráfica de los datos. Sin embargo, nadie le prestó atención. La teoría estadística que ganó terreno en los siguientes 150 años no tuvo en cuenta la idea de la graficación de los datos. Esta idea es reciente y se asocia con Tukey.
-
Concluye la era de las academias y los mayores avances se dan en las universidades. El sistema de educación francesa fue transformado gracias a la revolución y el siglo 19 vio el surgimiento de la universidad alemana.
1830-1860
Este periodo vio el surgimiento de de la sociedad estadística, la cual ha estado active en la escena científica desde entonces. Aunque el significado de la palabra “Estadística” ha cambiado desde el principio de la literatura filosófica de la probabilidad. En este periodo, también se dio la más glamorosa rama del análisis empírico de las series temporales, el llamado “ciclo de las manchas solares”.
-
Desde 1830 han habido varias sociedades estadísticas, incluyendo la London (Royal) Statistical Society y la American Statistical Association (ahora la más grande del mundo). El International Statistical Institute fue fundado en 1885 aunque ha organizado congresos internacionales desde 1853. Las estadísticas estuvieron basadas en las poblaciones humanas y en Francia André-Michel Guerry mapeó una clase de estadísticas morales. Quetelet fue un catalizador en la formación de la London Society.
-
Desde 1840, existe la literatura filosófica de probabilidad. La literatura inglesa empieza con la discusión de probabilidad de John Stuart Mill (1843). Este fue seguido por John Venn, W. Stanley Jevons y Karl Pearson. Hubo un traslape en la literatura de lógica y de probabilidad. De Morgan y Boole también aportaron exhaustivas y largas discusiones acerca de la probabilidad.
-
En 1843 Schwabe observe que la actividad de las manchas solares (sunspot) era periódica. Seguido de décadas de investigación, no solo en la física solar sino en el magnetismo terrestre, meteorología e incluso economía, donde se examinaban las series para ver si su periodicidad coincidía con la de las manchas solares. Incluso antes de la manía o moda de las manchas solares hubo un interés intense en la periodicidad en la meteorología, en el estudio de las mareas y otras ramas de la física observacional. Juntos, Laplace y Quetelet, habían analizado datos meteorológicos y Herschel había escrito un libro al respecto. Las técnicas en uso variaban desde las más simples, como la tabla de Buys Ballot, a formas más sofisticadas como el análisis armónico. Al final del siglo, el físico Arthur Schuster introdujo el periodograma. Sin embargo, por ese entonces, una forma rival del análisis de series temporales, basada en la correlación y promovida por Pearson, Yule, Hooker y otros, fue tomando forma.
1860-1880
Dos importantes campos de aplicación se abrieron en este periodo. La probabilidad encontró una aplicación más profunda en la física, particularmente en la teoría de gases, naciendo así la mecánica estadística. Los problemas de la mecánica estadística estaban detrás del alcance de los avances de la probabilidad a comienzos del siglo 20. El estudio estadístico de la herencia, desarrollado dentro de la biometría, tuvo lugar. Al mismo tiempo el mundo sufrió importantes cambios geográficos. Un trabajo importante en la teoría de la probabilidad venía desarrollándose en Rusia mientras que el trabajo estadístico venía de Inglaterra.
-
En 1860 James Clerk Maxwell usó la curva del error (distribución normal) en la teoría de los gases; parece que él estaba influenciado por Quetelet. Boltzmann y Gibbs desarrollaron la teoría de gases dentro de la mecánica estadística.
-
En contraste, la llamada “dirección continental” investigaba que tan apropiado era el uso de los modelos para el tratamiento de las tasas de nacimientos y defunciones por considerar la estabilidad de las series sobre el tiempo.
-
Hubo una mayor penetración de la estadística en la psicología y en la economía. Se tuvo en cuenta el trabajo de los políticos aritméticos de 1650. El trabajo de Jevons sobre números índice fue inspirado por la teoría de los errores. La investigación en series temporales económicas fue inspirada por el trabajo de lo meteorólogos acerca de la variación estacional de los ciclos solares y sus correlaciones en la tierra.
1880-1900
En este periodo la escuela inglesa estadística tomó forma. Pearson fue el personaje dominante hasta que Fisher lo desplazó en la década de 1920s.
-
Galton introdujo la correlación y una teoría basada en el anterior concepto fue rápidamente desarrollada por Pearson, Edgeworth, Sheppard y Yule. La correlación fue la mayor salida desde el trabajo estadístico de Laplace y Gauss. Empezó a ser ampliamente aplicada en biología, psicología y ciencias sociales.
-
En economía Edgeworth siguió algunas ideas de Jevons, sobre números índice. Sin embargo, en Inglaterra la economía estadística era más cercana al trabajo en estadísticas oficiales o periodismo financiero. En Italia Vilfredo Pareto descubrió una regularidad estadística en la distribución del ingreso (distribución de Pareto).
Historia de la probabilidad (Era Primaria)
Oct 4th
1650-1700
En este periodo se encuentran los orígenes de la probabilidad y de la estadística mediante el tratamiento matemático del juego y del estudio sistemático de las cifras de mortalidad. Esta época es conocida como la era de la revolución científica en donde grandes nombres como, Galileo (ver Materiales y Todhunter) y Newton dieron algunas ideas de la probabilidad sin influenciar su desarrollo teórico.
-
Antes de este periodo, hubo algunas contribuciones a la probabilidad y es así como Cardano (1501-76) dio algunas probabilidades asociadas al lanzamiento de los dados. Sin embargo, una masa crítica de investigadores y resultados fue alcanzada solamente después de las discusiones entre Pascal y Fermat.
-
Las estadísticas poblacionales surgen mediante el trabajo de Graunt. William Petty (amigo de Graunt) creó el término Política Aritmética refiriéndose al estudio cuantitativo de la demografía y de la economía. Gregory King fue una importante figura de la siguiente generación. Sin embargo la línea econométrica no surgió de la manera adecuada. De hecho, el economista más influyente del siglo 18, Adam Smith, escribió, ”Yo no tengo ninguna esperanza en la política aritmética”.
-
Una nueva forma de matemáticas de seguros de vida es creada a partir del trabajo de Graunt por los matemáticos Halley, Hudde y deWitt. Mucho después algunos probabilistas escribirían acerca de temas actuariales, entre ellos deMoivre, Simpson, Price, DeMorgan, Gram, Thiele, Cantelli, Cramér y deFinneti. En el siglo 20 algunos temas de actuaria más la motivación de G. J. Lidstone estimularon a E. T. Whittaker y A. C. Aitken, en la contribución del desarrollo estadístico y el análisis numérico.
-
En nuevas instituciones, además de las universidades tradicionales, apuntalan estos desarrollos. En Paris y Londres se crean grupos privados de discusión, entre ellos el de Mersenne, desde donde se crean la Academia de ciencias y la Sociedad real de Londres (archivos). En Philosophical Transactions se publican muchas contribuciones a la probabilidad y a la estadística, incluyendo artículos escritos por Halley, deMoivre, Bayes, Pearson, Fisher, Jeffreys y Neyman. Las academias de Berlin y St. Petersburg se formaron poco después.
Siglo XVIII
Hald (1990) llamó a la primera parte de esta época el gran salto (1708-1718): Hubo contribuciones muy importantes en distintos temas de la probabilidad. Aunque las raíces de la probabilidad y de la estadística son muy distintas, en los comienzos del siglo 18 se entendía que los dos temas estaban cercanamente relacionados.
-
Jakob Bernoulli (Ars Conjectandi) y Arnauld (Logique) sugieren una concepción de la probabilidad un poco más amplia que la asociada a los juegos, chances y oportunidades. La ley de los grandes números de Bernoulli establece una teoría que vincula la probabilidad con los datos.
-
Montmort (Essay d’analyse sur les jeux de hazard (1708)) y deMoivre (Doctrine of Chances (1718)) son autores que producen nuevos resultados de la teoría de los juegos extendiendo el trabajo de Pascal y de Huygens.
-
El artículo de Arbuthnot en 1710 (An Argument for Divine Providence, taken from the constant Regularity observed in the Births of both Sexes) usa una prueba de significación (la prueba del signo) para establecer que la probabilidad de nacimiento de un varón no es de un medio. Estos cálculos fueron refinados por Gravesande y por Nicolás Bernoulli. Aparte de haber sido una de las primeras aplicaciones de la probabilidad a las estadísticas sociales, el artículo de Arbuthnot ilustra una conexión cercana entre la teología y la probabilidad en la literatura de la época. El trabajo de John Craig establece otro ejemplo de esta situación.
-
La consideración de la evaluación de riesgos, dramatizada por la Paradoja de San Petersburgo (formulada por Nicolás Bernoulli en 1713 y discutida por Gabriel Cramer) guió la teoría de la esperanza moral (o utilidad esperada) formulada por Daniel Bernoulli (1737).
La probabilidad se establece en la ciencia de la Física, en la astronomía muestra una influencia. La aplicación más duradera en la astronomía trata acerca de la combinación de observaciones. La teoría resultante de los errores es el ancestro más importante de la inferencia estadística moderna, particularmente en el campo de la teoría de estimación.
-
Los más importantes astrónomos y matemáticos, incluidos Daniel Bernoulli, Boscovich, Euler, Lambert, Mayer y Lagrange, trataron el problema de la combinación de observaciones astronómicas, “para minimizar los errores surgidos de las imperfecciones de los instrumentos y de los órganos de los sentidos” en palabras de Thomas Simpson. Simpson introdujo la idea de postular una distribución para los errores.
-
Se desarrollaron algunas pruebas de significación, la mayoría de ellas aplicadas en astronomía. Daniel Bernoulli, John Michell (1767) y Crossley calcularon las chances (odds) de que el sistema de Pléyades (siete cabrillas) fuera un sistema de estrellas y no un conglomerado aleatorio.
-
Se realizan afirmaciones en forma de intervalo para el parámetro de la distribución Binomial (ancestros de los intervalos de confianza modernos). Estos fueron propuestos por Lagrange y por Laplace en la década de 1780.
-
En 1770 Condorcet empieza una publicación acerca de matemáticas sociales, para la aplicación de la teoría de probabilidad en las decisiones de jurados y otras asambleas. Su trabajo tuvo una fuerte influencia en Laplace y Poisson. Otros autores franceses de este periodo son D’Alembert y Buffon; el primero es recordado por sus comentarios críticos en la teoría de probabilidad y el último el experimento de la aguja.
-
Un desarrollo importante en la teoría de la probabilidad fue el trabajo de probabilidad condicional con aplicaciones a la probabilidad inversa o Inferencia Bayesiana propuesto por Bayes y Laplace.
Historia de la probabilidad (Vínculos)
Sep 29th
Empezamos una nueva ronda de historía de la estadística. En particular, profundizaremos en la historia de la probabilidad. En este primer post, quiero exponer los vínculos que nos facilitarán la travesía por esta aventura histórica. Para mayor información on-line, los siguientes vínculos serán de mucha ayuda.
-
ASA: Estadísticos en la historia para biografías de personajes recientes. Principalmente estadísticos americanos.
-
Vida y obra de estadísticos (parte del sitio Materiales para la historia de la estadística).
-
Oscar Sheynin: Theoría de la Probabilidad: Un ensayo histórico. Cuenta los desarrollos que han tenido lugar desde el principio del siglo XX.
-
Isaac Todhunter: Un clásico desde 1865 Una historia de la teor{ia de probabilidad matemática: desde Pascal hasta Laplace. Comentarios detallados sobre las contribuciones desde 1650-1800. El cubrimiento es extraodinario y las entradas aún hoy son muy interesantes.
-
El proyecto de Genealogía de las Matemáticas: Su abreviación en inglés es MGP, el cual es útil para hacer seguimiento a la escuela moderna.
-
Wikipedia: para biografías adicionales. Contiene artículos interesantes.
Las próximas entradas acerca de la historia de la probabilidad contienen referencias de los siguientes libros:
-
Ian Hacking. The Emergence of Probability (La emergencia de la probabilidad), Cambridge, Cambridge University Press 1975. (ver contenidos).
-
Stephen M Stigler. The History of Statistics: The Measurement of Uncertainty before 1900 (Historia de la estadística: La medida de incertidumbre antes de 1900), Cambridge, MA: Harvard University Press 1986. (ver contenidos + bibliografía).
-
Anders Hald. A History of Probability and Statistics and their applications before 1750 (Historía de la probabilidad y estadística antes de 1750), New York: Wiley 1990. (ver contenidos).
-
Anders Hald. A History of Mathematical Statistics from 1750 to 1930 (Historia de la estadística matemática desde 1750 hasta 1930), New York: Wiley 1998. (ver contenidos + bibliografía).
-
Jan von Plato. Creating Modern Probability (Creación de la probabilidad moderna), Cambridge: Cambridge University Press, 1994. (ver contenidos).
Para más información sobre la literatura de la historía de la estadística en la web, consultar los siguientes vículos:
- Retratos de estadísticos sobre el sitio de Materiales para la historia de la estadística.
- Desarrollo reciente de la probabilidad matemática. Una breve reseña desde los tiempos de Laplace por Glenn Shafer.
- Fuentes en la historia de la probabilidad y la estadística por Richard J. Pulskamp.
- Historias de los estadísticos. Viñetas por E. Bruce Brooks.
- Historia de la estadística y probabilidad 18 biografías cortas por la Universidad de Minnesota Morris.
- Probabilidad y estadística, Ideas en el salón de clase: Lecciones de historia. por D. R. Bellhouse.
- Historia de la estadística en el salón de clase. Desde Gauss, Laplace y Fisher por H. A. David.
- Historia de actuaria. Una colección complete de vínculos por Henk Wolthuis.
- Exhibción de libros de la historia de la probabilidad desde Cardano hasta Finetti. Notas sobre una exhibición para el aniversario del centenario de la conferencia de Bruno de Finetti.
El teorema del estadístico inconsciente
Sep 15th
La esperanza de una variable aleatoria, uno de los conceptos más importantes y poderosos de la teoría estadística, parecería tener dos definiciones distintas, dependiendo del nivel académico en que sea vista. Por una parte, está la definición desde el punto de vista de la teoría de la medida. Por ejemplo, Shao (2003, p. 11) afirma que la esperanza o valor esperado de una variable aleatoria continua X está dado por la siguiente expresión:
Sin embargo, la anterior definición difiere con la de un libro de texto clásico de probabilidad como Mood, Graybill & Boes (1963, p. 69), en donde la esperanza de una variable aleatoria estáa dada por la siguiente expresión:
Es claro que las dos definiciones no concuerdan a simple vista y la demostración de este resultado no es trivial ni obvia. Haciendo clic acá encontrará un manuscrito que escribí para que yo mismo pudiera entender este gran resultado. Para ello, he hecho un breve repaso de algunos resultados útiles de la teoría de la medida. Espero que la demostración sea clara y, por qué no, sirva para tenerla a la mano cuando alguien nos pregunte acerca de la equivalencia de estas definiciones.
Jhon Cook afirma que el resultado que liga a estas dos definiciones es llamado la ley del estadístico inconsciente puesto que éste es aplicado tan frecuentemente que se hace de manera inconsciente e indiferente. Él ha escrito una prueba en cuatro renglones, que sinceramente no entendí (aunque, con toda seguridad, es una prueba muy bien estructurada). Esa entrada de Jhon Cook fue la motivación para desarrollar esta demostración que es un poco más terrenal y hace uso de conceptos más básicos.
La moneda sesgada
Jun 14th
“Se lanza una moneda con probabilidad p>0 de que el resultado sea cara” Woodroofe ( 1975, p. 108 )
“Suponga una moneda con probabilidad 0.7 de que el resultado del lanzamiento sea cara” Ross ( 2000, p. 82 )
La moneda sesgada es el unicornio de la teoría de la probabilidad. Todo el mundo ha escuchado acerca de su existencia, pero nadie lo ha visto en carne y hueso porque, simplemente no existe. Así mismo, la moneda sesgada no existe.
Profundicemos un poco en el evento: Lanzamiento de una moneda. ¿Es realmente un evento aleatorio? Está comprobado científicamente que las leyes físicas determinísticas inducen los resultados del evento en cuestión. Este simple ejemplo, muestra cuán difícil es separar lo aleatorio de lo determinístico.
La moneda obedece a leyes de Newton acerca del movimiento y estas leyes determinan el estado final de la moneda dependiendo de su velocidad angular (tasa de giro) y tiempo de viaje (velocidad de lanzamiento). Por otra parte la ley de la conservación del momento angular afirma que una vez que la moneda es lanzada al aire, ésta girará a una tasa constante.
Para cualquier tasa de giro, la moneda durará la mitad del tiempo de viaje con la cara hacia arriba y la otra mitad con la cara hacia abajo. Así que, cuando la moneda aterriza en el suelo, la probabilidad de que el resultado sea cara es la misma que la probabilidad de que el resultado sea sello.
Si la moneda es físicamente alterada, al momento de lanzarla, ésta girará alrededor de su centro de gravedad (sin importar que éste difiera de su centro geométrico). Por tanto, no importa cómo sea alterada la moneda, el resultado ya está determinado por las leyes físicas.
Por supuesto, la probabilidad de que el resultado del lanzamiento sea cara puede dejar de ser un medio si la moneda es sumamente alterada de tal forma que sea tan liviana que al lanzarla no gire en el aire sino que flote como una pluma al caer. En el anterior caso, la moneda habría sufrido un proceso, no de alteración sino, de transformación. Dejó de ser una moneda y se convirtió en un peculiar billete.
PD: Nótese que la aleatoriedad de este evento está dada por la incertidumbre del estado inicial de la moneda antes de ser lanzada.
La fábula de los elefantes de Basu
Sep 25th
En en estos días he estado reflexionando sobre el porqué algunos pintorescos personajes se ven influenciados por el lado oscuro de la fuerza. Alguna vez un socio de negocios me advirtió sobre la posibilidad de que en la marcha él pudiera volverse al lado oscuro de la fuerza; en ese momento no le presté atención, pero más adelante entendería muy bien a lo que se refería.
En materia de inferencia estadística, es bien sabido que desde tiempos inmemorables (por lo menos para mí) existe un marcado conflicto entre dos enfoques básicos:
-
El enfoque tradicional y clásico basado en una inferencia hacia el infinito, en donde se asumen poblaciones hipotéticas (y si se le quiere utópicas). En este enfoque se tiene una muestra de n observaciones independientes sobre una variable aleatoria X que tiene una función de densidad.
-
El enfoque basado en una inferencia hacia la población finita en donde una muestra es seleccionada con respecto a un diseño de muestreo.
En realidad, aunque existe conflicto, estos dos enfoque no son opuestos ni contradictorios; simplemente, son dos enfoques… Me permito citar la siguiente fábula de Basu (una vez más, el profesor Trujillo disculpará mi deficiente inglés) que, desde su publicación, removió la bases de la inferencia basada en el segundo enfoque.
Y dice así…
El dueño de un circo está planeando transportar sus 50 elefantes adultos, para este propósito él necesita una buena estimación del peso total de los elefantes. Como pesar un elefante es una tarea muy incomoda, el dueño del circo quiere estimar el peso total pesando sólo un elefante. ¿Cuál elefante debería pesar? El dueño del circo decide echar un vistazo a sus registros y descubre una antigua lista de los pesos de los elefantes, elaborada hace tres años. Él encuentra que tres años atrás Sambo, un elefante mediano, era el promedio (en peso) de su manada. El dueño del circo verifica la información con el entrenador quien le asegura que Sambo todavía puede considerarse como el promedio de la manada.
Así, el dueño del circo planea pesar a Sambo y tomar a 50x (donde x es el peso de Sambo) como una estimación del peso total X=X_1+…+X_50 de la manada. Pero el estadístico del circo se aterra al conocer el plan de muestreo del dueño (con un diseño de muestreo no probabilístico).
- ¿Cómo puede obtener una estimación insesgada de X? – protesta el estadístico
Así, ellos trabajan juntos en la elaboración de un plan de muestreo. Con la ayuda de una tabla de números aleatorios, diseñan un plan que asigna una probabilidad de inclusión de 99/100 a Sambo y probabilidades de 1/4900 al resto de la manada. Naturalmente, Sambo es seleccionado y el dueño del circo está feliz.
- ¿Cómo va a estimar X? – pregunta el estadístico
- ¿Por qué? La estimación debería ser 50x, por supuesto – responde el dueño
- ¡Oh¡ no, eso es incorrecto – responde el estadístico – recientemente, yo leí en un artículo de Annals of Mathematical Statistics, en donde se prueba que el estimador de Horvitz-Thompson es el único estimador hiper admisible en la clase de todos los estimadores insesgados polinomiales generalizados.
- ¿Cuál sería la estimación de Horvitz-Thompson en este caso? – pregunta el impresionado dueño – Dado que la probabilidad de inclusión de Sambo fue de 99/100 – dice el estadístico – el estimador es 100/99x y no 50x
- ¿Y cuál sería nuestra estimación si el plan de muestreo hubiese seleccionado a Jumbo? – pregunta el incrédulo dueño
- De acuerdo a lo que yo entiendo acerca del método de Horvitz-Thompson – dice el infeliz estadístico – el estimador de X sería 4900x donde x es el peso de Jumbo.De esta forma, el estadístico perdió su empleo (y quizás se convirtió en profesor de estadística).
Sharon Lohr se pregunta si fue justo despedir o no al estadístico; esa pregunta se me antoja irrelevante (para mí la “falla” se presenta en el astuto empresario), simplemente mi comentario es que un buen diseño de muestreo debe tener la característica de inducir probabilidades de inclusión que tengan una buena correlación con la variable de interés.
Moraleja: Quien se deja influir por el lado oscuro de la fuerza puede volverse profesor, quien domina el lado oscuro de la fuerza puede convertirse en empresario.
Comentarios