Obteniendo datos de la NFL en Stata

Esta es una traducción basada en la publicación original de Kevin Crow, Senior Software Developer.

La temporada de fútbol está a la vuelta de la esquina, y no podría estar más emocionado. Tenemos una liga de fútbol de fantasía bastante competitiva de StataCorp. Siempre busco una ventaja en nuestra liga, así que desafié a uno de nuestros pasantes, Chris Hassell, a escribir un comando para buscar en la web http://www.nfl.com los datos de la NFL. El nuevo comando es nfl2stata.

Para instalar el comando, escriba:

Con este nuevo comando, puede encontrar fácilmente a los corredores que tuvieron más touchdowns la temporada pasada,

Puede encontrar los mejores 5 pateadores de gol de campo (por goles de campo realizados) de la temporada pasada.

Puede generar un gráfico de los mejores líderes en pases de la última temporada regular.

Hay muchos datos interesantes por recorrer, especialmente si te interesa el fútbol de fantasía, como a mí. Aunque esto parece un comando simple, en realidad no lo es, debido al tiempo que lleva buscar, analizar y cargar los datos desde http://www.nfl.com  a través del web scraping.

Web scraping

Es posible que haya oído hablar del término "web scraping". Una simple definición de web scraping es extraer datos de sitios web. La mayoría de las veces, los derechos de autor de un sitio web impiden que las personas distribuyan los datos obtenidos de su sitio web, pero puede usar una copia personal de los datos en su computadora personal. Esto es lo que dicen los derechos de autor de la NFL. Debido a esto, los usuarios deben “raspar” el sitio web ellos mismos. Para hacer esto para los datos de la NFL, escriba:

Este comando raspará todos los datos desde 2009 hasta el año actual y guardará los datos como base de datos en formato Stata en su computadora local en la ruta de acceso a los archivos ado. Específicamente, los guardará en su directorio PLUS donde los comandos nfl2stata estarán disponibles. El primer año de datos de la NFL almacenado en http://www.nfl.com es 2009. Actualmente, no hay datos para raspar antes de esto. El web scraping es un proceso costoso y lento. Dependiendo de varios factores (velocidad de la computadora, memoria de la computadora, conexión de red, etc.), este raspado inicial de datos puede tardar horas en completarse. Es posible que desee ejecutar el comando anterior durante la noche. Una vez que haya raspado los datos históricos, puede simplemente escribir:

La actualización de las bases almacenadas localmente con los datos de la semana actual se ejecuta más rápido.

A partir de la redacción de este blog, el comando de raspado funciona, pero si la NFL cambia el formato de la página HTML, el comando se romperá, y si esto sucede, lo corregiremos si podemos. Además, los datos que se eliminan cambiarán con el tiempo a medida que la NFL actualice los datos anteriores en su sitio, por lo que a veces los datos que recopiló hace unas semanas no coincidirán con los que ve en el sitio web de ESPN o NFL. Además, a veces los datos pueden existir en más de un lugar y pueden ser inconsistentes dado que un sitio se actualiza las estadísticas y otros no. Puede volver a raspar los datos utilizando nfl2stata scrape, season (_all) replace para crear nuevas bases de datos limpias. Estos problemas son los que hacen que el web scraping sea un proceso volátil.

Comando

El comando nfl2stata scrape produce bases de datos de: juego, resumen de juego, jugada por jugada, jugador, perfil de jugador, lista y equipo para cada año. Para cargar esos datos en Stata, debe usar los siguientes comandos:

Para cargar datos de juego por juego en Stata, use:

Para cargar datos del resumen del juego en Stata, use:

Para cargar datos de jugada por jugada en Stata, use:

Para cargar datos de un jugador especifico en Stata, use:

Para cargar datos del perfil de jugador en Stata, use:

Para cargar datos de la lista de equipo en Stata, use:

Para cargar datos del equipo juego por juego en Stata, use:

Cada uno de estos comandos buscan su respectiva base de datos. A menudo necesitará usar comandos de Stata como collapse, gsort y merge para generar las estadísticas, ordenar los datos y fusionar dos o más datasets de la NFL para examinar los datos. Veamos algunos ejemplos más.

Ejemplos

Descubrí que los dos comandos de Stata que uso con mayor frecuencia con estos datos son gsort, que ordena los datos en orden ascendente o descendente, y collapse, lo que hace un conjunto de datos de estadísticas de resumen. collapse es especialmente útil cuando se trabaja con datos de múltiples juegos o múltiples temporadas. Por ejemplo, para saber qué receptor abierto líderó la NFL en recepciones el año pasado, escribiría:

A veces, necesita fusionar dos o más bases de datos NFL para responder algunas preguntas sobre los datos. Por ejemplo, para encontrar el peso promedio de un corredor de la NFL en los últimos nueve años, debe fusionar los datos de la lista y los datos del perfil para obtener la posición del jugador y las variables de peso del jugador juntas en el mismo conjunto de datos. Por ejemplo, escriba:

Para encontrar quién lideró a la NFL en recepciones o carreras, necesita fusionar todos los datos de jugadores ofensivos en un solo conjunto de datos. Por ejemplo, para enumerar a los líderes de recepción escriba:

Implementación

Chris usó los complementos Java de Stata para escribir la mayoría del comando. Las otras librerías Java que él usó para escribir el comando son:

• Gson
• Jsoup
• Minify

Hay una gran cantidad de bibliotecas de Java disponibles para web scraping. Estos son solo los que usamos.

Si desea acceder al artículo original, de clic aquí.

Gracias por leer una entrada más de nuestro blog. Le invitamos continuar al pendiente de este blog y de nuestras redes sociales en las que encontrará descuentos, lanzamientos y artículos de su interés. ¡Hasta la próxima entrada!

Este blog es administrado por MultiON Consulting S.A. de C.V.

Uniendo las bases de datos de la ENIGH en Stata

En esta nueva entrada de nuestro blog daremos un recorrido por las opciones que tiene Stata para que podamos fusionar bases de datos a través del comando merge, ampliamente utilizado por aquellos que trabajan con microdatos.

El comando merge une las observaciones contenidos en la base de datos en la que se trabaja en el momento, a esta base la llamaremos base maestra, con otra base de datos, a esta la llamaremos base de uso; estas bases deben de coincidir en al menos una variable en común, que llamaremos llave. Entonces, podremos utilizar este comando para agregar nuevas variables provenientes de un segundo conjunto de datos a nuestras observaciones existentes en la base de datos que estemos trabajando, asimismo, podemos agregar simultáneamente nuevas observaciones y variables, siempre y cuando exista una llave que pueda relacionarse a las nuevas observaciones.

Para estos efectos, merge realiza cuatro tipos de uniones respecto a la o las variables llave contenidas en las bases que deseemos unir; estas son: uno a uno, uno a muchos, muchos a uno, y muchos a muchos. La sintaxis para este comando requiere que se especifique el nombre de las variables llave (varlist) y el nombre o ubicación de la base de uso (filename); según el tipo de unión que se realizará, la sintaxis será la siguiente:

• Unión uno a uno
  merge  1:1  varlist   using     filename
  
• Unión muchos a uno merge m:1 varlist using   filename
  
• Unión uno a muchos merge  1:m   varlist  using     filename
  
• Unión muchos a muchos merge m:m  varlist  using     filename

Todos estos comandos crean una nueva variable que contiene códigos numéricos relacionados con la fuente y el contenido de cada observación de la base de datos que resulta de la unión, por la cual la llamaremos base resultado.

Ahora bien, pensemos en un caso práctico: la Encuesta Nacional de Ingresos y Gastos de los Hogares en México. La fuente de información, el Instituto Nacional de Estadistica y Geografía, ofrece 12 bases de datos donde se recolecta la información; en el diseño muestral de la encuesta toman en cuenta las viviendas, los hogares y a las personas como nivel de desagregación de la información, por lo cual cada base de datos cuenta con al menos un nivel de desagregación; estas variables, identificadas con un folio, serán nuestras variables llave (folioviv, foliohog, numren).

A continuación, ejemplificaremos la unión uno a uno. Abriremos la base “hogares”, contiene características de los hogares que habitan los integrantes de los mismos.

. use hogares.dta

. describe, short

Con la opción short, Stata nos arrojará una descripción corta de la base de datos, pues para fines de esta entrada sólo nos interesa saber el número de observaciones (70,311).

Contains data from C:\Blog\hogares.dta

obs:        70,311                         

vars:           137                          

size:    37,475,763                         

Sorted by:

Las variables llave con las que cuenta esta base son folioviv y foliohog. La única base que, sin hacer modificaciones a ninguna de ellas, podemos unir uno a uno es “concentradohogar”, ya que su nivel de desagregación es a nivel hogar. Como paréntesis, cerraremos nuestra base hogares para poder echar un vistazo a la base concentradohogar para después volver a abrirla.

. use concentradohogar.dta, clear

. des, short

Contains data from C:\Blog\concentradohogar.dta

obs:        70,311                         

vars:           127                         

size:    68,131,359                         

Sorted by:

. use hogares

En la base concentradohogar se encuentran las variables construidas a partir de las otras bases de datos de la ENIGH. Tenemos el mismo número de observaciones debido a que en ambas bases los hogares son la unidad de observación, por lo cual podemos realizar la unión uno a uno de la siguiente manera:

. merge 1:1 folioviv foliohog using concentradohogar

Stata despliega un breve informe del proceso de unión, en donde detalla cuántas observaciones se unieron. En nuestro caso, las 70,311 observaciones se unieron; los caracteres que aparecen entre paréntesis son los códigos que tiene la variable creada durante la unión para identificar la fuente de las observaciones en la base resultado, siendo (_merge==3) el código que informa que la observación aparece originalmente tanto en la base maestra como en la base de uso. Por lo cual podemos estar seguros de que en ambas bases las variables llaves son identificadores únicos de los hogares.

Ahora contamos con:

. d, short

Contains data from hogares.dta

obs:        70,311                  

vars:           263                 

size:   104,904,012                 

Sorted by: folioviv  foliohog

Note: Dataset has changed since  last   saved.

Las mismas 70,311 observaciones (hogares), 263 variables (137 de la base maestra más 127 de la base de uso) y, podemos percatarnos de una nota que nos dice que la base ahora ha ordenado las observaciones de menor a mayor según las variables llave folioviv y foliohog; esto siempre ocurre para este tipo de unión ya que sólo hay observaciones que coinciden en ambas bases.

Las observaciones se han unido a la base maestra (en memoria) sin afectar la base de uso (guardada en disco).

Ahora supongamos que queremos añadir a nuestra base la información de los habitantes de los hogares, por lo tanto, nuestra siguiente base de uso será la base de “población”. Veamos qué contiene:

. preserve

. use poblacion, clear

. d, s

Contains data from poblacion.dta

obs:       257,805                         

vars:           178                         

size:   110,340,540                         

Sorted by:

. restore

Contamos con 257,805 observaciones pues ahora la unidad de observación son las personas, además nuestra base “poblacion” cuenta con una llave adicional (numren), la cual identifica a las personas dentro del hogar y reporta en primer lugar al jefe del hogar con el valor “01”. Por esta razón, debemos crear en nuestra base maestra la variable numren que identifica al jefe de hogar como la persona cuyas características tienen el valor de cada variable en la base maestra.

. generate numren=”01”

Una vez creada nuestra variable procedemos a realizar la unión de bases uno a muchos, debido a que en la base de uso se repiten los valores de nuestras variables llave folioviv y foliohog para los demás integrantes del hogar y no sólo para el jefe de hogar, sin embargo tenemos en la base maestra información especifica del jefe de hogar que sólo debe unirse a esta observación y no duplicarse para los demás integrantes, por esto adicionamos la variable llave numren como identificador en ambas bases.

. merge 1:m folioviv foliohog numren using poblacion, generate(_merge2)

Como lo mencionamos anteriormente, merge crea una variable para identificar la fuente de las observaciones, pero nosotros ya tenemos una variable llamada _merge, que es el nombre que por defecto se le da; por esta razón especificamos el nombre de la segunda variable _merge a través de la opción generate(_merge2), en donde _merge2 es el nombre que hemos decidido brindarle a la variable. Ahora nos percatamos que hay observaciones que no han coincidido por completo, siendo estas 187,494 provenientes de la base de uso (_merge2==2), 0 de la base maestra (_merge2==1), pero 70,311 han coincidido en ambas bases (_merge2==3) siendo estos los jefes de hogar. Veamos una descripción corta de la base actual:

. d,s

Contains data from hogares.dta

obs:       257,805                  

vars:           440                 

size:   492,407,550                 

Sorted by:

Note: Dataset has changed since  last   saved.

Es importante mencionar que ordenar las observaciones de las bases o no hacerlo, no altera el producto de la unión de bases ya que el comando merge realiza un ordenamiento de forma interna para ser más eficiente; si la base de uso no está ordenada, Stata crea una copia temporal para ordenarla y así asegurar que la forma en que esté ordenada la base guardada en disco no sea afectada. Sin embargo, la base resultado que observamos no se encuentra ordenada, ya que primero observamos el ordenamiento que teníamos previamente con la unión 1:1, por folioviv y foliohog, y después tendremos las observaciones de las demás personas que no son jefes de hogar.

Guardaremos esta base resultado de dos procesos de unión con un nuevo nombre para que no se vean afectadas las bases en originales guardadas en disco.

. save “C:\Blog\concen_hog_per.dta”

Ahora abriremos la base “ingresos”, la cual permite identificar los ingresos y percepciones financieras y de capital de cada uno de los integrantes del hogar, por diversos conceptos. Dada su construcción, tenemos que el nivel de desagregación de esta base es por concepto de ingreso, por lo cual encontraremos que cada individuo puede tener más de una observación que identifique la fuente de sus ingresos; también observaremos que no tendremos a todas las personas en esta base ya que no todas perciben ingresos. Veamos la información breve de esta base:

. use ingresos, clear

. d,s

Contains data from C:\Blog\ingresos.dta

obs:       334,337                         

vars:            17                         

size:    28,418,645                         

Sorted by:

Como podemos observar, ahora contamos con un mayor número de observaciones y sólo 17 variables. Procederemos a hacer la unión de bases tipo muchos a uno, ya que la base maestra cuenta con muchas observaciones para una sola combinación de llaves única (folioviv, foliohog y numren), mientras que la base de uso sí cuenta con una sola observación para una combinación única de variables llave.

. merge m:1 folio* numren using “C:\Blog\concen_hog_per.dta”, generate(_merge3)

Tenemos 82,686 personas en la base de uso que no cuentan con ninguna fuente de ingreso; de la base maestra claramente todas encontraron una combinación de llaves iguales a las propias. En este ejemplo, decidimos especificar la ruta donde se puede encontrar la base de uso en vez de sólo especificar su nombre. También, podrán notar el asterisco seguido de la palabra folio, esto se puede hacer para que Stata reconozca que toda variable que inicie con la palabra folio debe ser considerada para ejecutar el comando respectivo, en nuestro caso, podemos hacerlo con seguridad ya que sólo tenemos dos variables que inician con tal palabra: folioviv y foliohog.

Como paso final, se puede dar orden a las observaciones para que esté visiblemente ordenada cada vivienda con cada uno de sus hogares, por las personas que habitan determinado hogar, así como los ingresos de las personas que los perciben.

. sort folio* numren parentesco sexo edad clave

Esta es nuestra base resultado final, en la cual pudimos realizar tres tipos de unión de bases de datos, sólo procedemos a guardarla.

. save “C:\Blog\BaseResultado.dta"

Es importante mencionar que realizar una unión del tipo muchos a muchos es probablemente una mala idea, ya que es probable que se haya perdido de vista una o más variables llave que puedan ser usadas como identificadoras de las observaciones dentro de grupos.

El comando merge cuenta con una serie de opciones que son de gran utilidad al depurar nuestras bases, ya que en este ejercicio unimos las bases con todas sus variables, dejando una base con las siguientes características:

Contains data from BaseResultado.dta

obs:       417,023         

vars:          455      13 Sep 2018 10:13

size:   826,956,609        

Sorted by: folioviv  foliohog  numren

Gracias por leernos, nos vemos en la próxima entrada.

Esta entrada fue escrita y desarrollada por nuestro Esp. Ángel Cruz. Si tienes alguna duda, su correo es acruz@multion.com

Este blog es administrado por MultiON Consulting S.A. de C.V.