hola creé este repositorio en el github de unloquer https://github.com/unloquer/calidaddelaire_python
por el momento usa los últimos datos de https://raw.githubusercontent.com/daquina-io/visualizacionCalidadAire/maste/data/points.csv que me los descargué ayer. así que es offline con un archivo local (se llama csv_brolin). si lo prueban y créen que puede servir en el pipeline de análisis lo seguimos trabajando. a mi se me ocurre insertarlo de esta manera en el proceso: json online -> filtrar en python -> exportar csv (o json) -> visualización online heatmap filtrar: - revisar los tags inválidos y tratar de "sanarlos" como hemos comentado - ajustar las mediciones segun lo que nos explica la doctora Eliette - usar algunos valores de búsqueda para filtrar los datos (i.e. exportar sábados de 6am a 4:40 pm) en el fondo sería como un api que se conecta a la base de datos (estaría por hacerse la conexión, definir la(s) bases de datos, etc) y que la función de filtrado responda a algunas variables externas (datos de la búsqueda) y que después reporta esos datos en un formato legible por el heatmap. en términos prácticos sería poder llamar estas funciones desde la página de visualización: http://www.daquina.io/visualizacionCalidadAire/ con un par de widgets que llamarían la función de python (¿php->python?). yo no se nada de python en servidores ni de php ni de hacer las conexioines entre ambos. así que esto es pura especulación. pero estoy atento a seguir ayudando en python si les parece que vale la pena o solamente comentando las ideas. si se decide que el trabajo debe ser en R podría ponerme también a reforzar R y ayudar por ahi. saludos!!! El 7 de abril de 2017, 15:28, Miguel Vargas <[email protected]> escribió: > por que no suben al repositorio de unloquer? > > 2017-04-07 8:23 GMT-05:00 Eliette Restrepo <[email protected]>: > >> La sexta es la vencida. Disculpas al administrador de la lista por enviar >> correos que exceden el tamaño permitido. >> >> Intento de nuevo: >> >> ¿Esa aproximación no nos afectaría las revelaciones del mapa? supongamos >> que el ciclista hace un recorrido haciendo zigzag entre la calle colombia >> (muy contaminada) y la calle paralela (menos contaminada) normalizar no nos >> haría ver ambas calles con un nivel similar? porque justamente la >> bicicleta lo que nos permite, ventaja sobre las estaciones fijas, es poder >> marcar esas diferencias entre calles. >> >> En este caso"normalizar" equivale a elimiar el "background noise" de la >> señal para poder ver su valor "real". *OJO: no es una aproximación. * >> Esto se puede ilustrar con un ejemplo (también se puede demostrar, pero >> por ahora la ilustración será suficiente). >> A continuación la ilustración (ahora sin error en el caso A): >> >> I1.jpg >> <https://drive.google.com/file/d/0B5yPR1fZDHLFelJCbVhucEhMWmc/view?usp=drive_web> >> >> I2.jpg >> <https://drive.google.com/file/d/0B5yPR1fZDHLFdlFWaUdaR1NTd1U/view?usp=drive_web> >> >> >> En el caso de la velocidad... >> >> ¿Esta aproximación nos nos pondría vulnerables en los semáforos y tacos? >> en la reunión del SIATA salió justamente que los puntos más críticos de >> emisión de parte de los carros son los tacos o semáforos y quisieramos >> poder revelar eso. >> >> En este caso se sigue el mismo método de no sumar pingüiñoños con >> cacarranas. Es decir, si lo que se quiere es comparar la concentración de >> PM en semáforos y tacos, la velocidad de referencia o "estándar" será 0 y >> sólo se deben promediar las mediciones que se hagan a esa velocidad. >> Si lo que se quiere es comparar la concentración en semáforos y tacos con >> la concentración mientras se circula normalmente, las mediciones se deben >> normalizar antes de promediarlas. Otra posibilidad sería normalizarlas por >> el volumen de aire que entra al sensor. >> @ Brolin, ¿es posible saber éste volumen?. Si sabemos el volumen de aire >> que entra al sensor, podemos eliminar los "ruidos" de tiempo, velocidad, >> etc. >> >> ¿Llegan las imágenes? >> >> 2017-04-07 14:37 GMT+02:00 federico lopez <[email protected]>: >> >>> No me llegó las ilustraciones que mencionas, será por los adjuntos? >>> >>> El 7 abr. 2017 7:13 AM, "Eliette Restrepo" <[email protected]> >>> escribió: >>> >>>> -- Acerca de si la medición del sensor es relativa o absoluta... >>>> >>>> >>>>> Otro opción sería medir la velocidad de la bicicleta y definir una >>>>> velocidad "estándar". Las mediciones de PM25 que se tomen mientras la bici >>>>> va por fuera de la velocidad estándar se eliminarían. Por ejemplo, las >>>>> mediciones que se tomen cuando la velocidad es 0 no se toman en cuenta >>>>> para >>>>> el promedio. >>>>> >>>> >>>> esto es si la medición es relativa, pero si es absoluta entonces no se >>>> necesitaría cierto? >>>> >>>> Cierto. Si la medida es absoluta no se necesita hacer la normalización. >>>> Pero si el conjunto de medidas dependende del tiempo, de igual manera se >>>> deben normalizar sobre el tiempo antes de promediarlas. >>>> >>>> -- Acerca del experimento del pancake... >>>> >>>> y este es el gráfico del segundo experimento, el del pancake. >>>> http://www.howmuchsnow.com/arduino/airquality/sharpdyloscompare2.gif >>>> >>>> yo entiendo que el voltaje baja es porque las partículas se disminuyen. >>>> >>>> En cambio yo entiendo que el voltaje disminuye por que el sensor se >>>> satura y ya no puede medir más de lo que ya midió... >>>> >>>> @ Brolin: traté de encontrar la documentación del sensor para aclarar >>>> cómo se da la medición, pero no logré ubicarme en las carpetas y >>>> piratepads... ¿me podrías indicar por favor en qué lugar puedo encontrar >>>> ésto? >>>> >>>> -- Acerca de la ilustración que envié en el correo anterior... >>>> >>>> **En la ilustración del correo anterior hay un error en el caso A: yo >>>> escribí "cuando el tiempo en calle Colombia es menor que en calle Paralela" >>>> y ésto lo representé como ">", debería ser "<". Espero no haber causado >>>> confusión.** >>>> >>>> >>>> 2017-04-07 13:48 GMT+02:00 federico lopez <[email protected]>: >>>> >>>>> >>>>> >>>>> 2017-04-07 2:58 GMT-05:00 daniel gomez <[email protected]>: >>>>> >>>>>> Buenos días! >>>>>> Trato de organizar por temas lo que se ha escrito los últimos días >>>>>> para que sea más fácil leer y referirse a cada asunto. >>>>>> >>>>>> *promedio* >>>>>> Pongo un ejemplo para que podamos tomar decisiones de como calcular >>>>>> los datos acumulados para un mismo punto: >>>>>> >>>>>> lista de pm25 para un punto X =(2,3,4,2,5) >>>>>> >>>>>> media = (2+3+4+2+5)/5=*3.2* >>>>>> >>>>>> media acumulada: >>>>>> (2+3)/2=2.5 >>>>>> (2.5+4)/2=3.25 >>>>>> (3.25+2)/2=2.625 >>>>>> (2.625+5)/2=*3.81* >>>>>> >>>>>> los dos métodos muestran propiedades diferentes de los datos y por lo >>>>>> tanto el resultado es diferente para los mismos datos: 3.2 y 3.81. En el >>>>>> primero todas las mediciones tienen el mismo peso o importancia. En el >>>>>> segundo (el que está implementado en este momento) las últimas mediciones >>>>>> tienen mucho más peso que las primeras mediciones. >>>>>> >>>>>> Según lo que entiendo que interesa para el mapa lo mejor es usar la >>>>>> media y no la media acumulada. >>>>>> >>>>>> Si puedo tener acceso a uno de los datasets en csv podría aportar un >>>>>> script de python para que calcule la media y entregue los datos para el >>>>>> mapa. >>>>>> >>>>> >>>>> Acá están los datos, Brolin va agregando cada recorrido al final >>>>> https://raw.githubusercontent.com/daquina-io/visualizacionC >>>>> alidadAire/master/data/points.csv >>>>> >>>>> >>>>>> >>>>>> >>>>>> >>>>>> *mapa(s)* >>>>>> Si leo bien, hay muchas maneras posibles de visualizar los datos y no >>>>>> hay una definitiva o mejor. Tal vez se deberían pasar unos cuantos >>>>>> correos >>>>>> definiendo las más útiles y luego trabajar para lograrlas. >>>>>> >>>>>> Un pequeño aporte puede ser la lista de deseos que recopilo de los >>>>>> correos anteriores. >>>>>> - Detalle suficiente para revelar diferencia entre un punto de flujo >>>>>> continuo y los puntos donde los carros paran. >>>>>> - Ver recorrido completo de un usuario, revelando todas las >>>>>> mediciones acumuladas en un punto x por el que se ha pasado varias veces: >>>>>> visualizar el promedio (media) pero poder consultar todas las mediciones >>>>>> en >>>>>> ese mismo punto. >>>>>> - Hacer un mash de varios usuarios, haciendo la media de todos los >>>>>> datos. se puede acumular por diferentes temporalidades: todo, por días de >>>>>> la semana, por horas, por semanas, etc... >>>>>> - tener la opción de calibrar los datos de un mapa con los datos del >>>>>> SIATA. Si un usuario pasa por una zona donde está una torre del SIATA y >>>>>> se >>>>>> comparan las mediciones, todos los valores del usuario de ese día se >>>>>> escalan para calibrarse con el SIATA. >>>>>> >>>>>> si se me escapa algo sería bueno complementar esta lista. >>>>>> >>>>>> saludos, >>>>>> >>>>>> D >>>>>> >>>>>> >>>>>> >>>>>> _______________________________________________ >>>>>> unloquer mailing list >>>>>> [email protected] >>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer >>>>>> >>>>>> >>>>> >>>>> _______________________________________________ >>>>> unloquer mailing list >>>>> [email protected] >>>>> https://lists.aktivix.org/mailman/listinfo/unloquer >>>>> >>>>> >>>> >>>> _______________________________________________ >>>> unloquer mailing list >>>> [email protected] >>>> https://lists.aktivix.org/mailman/listinfo/unloquer >>>> >>>> >>> _______________________________________________ >>> unloquer mailing list >>> [email protected] >>> https://lists.aktivix.org/mailman/listinfo/unloquer >>> >>> >> >> _______________________________________________ >> unloquer mailing list >> [email protected] >> https://lists.aktivix.org/mailman/listinfo/unloquer >> >> > > _______________________________________________ > unloquer mailing list > [email protected] > https://lists.aktivix.org/mailman/listinfo/unloquer > >
_______________________________________________ unloquer mailing list [email protected] https://lists.aktivix.org/mailman/listinfo/unloquer
