Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 19/10/13 18:43, azalai wrote: > no he entendido muy bien lo que quereis hacer pero soy una de las admin > de la lista Bueno, creo que hay varias motivaciones. Por un lado está el disponer de datos libres (el archivo de esta lista, en este caso) para experimentar con R (un lenguaje y entorno de programación para análisis estadístico y gráfico), y por otro lado, las conclusiones que de tal análisis pudieran extraerse, así como la posibilidad de crear una herramienta (un script) que dé visibilidad (una visualización) de algún factor que pudiera ser interesante tener en cuenta referente al tráfico (actividad) de esta lista. > Es EVIDENTE que no he guardado todas las notificaciones que me han > llehado a lo largo de estos años, Sí, es evidente, claro, es lo que decía. > pero seguro que si hablais con algún > root de SD, que los hay en esta lista, probablemente os lo aclare sin > problema:-) Sí, seguramente, pero no hace falta que sea un admin de Sindominio, es decir, con saber como funciona Mailman en este sentido (si se guardan las fechas de las suscripciones en la base de datos), basta (es que no me gusta pedir cosas a las admins de Sindominio, aunque lo haga igualmente... es que nunca he entendido porqué una ha de ser de Sindominio para pode tener permisos como Hackmeeting en Sindominio, por eso mi empeño en tirar para adelante la iniciativa de la Servidora Nómada, pero este es otro tema). Por otro lado, no necesitamos esos datos, podemos experimentar con R con los datos que están publicados vía web por el pipermail de Mailman (el archivo web); un poco de wget, un poco de awk y R que erre. Lo de las fechas de las suscripciones era por empezar por algo. Podemos empezar por otros datos igualmente públicos, pero más accesibles. > my two cents, Gracias :) ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
no he entendido muy bien lo que quereis hacer pero soy una de las admin de la lista Es EVIDENTE que no he guardado todas las notificaciones que me han llehado a lo largo de estos años, pero seguro que si hablais con algún root de SD, que los hay en esta lista, probablemente os lo aclare sin problema:-) my two cents, azalai/marais/marga On 19/10/13 14:18, d1d4c wrote: On 19/10/13 12:43, Hackelarre wrote: Si enviais un tabla que tenga el historial de las suscripciones a la lista podemos empezar experimentando. Con que tenga solo una columna, fecha/hora de inscripcion seria suficiente, aunque no da mucho juego pero como prueba puede estar bien. He estado un rato investigando sobre esto, y no he podido constatar que la fecha de suscripción quede en la db de Mailman. Ojalá sí. Lo único que he visto que comentaba un suscriptor de la lista [Mailman-Developers], es que esa información se graba en el log de Mailman. Pero eso no nos sirve, ya que me imagino que el log debe tener un tamaño máximo y debe reescribirse, por lo que no creo que tenga esa información durante tanto tiempo. Otra manera sería las notificaciones por email a las admin de nuevas suscripciones, pero a ver quién ha guardado eso durante tanto tiempo. He preguntado en el IRC #mailman, a ver si me responde alguien... Quizás sería más rápido si alguien pudiera entrar en la base de datos de un Mailman y comprobar las tablas, a ver si aparece la fecha de suscripción. Yo simplemente voy soltando ideas... y no podré asistir al nodo presencialmente, o sea que no me hagáis mucho caso XD No no no eso no vale! El que lo propone se lo ... jajaja. Es broma ;-). Suelta esas ideas, haber lo que sale. Y si no sale nada no pasa nada, que el nodo original esta preparado. Vamos viendo a dónde nos lleva ésto, si hace falta abrimos un hilo nuevo o pasamos a la interfaz wiki. Si vamos a experimentar, igual no estaría mal abrir otro hilo, si no la gente se va a hartar antes del nodo. Cierto. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 19/10/13 12:43, Hackelarre wrote: > Si enviais un tabla que tenga el historial de las suscripciones a la > lista podemos empezar experimentando. Con que tenga solo una columna, > fecha/hora de inscripcion seria suficiente, aunque no da mucho juego > pero como prueba puede estar bien. He estado un rato investigando sobre esto, y no he podido constatar que la fecha de suscripción quede en la db de Mailman. Ojalá sí. Lo único que he visto que comentaba un suscriptor de la lista [Mailman-Developers], es que esa información se graba en el log de Mailman. Pero eso no nos sirve, ya que me imagino que el log debe tener un tamaño máximo y debe reescribirse, por lo que no creo que tenga esa información durante tanto tiempo. Otra manera sería las notificaciones por email a las admin de nuevas suscripciones, pero a ver quién ha guardado eso durante tanto tiempo. He preguntado en el IRC #mailman, a ver si me responde alguien... Quizás sería más rápido si alguien pudiera entrar en la base de datos de un Mailman y comprobar las tablas, a ver si aparece la fecha de suscripción. >> Yo simplemente voy soltando ideas... y no podré asistir al nodo >> presencialmente, o sea que no me hagáis mucho caso XD > > No no no eso no vale! El que lo propone se lo ... jajaja. Es broma ;-). > Suelta esas ideas, haber lo que sale. Y si no sale nada no pasa nada, > que el nodo original esta preparado. > >> Vamos viendo a dónde nos lleva ésto, si hace falta abrimos un hilo nuevo >> o pasamos a la interfaz wiki. > > Si vamos a experimentar, igual no estaría mal abrir otro hilo, si no la > gente se va a hartar antes del nodo. Cierto. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
> Perfecto, emma está en python y tiene interfaz Mediawiki; y eso unido a > la Extension:R y a SMW (Semantic Mediawiki), puede dar mucho juego. > > Supongo que lo mejor es empezar por algo sencillo, que ilustre a efectos > didácticos, pero al mismo tiempo, que el script generado sea también una > pequeña herramienta (juguete) a nuestra disposición. Aprender y crear, > van de la mano, no? ;) Si enviais un tabla que tenga el historial de las suscripciones a la lista podemos empezar experimentando. Con que tenga solo una columna, fecha/hora de inscripcion seria suficiente, aunque no da mucho juego pero como prueba puede estar bien. Puede ser un archivo csv (o el formato que mas facil os venga) o sino crear un usuario de la base de datos que tenga solo permisos para esa tabla, y asi le damos un poco de dinamismo a la pagina. > Yo simplemente voy soltando ideas... y no podré asistir al nodo > presencialmente, o sea que no me hagáis mucho caso XD No no no eso no vale! El que lo propone se lo ... jajaja. Es broma ;-). Suelta esas ideas, haber lo que sale. Y si no sale nada no pasa nada, que el nodo original esta preparado. > Vamos viendo a dónde nos lleva ésto, si hace falta abrimos un hilo nuevo > o pasamos a la interfaz wiki. Si vamos a experimentar, igual no estaría mal abrir otro hilo, si no la gente se va a hartar antes del nodo. kobe ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 17/10/13 18:01, Gorka Kobeaga wrote: > El 17/10/13 13:59, d1d4c escribió: >> On 17/10/13 13:32, shokah wrote: >> Con metadatos, en este caso, os referís a las cabeceras, no? >>> >>> Sí, me refiero a las cabeceras. >> >>> Además, si añadimos nosotros metadatos >> >> Sería interesante algún tipo de visualización en línea con un sistema en >> tiempo real. Quizás se podría incluir el script como plugin de emma en >> la servidora nómada. > > +1 visualizción en linea > > Otra opción seria utilizar knit, para generar documento html que tiene > código de R. Os mando un ejemplo. Muy interesante. Esto me ha hecho buscar si había alguna extensión de R para Mediawiki, y sí, existe Extension:R. Podríamos jugar en la wiki del Hackmeeting con eso, y así documentamos el experimento. > pregunta 1, como guarda o gestiona procmail los mails? En texto o en una > base de datos? Si usásemos a emma, ella los guarda en mongodb. No estoy proponiendo usar todo el archivo de la lista, digo que el archivo es una buena fuente de datos para experimentar con R y otras cosas. > pregunta 2, > un script Rhtml + una función de actualización en php|python = > visualización en linea? Por cierto existe una librería en python para R, > Rpy. Perfecto, emma está en python y tiene interfaz Mediawiki; y eso unido a la Extension:R y a SMW (Semantic Mediawiki), puede dar mucho juego. Supongo que lo mejor es empezar por algo sencillo, que ilustre a efectos didácticos, pero al mismo tiempo, que el script generado sea también una pequeña herramienta (juguete) a nuestra disposición. Aprender y crear, van de la mano, no? ;) > No he subido de momento el nodo a la wiki. Voy a esperar a como > evoluciona la propuesta de nodo, pues el objetivo era ver algo mas > avanzado de R, pero mucho mejor si sirve para crear una herramienta. Yo simplemente voy soltando ideas... y no podré asistir al nodo presencialmente, o sea que no me hagáis mucho caso XD > Lo de los procesos estaría a mano en todo caso, nos servirá como ejemplo > para algunas cosas. También si hace falta explicar, no tengo problemas. Vamos viendo a dónde nos lleva ésto, si hace falta abrimos un hilo nuevo o pasamos a la interfaz wiki. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
El 17/10/13 13:59, d1d4c escribió: > On 17/10/13 13:32, shokah wrote: > >>> Con metadatos, en este caso, os referís a las cabeceras, no? >> >> Sí, me refiero a las cabeceras. > >> Además, si añadimos nosotros metadatos > > Sería interesante algún tipo de visualización en línea con un sistema en > tiempo real. Quizás se podría incluir el script como plugin de emma en > la servidora nómada. +1 visualizción en linea Otra opción seria utilizar knit, para generar documento html que tiene código de R. Os mando un ejemplo. pregunta 1, como guarda o gestiona procmail los mails? En texto o en una base de datos? pregunta 2, un script Rhtml + una función de actualización en php|python = visualización en linea? Por cierto existe una librería en python para R, Rpy. No he subido de momento el nodo a la wiki. Voy a esperar a como evoluciona la propuesta de nodo, pues el objetivo era ver algo mas avanzado de R, pero mucho mejor si sirve para crear una herramienta. Lo de los procesos estaría a mano en todo caso, nos servirá como ejemplo para algunas cosas. También si hace falta explicar, no tengo problemas. > > > > ___ > HackMeeting mailing list > HackMeeting@listas.sindominio.net > https://listas.sindominio.net/mailman/listinfo/hackmeeting > Title: Title This is an R HTML document. When you click the Knit HTML button a web page will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this: summary(cars) ## speed dist ## Min. : 4.0 Min. : 2 ## 1st Qu.:12.0 1st Qu.: 26 ## Median :15.0 Median : 36 ## Mean :15.4 Mean : 43 ## 3rd Qu.:19.0 3rd Qu.: 56 ## Max. :25.0 Max. :120 You can also embed plots, for example: plot(cars) Title This is an R HTML document. When you click the Knit HTML button a web page will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this: You can also embed plots, for example: <>___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 17/10/13 13:32, shokah wrote: >> Con metadatos, en este caso, os referís a las cabeceras, no? > > Sí, me refiero a las cabeceras. > Además, si añadimos nosotros metadatos Sería interesante algún tipo de visualización en línea con un sistema en tiempo real. Quizás se podría incluir el script como plugin de emma en la servidora nómada. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 17/10/13 12:50, Hackelarre wrote: > El 17/10/13 12:39, d1d4c escribió: >> On 17/10/13 12:19, Gorka Kobeaga wrote: >> >>> No se que información podríamos sacar de los metadatos >> Con metadatos, en este caso, os referís a las cabeceras, no? >> > Creo que yo me he liado. > Si con metadato se refiere Autor/Tema/Fecha es lo que interesaría analizar. Cuando yo decía que el archivo tiene un montón de datos interesantes, me refería a los mensajes (incluidas las cabeceras), a los mensajes íntegros, en bruto; por lo que consideré las cabeceras como datos en sí y no como metadatos de los textos que los mensajes incluyen en sus cuerpos. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
Kaixo! > > No se que información podríamos sacar de los metadatos > > Con metadatos, en este caso, os referís a las cabeceras, no? Sí, me refiero a las cabeceras. Se pueden utilizar para crear estadísticas como: - participación en la lista por usuario - participación en la lista por fechas/horas - participación de un usuario por hilos - duración de los hilos - conversaciones con solamente dos Además, si añadimos nosotros metadatos como pueden ser los temas y la resolución positiva de los hilos etc. se pueden sacar unas cuantas estadísticas más. Agur! signature.asc Description: PGP signature ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
El 17/10/13 12:39, d1d4c escribió: > On 17/10/13 12:19, Gorka Kobeaga wrote: > >> No se que información podríamos sacar de los metadatos > Con metadatos, en este caso, os referís a las cabeceras, no? > Creo que yo me he liado. Si con metadato se refiere Autor/Tema/Fecha es lo que interesaría analizar. > ___ > HackMeeting mailing list > HackMeeting@listas.sindominio.net > https://listas.sindominio.net/mailman/listinfo/hackmeeting ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 17/10/13 12:19, Gorka Kobeaga wrote: > No se que información podríamos sacar de los metadatos Con metadatos, en este caso, os referís a las cabeceras, no? ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
El 17/10/13 07:42, shokah escribió: > Kaixo! > >> A mí, lo primero que me ha venido a la mente es el propio archivo de >> esta lista: es público, indexado, nos concierne y dispone de un montón >> de datos que filtrados y visualizados convenientemente pueden aportar >> información interesante y plantear nuevos debates. > No se me había ocurrido! Se puede utilizar para analizar la participación en la lista, muy interesante. Y si ademas tenemos datos como edad, años de experiencia en el hackmeeting, genero, área(s) de conocimiento, idioma... de los usuarixs (aportados por propia voluntad) puede ser muy útil para el debate de donde venimos a donde vamos, no creéis? > +1 los metadatos de correos e hilos pueden ser interesantes. > > Aún así, estos requieren de un procesamiento previo, no sé si existe > alguna librería de R que nos pueda servir (dejando de lado las > expresiones regulares). > > Si no la hay, me animo a llevar los datos preprocesados. Para ello, > tendríamos que detallar un poco qué es lo que vamos a intentar analizar. > No se que información podríamos sacar de los metadatos, pero puede ser muy interesante para ir desarrollando librerías para trabajar con metadatos. En la documentación, que mas o menos ya esta listo, hay comandos/funciones/algoritmos que abarcan las necesidades mas comunes. Seria cambiar el fichero de lectura, acomodarlo, si hace falta programar y ejecutarlo. Si quieres te la mando para hacerte una idea. > Agur! > Ondo segi! kobe > > > ___ > HackMeeting mailing list > HackMeeting@listas.sindominio.net > https://listas.sindominio.net/mailman/listinfo/hackmeeting > 0x08941635.asc Description: application/pgp-keys ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
Kaixo! > A mí, lo primero que me ha venido a la mente es el propio archivo de > esta lista: es público, indexado, nos concierne y dispone de un montón > de datos que filtrados y visualizados convenientemente pueden aportar > información interesante y plantear nuevos debates. +1 los metadatos de correos e hilos pueden ser interesantes. Aún así, estos requieren de un procesamiento previo, no sé si existe alguna librería de R que nos pueda servir (dejando de lado las expresiones regulares). Si no la hay, me animo a llevar los datos preprocesados. Para ello, tendríamos que detallar un poco qué es lo que vamos a intentar analizar. Agur! signature.asc Description: PGP signature ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
Re: [hm] [nodo] Análisis de los procesos de Linux con R
On 16/10/13 20:00, Gorka Kobeaga wrote: > (En un principio tenia la idea de analizar datos que podrían ser útiles > para el movimiento, pero no encontré nada (ni he pedido la verdad, me > daba mal rollo andar pidiendo datos). Si algun colectivo tiene algo que > quiere estudiar, que comparta en el hm y a ver que sacamos entre todxs.) A mí, lo primero que me ha venido a la mente es el propio archivo de esta lista: es público, indexado, nos concierne y dispone de un montón de datos que filtrados y visualizados convenientemente pueden aportar información interesante y plantear nuevos debates. ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
[hm] [nodo] Análisis de los procesos de Linux con R
[nodo] Análisis de los procesos de Linux con R Descripción: Este nodo va a ser la continuación del nodo anterior, nos servirá para hacernos una idea del potencial que puede tener R. También para el que quiera tener una idea básica de los procesos que se ejecutan en linux, a mi me ha servido muchísimo. El nodo se basara en exprimir la información del comando ps. En concreto, el comando de Linux en que nos basaremos va a ser ps -Alf. Pero la verdad es que hasta ahora solo he utilizado ps para ver el pid cuando he necesitado matar algún proceso. Si alguien cree que otras opciones pueden estar mejor, puede proponerlo. (En un principio tenia la idea de analizar datos que podrían ser útiles para el movimiento, pero no encontré nada (ni he pedido la verdad, me daba mal rollo andar pidiendo datos). Si algun colectivo tiene algo que quiere estudiar, que comparta en el hm y a ver que sacamos entre todxs.) Metodología(charla+lab): Importaremos el output de ps desde R y manipularemos la tabla hasta ponerlo a nuestro gusto. Nos haremos una idea de las variables que estamos trabajando. Aprenderemos a hacer gráficos un poco mas avanzados y gráficos 3D. Cluster de los procesos en base a diferentes intereses y políticas de agrupamiento. Utilizando la regresión lineal veremos que influye (UID? PID? CMD?...) en el tiempo que esta un proceso en la CPU. Para que no quede sin ver: terminaremos viendo como importar tablas y hacer queries en R de MySQL. Idioma: Castellano, material también en castellano. Conocimientos previos: mejor si te suene algo de estadística( variables cuanti/cuali, media, regresión lineal) y nociones básicas de programación. Lo teórico no tiene peso en el nodo, lo que haga falta ya explicare. duración: miedo me da. 90 min en principio. tag: R Creo que con este nodo se podría abarcar una parte del nodo deseado de maquetación en Latex, pues se utiliza Sweave para la documentación. Pero no quiero liarme con tres nodos y me gustaría ir a otros. Tampoco creo que soy el apropiado para dar nodos que tengan que ver con diseño, lxs que me conocen ya saben porque lo digo... pero si se desea fuertemente y si no hay otra... kobe 0x08941635.asc Description: application/pgp-keys ___ HackMeeting mailing list HackMeeting@listas.sindominio.net https://listas.sindominio.net/mailman/listinfo/hackmeeting
