Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Camaleón 
El Fri, 25 Sep 2015 12:29:36 +0200, Maykel Franco escribió:

> Hola buenas, tenemos un cluster de 2 nodos de apache con x peticiones y
> con 20 vhost. Los logs se mandan por remoto a un sistema de logs y hasta
> ahí todo OK. Mi pregunta es, si tengo demasiado tráfico en el
> balanceador web, cómo puedo saber en tiempo real qué dominio o qué está
> causando tanto tráfico? Mirando logs? Pero tendría que ir uno a uno, un
> sistema de generación de estadísticas no me vale puesto que lo quiero en
> tiempo real...

(...)

Hum... no sé cómo el "access_log" (datos en bruto) te puede indicar la 
carga de un servidor web, yo creo que necesitarás un sistema de 
monitorización de los recursos del servidor más bien ¿no? :-?

Además del "apachetop" que has encontrado (veo que también existen otras 
como "atop¹" y "apache-top²") mira también el "mod_status", aunque no sé 
si te servirá para sistemas en cluster:

How to Monitor Apache Web Server Load and Page Statistics
http://www.tecmint.com/monitor-apache-web-server-load-and-page-statistics/

¹https://github.com/chnm/atop
²http://fr3nd.net/projects/apache-top/

Saludos,

-- 
Camaleón

Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Manolo Díaz 
El viernes, 25 sep 2015 a las 10:29 UTC
Maykel Franco escribió:


[...]

> Se os ocurre algo?? Podría usar esta orden pero solo sirve desde que
> se ejecuta y para las ultimas x lineas...Lo veo como ñapa:
> 
> watch -n 10 "tail -n 3 ssl_access.log | cut -f1 -d' ' | uniq -c |
> sort -r | head -n 20"
> 
> 
> Gracias de antemano.
> 

El límite de 3 (o el que sea) lo puedes evitar fácilmente:

tail -f -n +1 ssl_access.log | cut -f1 -d' ' | uniq -c | sort -r | head -n 20

Hace lo mismo sin ese límite y sin necesidad de watch: la salida se
actualiza continuamente.

Saludos.
-- 
Manolo Díaz

Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Maykel Franco 
El día 25 de septiembre de 2015, 16:49, Camaleón  escribió:
> El Fri, 25 Sep 2015 12:29:36 +0200, Maykel Franco escribió:
>
>> Hola buenas, tenemos un cluster de 2 nodos de apache con x peticiones y
>> con 20 vhost. Los logs se mandan por remoto a un sistema de logs y hasta
>> ahí todo OK. Mi pregunta es, si tengo demasiado tráfico en el
>> balanceador web, cómo puedo saber en tiempo real qué dominio o qué está
>> causando tanto tráfico? Mirando logs? Pero tendría que ir uno a uno, un
>> sistema de generación de estadísticas no me vale puesto que lo quiero en
>> tiempo real...
>
> (...)
>
> Hum... no sé cómo el "access_log" (datos en bruto) te puede indicar la
> carga de un servidor web, yo creo que necesitarás un sistema de
> monitorización de los recursos del servidor más bien ¿no? :-?

Hombre la carga a nivel de cpu y recursos no, pero más bien lo que
quiero saber que qué site es el que me están haciendo más peticiones.
Y dónde lo miras sino?

>
> Además del "apachetop" que has encontrado (veo que también existen otras
> como "atop¹" y "apache-top²") mira también el "mod_status", aunque no sé
> si te servirá para sistemas en cluster:

>
> How to Monitor Apache Web Server Load and Page Statistics
> http://www.tecmint.com/monitor-apache-web-server-load-and-page-statistics/

Sí, gracias por el enlace, si me sirve pero a nivel de cada nodo...
Quien dice que tengo 2 nodos, dice que tengo 12 nodos, pero por no
liar la cosa he puesto 2 nodos.

Me ha sido muy efectivo apachetop, he logrado saber qué fichero era el
más solicitado, 20querys/s ...

>
> ¹https://github.com/chnm/atop
> ²http://fr3nd.net/projects/apache-top/
>
> Saludos,

Gracias.

>
> --
> Camaleón
>

Pero como he comentado, busco algo más "profesional", algo como mandar
logs en remoto como graylog, y meter un panel con un filtro y unos
widgets, que en tiempo real me separe las peticiones de cada site.

Graylog es una pasada, aunque eso sí, necesita recursos de hardware
importantes para que todo vaya fluído.

Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Manolo Díaz 
El viernes, 25 sep 2015 a las 11:55 UTC
Maykel Franco escribió:

> El día 25 de septiembre de 2015, 13:36, Manolo Díaz
>  escribió:
> > El viernes, 25 sep 2015 a las 10:29 UTC
> > Maykel Franco escribió:
> >
> >
> > [...]
> >
> >> Se os ocurre algo?? Podría usar esta orden pero solo sirve desde que
> >> se ejecuta y para las ultimas x lineas...Lo veo como ñapa:
> >>
> >> watch -n 10 "tail -n 3 ssl_access.log | cut -f1 -d' ' | uniq -c |
> >> sort -r | head -n 20"
> >>
> >>
> >> Gracias de antemano.
> >>
> >
> > El límite de 3 (o el que sea) lo puedes evitar fácilmente:
> >
> > tail -f -n +1 ssl_access.log | cut -f1 -d' ' | uniq -c | sort -r | head -n 
> > 20
> >
> > Hace lo mismo sin ese límite y sin necesidad de watch: la salida se
> > actualiza continuamente.
> >
> > Saludos.
> > --
> > Manolo Díaz
> >
> 
> 
> Ummm, no me aparece nada...Se queda ahí sin más...
> 

Sí, fallo mío. Tanto uniq como sort tienen que leer el contenido
completo antes de hacer su trabajo.

-- 
Manolo Díaz

Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Maykel Franco 
El día 25 de septiembre de 2015, 13:36, Manolo Díaz
 escribió:
> El viernes, 25 sep 2015 a las 10:29 UTC
> Maykel Franco escribió:
>
>
> [...]
>
>> Se os ocurre algo?? Podría usar esta orden pero solo sirve desde que
>> se ejecuta y para las ultimas x lineas...Lo veo como ñapa:
>>
>> watch -n 10 "tail -n 3 ssl_access.log | cut -f1 -d' ' | uniq -c |
>> sort -r | head -n 20"
>>
>>
>> Gracias de antemano.
>>
>
> El límite de 3 (o el que sea) lo puedes evitar fácilmente:
>
> tail -f -n +1 ssl_access.log | cut -f1 -d' ' | uniq -c | sort -r | head -n 20
>
> Hace lo mismo sin ese límite y sin necesidad de watch: la salida se
> actualiza continuamente.
>
> Saludos.
> --
> Manolo Díaz
>


Ummm, no me aparece nada...Se queda ahí sin más...

Re: [OT] Peticiones en cluster apache

2015-09-25 Por tema Maykel Franco 
El día 25 de septiembre de 2015, 14:19, Manolo Díaz
 escribió:
> El viernes, 25 sep 2015 a las 11:55 UTC
> Maykel Franco escribió:
>
>> El día 25 de septiembre de 2015, 13:36, Manolo Díaz
>>  escribió:
>> > El viernes, 25 sep 2015 a las 10:29 UTC
>> > Maykel Franco escribió:
>> >
>> >
>> > [...]
>> >
>> >> Se os ocurre algo?? Podría usar esta orden pero solo sirve desde que
>> >> se ejecuta y para las ultimas x lineas...Lo veo como ñapa:
>> >>
>> >> watch -n 10 "tail -n 3 ssl_access.log | cut -f1 -d' ' | uniq -c |
>> >> sort -r | head -n 20"
>> >>
>> >>
>> >> Gracias de antemano.
>> >>
>> >
>> > El límite de 3 (o el que sea) lo puedes evitar fácilmente:
>> >
>> > tail -f -n +1 ssl_access.log | cut -f1 -d' ' | uniq -c | sort -r | head -n 
>> > 20
>> >
>> > Hace lo mismo sin ese límite y sin necesidad de watch: la salida se
>> > actualiza continuamente.
>> >
>> > Saludos.
>> > --
>> > Manolo Díaz
>> >
>>
>>
>> Ummm, no me aparece nada...Se queda ahí sin más...
>>
>
> Sí, fallo mío. Tanto uniq como sort tienen que leer el contenido
> completo antes de hacer su trabajo.
>
> --
> Manolo Díaz
>

Bueno, de momento he encontrado este fantástico comando:

apachetop

Que ejecutándolo con la opción -f y buscando el fichero de logs, puedo
ejecutarlo en el balanceador y me ha servidor para ver qué site tenía
más carga de peticiones.

Pero para hacer esto de manera más profesional, corporativa o decente??

[OT] Peticiones en cluster apache

2015-09-25 Por tema Maykel Franco 
Hola buenas, tenemos un cluster de 2 nodos de apache con x peticiones
y con 20 vhost. Los logs se mandan por remoto a un sistema de logs y
hasta ahí todo OK. Mi pregunta es, si tengo demasiado tráfico en el
balanceador web, cómo puedo saber en tiempo real qué dominio o qué
está causando tanto tráfico? Mirando logs? Pero tendría que ir uno a
uno, un sistema de generación de estadísticas no me vale puesto que lo
quiero en tiempo real...

Algo así como usar un sistema de logs como graylog, elasticsearch, logtash...

Se os ocurre algo?? Podría usar esta orden pero solo sirve desde que
se ejecuta y para las ultimas x lineas...Lo veo como ñapa:

watch -n 10 "tail -n 3 ssl_access.log | cut -f1 -d' ' | uniq -c |
sort -r | head -n 20"


Gracias de antemano.