Bonjour,
Après quelques jours de fonctionnement du cache de tuiles OSM de Pau, je suis en mesure de fournir quelques stats. Je voulais pouvoir afficher des stats sur les tuiles consultés (hits, urls et bande passante par niveau de zoom) Je voulais savoir de quel pays proviennent les visiteurs et combien il y en avait. Je voulais savoir de quelles FAI proviennent les visiteurs. Je voulais savoir de quelles AS (système autonome) proviennent les visiteurs. Les fichiers de Logs dépassent le Go et les 9 millions de lignes. Il faut un outil assez rapide... tant qu'a faire ! Le serveur a tenu jusqu'à 600 000 hits dans l'heure. J'ai testé quelques solutions d'analyse de logs Squid et je n'en ai trouvé qu'un seul capable de trier sur les AS : webalizer_asn http://www.init7.com/webalizer_asn/readme_asn.php Une version patchée de webalizer Malheureusement cette solution est obsolète... j'y reviendrais... Les résultats d'analyses avec webalizer_asn et webalizer : http://nominatim.paulla.asso.fr/webalizer-asn/usage_201212.html http://nominatim.paulla.asso.fr/webalizer/usage_201212.html Je disais donc que webalizer_asn est obsolète. Init7 fournit un fichier d'AS vieux de presque 2 ans généré par un collecteur BGP (Piranha) qui n'a pas été mis à jour depuis plus de 7 ans :( Résultat, 16% d'IP non résolu, et je ne sais combien d'attribué au mauvais AS De plus, Webalizer n'affiche pas directement le propriétaire de l'AS, il faut cliquer sur un lien cassé pour l'obtenir. Et il ne gère pas l'IPv6. Webalizer lui même a d'autres problèmes : A partir du moment ou l'on active la résolution DNS des adresses IP, les stats sur les Pays sont farfelus car se basant sur le nom d'hôtes résolus et non plus sur GeoIP ou GeoDB. Résultat, on a 30% de .net, 5% de .com, etc. Ce qui n'a rien à voir avec la localisation géographique des visiteurs. Bref, si un codeur ne sait pas comment occuper ses vacances de Noël, je lui propose de faire un joli patch pour la dernière version de Webalizer permet de gérer les AS (IPv4 et éventuellement IPv6) avec les bases à jour de Maxmind https://www.maxmind.com/en/asnum Sachant que Webalizer utilise déjà GeoIP pour les pays, http://dev.maxmind.com/geoip/geolite On doit presque pouvoir dupliquer quelques bouts de code pour le faire ;o) et s'inspirer fortement de webalizer_asn... Et en profiter pour corriger le bug des stats par pays avec GeoDB/GeoIP lorsque la résolution DNS est activé. J'ai par ailleurs le sentiment que Webalizer peut être accéléré si il travaille uniquement sur les IP et ne fait les résolutions IP->hostname IP->GeoIP et IP->AS qu'à la fin. Si vous connaissez un volontaire ? Librement, -- Christophe Merlet (RedFox)
signature.asc
Description: This is a digitally signed message part
_______________________________________________ dev-fr mailing list [email protected] http://lists.openstreetmap.org/listinfo/dev-fr
