Re: [Techinfo] postfix mailstat siker

2016-09-23 bef zés Csaba Tiba 
Nagyon jó, és köszönöm mindenki nevében is!

Csaba

2016.09.23. 12:53 ezt írta ("Molnar Peter" ):

> Hello!
>
> >pont erre gondoltam, mikor fentrol lefele olvastam a megoldasod,
> >hogy nem ertem miert mesz vegig hetszer ugyanazon a logfile-on.
> Hajnal 1 korul alltam neki, annyira belelkesultem a kapott anyagoktol.
> Mindenkeppen egy valamilyen formaban mukodo valtozattal akartam nyugovora
> terni.
> :))
> Szoval tenyleg van meg mit optimalizalni rajta.
> De mukodik, s most ennek orulok...
> :))
>
> --
> Tisztelettel:
> Molnar Peter
> http://www.petersoft.hu
>
> ___
> Techinfo mailing list
> Techinfo@lista.sulinet.hu
> Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
> Illemtan: http://www.szag.hu/illemtan.html
> Ügyfélszolgálat FAQ: http://sulinet.niif.hu/
>
___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/

Re: [Techinfo] postfix mailstat siker

2016-09-23 bef zés Molnar Peter 

Hello!

>pont erre gondoltam, mikor fentrol lefele olvastam a megoldasod,
>hogy nem ertem miert mesz vegig hetszer ugyanazon a logfile-on.
Hajnal 1 korul alltam neki, annyira belelkesultem a kapott anyagoktol.
Mindenkeppen egy valamilyen formaban mukodo valtozattal akartam 
nyugovora terni.

:))
Szoval tenyleg van meg mit optimalizalni rajta.
De mukodik, s most ennek orulok...
:))

--
Tisztelettel:
Molnar Peter
http://www.petersoft.hu

___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/

Re: [Techinfo] postfix mailstat siker

2016-09-23 bef zés ka 

On 2016-09-23 11:35, Molnar Peter wrote:

3. A logot tobbszor is vegig olvasom, legyujtve belole az elmult ora
logjait, ezt is optimalizalni kellene, hogy csak egyszer tegye meg.
stb.



pont erre gondoltam, mikor fentrol lefele olvastam a megoldasod, hogy 
nem ertem miert mesz vegig hetszer ugyanazon a logfile-on.  Javaslom a 
grep -f kapcsolojat.  Gyujtsd egy file-ba, soronkent ami kell, igy csak 
egyszer kell olvasni a file-t -> hetszeres gyorsulas.


A masik lehetoseg, ha az egyes sorokkal kulonbozo dolgokat kell csinalni 
- ekkor nyilvan nem lehet egy mozdulattal elintezni.  Ekkor viszont 
valami olyasmit csinalnek, hogy perl-be irnam at, sima filemuvelettel 
beolvasnam a tartalmat, majd egyszeru regexpekkel soronkent dolgoznam 
fel:


if ($_ =~ //) {

# egyik teendo

} elsif ($_ =~ //)

# masik teendo

} ...

Egyszeres file olvasas, tobbszori muvelet, megmarad a hetszeres 
gyorsulas a file muveletek teren, arrol nem is beszelve, hogy a 
modulkent elerheto DBI / DBD gyorsabb adatbazis kezelest tesz lehetove, 
mint shell-bol elerni a mysql stdin-en at.


udv
adam

___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/

Re: [Techinfo] postfix mailstat siker

2016-09-23 bef zés Molnar Peter 

Hello!

>Péter ez esetleg megosztható?

Huh, nem vagyok valami nagy szkript iro, nincs meg egyaltalan 
optimalizalva, csak osszevagtam favago modon.


>A másik dolog, hogy sulix szerver alatt is vajon működőképes lehet-e?

Ha postfix-ot hasznal, akkor semmi akadalya.

Hozzavalok:

grep, awk, mysql, A szkript, ami legyujti a kulonbozo adatokat.

Elvileg a szkript mindig csak a megelozo ora adatait tolti fel adatbazisba.
Az adatbazis egy mailserver nevu nalam, s 1 tabla van benne jelenleg.

CREATE TABLE IF NOT EXISTS `stat` (
  `logid` int(11) NOT NULL AUTO_INCREMENT,
  `datum` date NOT NULL,
  `ora` tinyint(4) NOT NULL,
  `tip` varchar(5) NOT NULL,
  `log` varchar(200) NOT NULL,
  PRIMARY KEY (`logid`),
  KEY `tip` (`tip`),
  KEY `log` (`log`),
  KEY `datum` (`datum`),
  KEY `ora` (`ora`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;

A szkript:

ora=$(date +%H -d  "1 hour ago")
akt=$(date +%Y-%m-%d -d  "1 hour ago")
ev=$(date +"%b %e " -d  "1 hour ago")
mu=mysql_username
mpw=mysql_user_password

for i in `grep "$ev$ora" /var/log/mail.log | grep sasl_username  | awk 
'{print$9}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('bkl','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep "disallowed plaintext 
auth"  | awk '{print$15}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('p3e','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep "SASL LOGIN 
authentication failed" | awk '{print$7}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('bkl','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep "pop3-login: Login:" | 
awk '{print$8$10}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('p3l','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep "postfix/qmgr" | awk 
'{print$6$7$8}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('bkl','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep "postfix/lmtp" | awk 
'{print$6$7$8}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('bkl','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done
for i in `grep "$ev$ora" /var/log/mail.log | grep 
"postfix/submission/smtpd" | awk '{print$8}'`

do
echo "use mailserver;insert into stat (tip,datum,ora,log) values 
('bkl','$akt','$ora','$i');" | mysql -u $mu --password=$mpw

done

//szkript vege

amin meg kell dolgozni:

1.Lehetne a kulonbozo adatokat kulon tablaba tenni.
2.A log mezobe jelenleg omlesztve kerulnek a lenyeges adatok, amiket 
lehetne kulon mezobe rakni.
3. A logot tobbszor is vegig olvasom, legyujtve belole az elmult ora 
logjait, ezt is optimalizalni kellene, hogy csak egyszer tegye meg.

stb.

Sajat jelentesek:

bkl = be ki levelek

p3l = sikeres pop login

p3e = sikertelen pop login


--
Tisztelettel:
Molnar Peter
http://www.petersoft.hu

___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/

Re: [Techinfo] postfix mailstat siker

2016-09-23 bef zés Csaba Tiba 
Péter ez esetleg megosztható?

A másik dolog, hogy sulix szerver alatt is vajon működőképes lehet-e?
Köszönettel


Csaba

2016. szeptember 23. 11:26 Molnar Peter írta, :

> Hello!
>
> Nos szeretnek ismet koszonetet mondani azoknak akik segitettek,
> otletekkel, sajat megoldassal.
>
> Sikerult egy olyan logelemzot osszeallitanom, mely tokeletesen megfelel az
> igenyeimnek, sot.
>
> Kepes orankent vagy akar gykrabban is leszedni az adatokat a logbol, ki
> lepett be, mennyiszer, ki kuldott levelet mennyiszer, s mindezt meg egy
> mysql adatbazisba is berakja.
>
> Innentol az adatbazisbol akarmilyen statisztikat le lehet majd kerdezni,
> akar grafikonokat is lehetne rajzolni, lehet figyelni az orankenti
> valtozast.
>
> Pont amit szerettem volna.
>
> Talan meg azt is sikerul megcsinalnom, hogy a spammelo felhasznalokat
> automatikusan letiltom.
>
> Szoval a kuldott anyagoknak hala a lehetosegek hatartalanok.
>
> Koszonet a listanak es foleg a segitoknek!
>
>
> --
> Tisztelettel:
> Molnar Peter
> http://www.petersoft.hu
>
> ___
> Techinfo mailing list
> Techinfo@lista.sulinet.hu
> Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
> Illemtan: http://www.szag.hu/illemtan.html
> Ügyfélszolgálat FAQ: http://sulinet.niif.hu/
>
___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/

[Techinfo] postfix mailstat siker

2016-09-23 bef zés Molnar Peter 

Hello!

Nos szeretnek ismet koszonetet mondani azoknak akik segitettek, 
otletekkel, sajat megoldassal.


Sikerult egy olyan logelemzot osszeallitanom, mely tokeletesen megfelel 
az igenyeimnek, sot.


Kepes orankent vagy akar gykrabban is leszedni az adatokat a logbol, ki 
lepett be, mennyiszer, ki kuldott levelet mennyiszer, s mindezt meg egy 
mysql adatbazisba is berakja.


Innentol az adatbazisbol akarmilyen statisztikat le lehet majd kerdezni, 
akar grafikonokat is lehetne rajzolni, lehet figyelni az orankenti 
valtozast.


Pont amit szerettem volna.

Talan meg azt is sikerul megcsinalnom, hogy a spammelo felhasznalokat 
automatikusan letiltom.


Szoval a kuldott anyagoknak hala a lehetosegek hatartalanok.

Koszonet a listanak es foleg a segitoknek!


--
Tisztelettel:
Molnar Peter
http://www.petersoft.hu

___
Techinfo mailing list
Techinfo@lista.sulinet.hu
Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo
Illemtan: http://www.szag.hu/illemtan.html
Ügyfélszolgálat FAQ: http://sulinet.niif.hu/