Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Thomas Mangin
> Si je suis l'idée du premier mail et du projet de fusion avec leur
> projet BGP, je dirai, à priori que l'idée est de blackholer le client,

Seulement les port 25 distants - on ne va pas lui couper sa ligne quand même; 
Ce n'est pas sa faute si sa machine a été infecte par un botnet :D 
Le truc genial avec flowspec c'est que tu peux faire ça sur tes routeurs sans 
machines Linux au milieu (si tu utilises Juniper).

> pour ensuite discuter après coup avec lui : on arrête l'hémorragie, et
> on traite le mal après. Mais je m'avance un peu en répondant à la
> place de Thomas :)

Non, non, c'est correct.
On arrête l'hémorragie, on met un couteau sous la gorge en disant "corrigez moi 
ça, a la troisième infraction on vous coupe", et on aide le patient a se 
remettre sur pied

> Merci Thomas pour ces explications. j'avoue que je suis assez surpris
> par le coté "illégal" dont tu nous parles. Je ne suis pas du tout
> juriste, je n'ai même pas les bases, mais j'aurai imaginé que le spam
> étant consommateur de ressources du système, ce genre de protection
> puisse être assimilé à de la QoS et donc puisse être considéré comme
> faisant "parti de l'offre pour laquelle le client paie", ce qui rend
> la pratique d'analyse du contenu légal, non ?


Le cote légal est super intéressant mais IANAL donc tout ce donc je suis sur 
c'est que tu peux analyser le contenu mais le contrat avec le client, souvent 
les T&C, doit le prévoir.
Et que pour le stockage, il faut faire attention a la "Data Retention 
Directive" et plein d'autre choses qui m'ont fait pecher vers : pas d'analyse 
du mail.
(En plus des raisons de performances).

Thomas 

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Thomas Mangin
Bonjour,

> Ensuite, via des règles (lesquelles?), il détermine quelles sont les
> machines des particuliers qui envoient du spam. OK.

Il y a un nombre de plugins (pas bcp atm) si tu es intéressé on peut en parler 
hors-liste (ou sur la liste du logiciel).

> Et ensuite? On a une belle liste de machines qui envoient du spam, on
> en fait quoi? On contacte les clients? On bloque leurs émissions de
> courrier? On leur coupe l'accès?

Ton choix :D
Cela depend de la politique maison.

> L'utilisateur reste le noeud du problème, et c'est pourtant sur lui
> que sont concentrés le moins d'effort.. Je ne nie pas l'utilité de
> scavenger, mais savoir qu'une machine émet du spam n'est pas le plus
> gros problème. Le problème c'est de faire en sorte que cette machine
> cesse d'en émettre.

D'ou deux programmes dans le repo:
 * Un qui permet de rediriger avec IPTables les spammeur vers un serveur SMTP
 * Un serveur SMTP qui répond du 450 a tout ce qu'il reçoit (mais peut laisser 
passer les mails pour postmaster, abuse, ou autres emails importante pour que 
le client puisse vous contacter).

Pour utiliser ces deux programmes, il faut évidement que les flux mails passent 
a travers une machine Linux. Nous avons un VRF dans lequel nous re-dirigeons 
tous les flux mail (et eux seuls) avec un machine Linux au mileu agissant comme 
routeurs - voir le diagramme de ma presentation. 

De ce cout, le client peut nettoyer ca machine et si c'est un "vrai" serveur 
mail, ne pas perdre de mails.

> Est-il envisageable de passer par la voie légale? Porter plainte
> contre le propriétaire d'une machine infectée c'est certainement une
> réponse très lourde, mais qui aurait le mérite de déplacer le problème
> du champ "technique" au champ "légal".

Ce n'est pas la bonne solution - du tout.
Tu peux simplement annuler le contrat pour brèches des T&C.

> Ce qui me contrarie, c'est l'idée qu'un utilisateur puisse avoir une
> machine infectée, relayer du spam à la pelle, recevoir peut-être un
> mail de son FAI l'invitant poliment à faire le ménage, et recommencer
> (pas volontairement, hein) six mois plus tard, sans réelles sanctions,

Récidivistes - c'est dans les T&C .. bye bye.

Thomas---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Rémi Bouhl
Bonjour,

Si j'ai bien saisi comment Scavenger fonctionne pour ce qui est du
scan, c'est beaucoup plus flou quand aux actions effectuées.

Scavenger se place sur le réseau, de façon totalement transparente, et
sniffe les mails sans regarder leur contenu. OK.
Ensuite, via des règles (lesquelles?), il détermine quelles sont les
machines des particuliers qui envoient du spam. OK.

Et ensuite? On a une belle liste de machines qui envoient du spam, on
en fait quoi? On contacte les clients? On bloque leurs émissions de
courrier? On leur coupe l'accès?

L'utilisateur reste le noeud du problème, et c'est pourtant sur lui
que sont concentrés le moins d'effort.. Je ne nie pas l'utilité de
scavenger, mais savoir qu'une machine émet du spam n'est pas le plus
gros problème. Le problème c'est de faire en sorte que cette machine
cesse d'en émettre.

Est-il envisageable de passer par la voie légale? Porter plainte
contre le propriétaire d'une machine infectée c'est certainement une
réponse très lourde, mais qui aurait le mérite de déplacer le problème
du champ "technique" au champ "légal".

Ce qui me contrarie, c'est l'idée qu'un utilisateur puisse avoir une
machine infectée, relayer du spam à la pelle, recevoir peut-être un
mail de son FAI l'invitant poliment à faire le ménage, et recommencer
(pas volontairement, hein) six mois plus tard, sans réelles sanctions,
sans avoir à supporter le coût de sa négligence. Autrement dit,
laisser sa machine faire n'importe quoi sur le réseau, quitte à
réinstaller le système tous les six mois quand elle est vraiment trop
vérolée, c'est avoir un comportement négligent, source de nuisance et
de surcoût, mais sans avoir à en supporter les conséquences.

Si un utilisateur de voiture pollue énormément l'environnement, pas
volontairement mais parce qu'il est négligent, il sera très vite
sanctionné et contraint de prendre des mesures. Pourquoi prendre des
gants avec les utilisateurs qui polluent le réseau?

Le 18/02/10, Florian MAURY a écrit :
> Bonjour,
>
> Effectivement, je trouve la solution très élégante, moi aussi. Elle
> est non intrusive vis à vis du protocole et même de l'architecture vu
> que l'analyse peut être faite out-of-band, et de toute facon, comme
> dit dans le premier mail, c'est une solution additive, pas
> substitutive. On peut donc tout à fait imaginer des providers comme
> Free scanner les flux pour les clients qui ont débloqué le port 25.
>
> Je suis cependant intrigué par la non-analyse du contenu du mail. Est
> ce pour des raisons d'image publique (confidentialité des données,
> tout ca, tout ca) ou pour des raisons de performances ou
> persistances/stockage ? Il est imaginable de faire un analyse par
> blocks de texte hashés (ce qui permettrait de ne pas se faire avoir
> par un bête compteur).
>
> Le 18 février 2010 11:28, Dominique Rousseau  a écrit :
>> Et donc, tu sniffes, sans leur dire (parceque sinon, ils pourraient
>> juste faire sortir explicitement leur trafic smtp par ton antispam) leur
>> trafic.
>
> Et une solution antispam sortant ne fait elle pas exactement la même
> chose, avec le défaut d'être inband ?
>
> Florian MAURY
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>
>
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Thomas Mangin
> Je suis cependant intrigué par la non-analyse du contenu du mail. Est
> ce pour des raisons d'image publique (confidentialité des données,
> tout ca, tout ca) ou pour des raisons de performances ou
> persistances/stockage ?

Les deux - et l'aspect légal.

Le but est de détecter des variations d'utilisation. Pour cela netflow est 
suffisant et je pense pouvoir l'ajouter au projet dans le futur.
Richard Clayton a un bon papier sur le sujet, http://www.spamhints.org/

La raison pour pcap et pas netflow au depart est que le code de retour des 
mails serveurs sur le MAIL FROM est incroyablement utile, et prend peu de 
resource a traiter.
L'autre est que le demon est inspire du "Postfix Policy Delegation Daemon" :)

D'un cote légal, un client qui ce sert de votre plateforme mail (SMTP, etc.) 
vous donne un droit sur le traitement de l'information (c'est un service qu'il 
paye), ce n'est pas le cas pour cette application.
Il faut donc que les T&C du FAI vous donne ce droit d'écoute.

> Il est imaginable de faire un analyse par
> blocks de texte hashés (ce qui permettrait de ne pas se faire avoir
> par un bête compteur).

Le ciel est la limite :D

> Et une solution antispam sortant ne fait elle pas exactement la même
> chose, avec le défaut d'être inband ?

Pour savoir si une IP spamme. il faut pouvoir voir son activité. Seul les "IP 
reputation providers" avec des serveurs MX installes a travers la planète 
peuvent faire ça.
Ce qui veut dire un service payant et cher, et souvent lent a réagir : il faut 
qu'ils aient reçu des spams pour affecter la réputation et la redistribuer.

Du cote FAI, tu peux tout de suite remarquer qu'une machine configure pour 
utiliser le SMTP du FAI commence a faire de la resolution MX.
Tu peux remarquer que soudain, toutes les minutes _un_ mail est envoye a _une_ 
IP differente - ce n'est pas un comportement normal.

Il est donc plus facile de détecter un bot chez le FAI que sur le serveur MX.
Généralise la pratique et tu as la solution miracle (ou presque).

Je te revoie a ma presentation :
http://wiki.exa.org.uk/_export/s5/scavenger/uknof12

Thomas

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Dominique Rousseau
Le Thu, Feb 18, 2010 at 12:09:55PM +0100, Florian MAURY [pub-fr...@x-cli.com] a 
écrit:
> Le 18 février 2010 11:28, Dominique Rousseau  a écrit :
> > Et donc, tu sniffes, sans leur dire (parceque sinon, ils pourraient
> > juste faire sortir explicitement leur trafic smtp par ton antispam) leur
> > trafic.
> 
> Et une solution antispam sortant ne fait elle pas exactement la même
> chose, avec le défaut d'être inband ?

La "solution" que je décrivais permet à l'utilisateur d'envoyer ses
mails lui même, sans passer par le relai smtp sortant de son FAI.


-- 
Dominique Rousseau 
Neuronnexion, Prestataire Internet & Intranet
50, rue Riolan 8 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Florian MAURY
Bonjour,

Effectivement, je trouve la solution très élégante, moi aussi. Elle
est non intrusive vis à vis du protocole et même de l'architecture vu
que l'analyse peut être faite out-of-band, et de toute facon, comme
dit dans le premier mail, c'est une solution additive, pas
substitutive. On peut donc tout à fait imaginer des providers comme
Free scanner les flux pour les clients qui ont débloqué le port 25.

Je suis cependant intrigué par la non-analyse du contenu du mail. Est
ce pour des raisons d'image publique (confidentialité des données,
tout ca, tout ca) ou pour des raisons de performances ou
persistances/stockage ? Il est imaginable de faire un analyse par
blocks de texte hashés (ce qui permettrait de ne pas se faire avoir
par un bête compteur).

Le 18 février 2010 11:28, Dominique Rousseau  a écrit :
> Et donc, tu sniffes, sans leur dire (parceque sinon, ils pourraient
> juste faire sortir explicitement leur trafic smtp par ton antispam) leur
> trafic.

Et une solution antispam sortant ne fait elle pas exactement la même
chose, avec le défaut d'être inband ?

Florian MAURY
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Thomas Mangin
> Et donc, tu sniffes, sans leur dire (parceque sinon, ils pourraient
> juste faire sortir explicitement leur trafic smtp par ton antispam) leur
> trafic.


Pardon ? D'ou vient ce "sans leur dire" ??
Je ne pense pas cacher notre projet !

Je "sniffe" car je ne veux pas bloquer ou forcer un proxy.
Mes clients, sont des expert dans leurs domaines et pas celui de l'internet; 
ils veulent pouvoir :
 * utiliser des serveurs "exchange" a la fin de leurs lignes DSL (et pas 
toujours nous utiliser comme relay).
 * utiliser TLS avec SMTP (forcer leurs connections sur une banque de serveurs 
"antispam" casse cette fonctionnalité)
 * utiliser nos serveurs SMTP, ou on ne bloque AUCUN mails, mais on se contente 
de "tagger" les spams et laisse le choix a client de filter sur cette 
information ou pas.

"sniffer" (je me sens sale tout d'un coup) est la meilleure manière de leur 
laisser leur liberté d'utilisation et reduire le nombre de spam.
Ce n'est pas parfait, mais cela ne touche pas leurs packets ou leurs ports (a 
moins que leurs machines soient utilises pour spammer).

Et pour être complet, actuellement le système n'est plus en production car nous 
faisons des changements sur le réseau.

Thomas

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Dominique Rousseau
Le Thu, Feb 18, 2010 at 10:23:21AM +, Thomas Mangin 
[thomas.man...@exa-networks.co.uk] a écrit:
> > Je préfère de loin, en terme de maitrise par l'utilisateur, une solution
> > du type :
> > - bloquage dés/activable par l'utilisateur du port 25 en sortie
> > - scan antispam/virus/... sur les smtp sortants
> 
> Je comprends ta position, mais ce n'est  possible pour tout le monde.
> Mon approche peut aussi etre utile au vendeurs de colocation (ou
> solution "cloud") ou tu ne peux pas bloquer les ports car tu ne sais
> pas ce que les clients veulent faire de leurs machines.

Et donc, tu sniffes, sans leur dire (parceque sinon, ils pourraient
juste faire sortir explicitement leur trafic smtp par ton antispam) leur
trafic.


-- 
Dominique Rousseau 
Neuronnexion, Prestataire Internet & Intranet
50, rue Riolan 8 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Thomas Mangin
> Je préfère de loin, en terme de maitrise par l'utilisateur, une solution
> du type :
> - bloquage dés/activable par l'utilisateur du port 25 en sortie
> - scan antispam/virus/... sur les smtp sortants

Je comprends ta position, mais ce n'est  possible pour tout le monde. Mon 
approche peut aussi etre utile au vendeurs de colocation (ou solution "cloud") 
ou tu ne peux pas bloquer les ports car tu ne sais pas ce que les clients 
veulent faire de leurs machines.

Thomas---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Julien Reveret
> Le Wed, Feb 17, 2010 at 06:38:58PM +, Thomas Mangin
> [thomas.man...@exa-networks.co.uk] a écrit:
>> > C'est un peu désolant de voir que la lutte anti-spam semble laisser
>> > tomber totalement le premier problème, à savoir l'utilisateur qui fait
>> > partie, malgré lui, d'un botnet.
>>
>> J'avais commence a y bosser avec ça:
>> http://scavenger.exa.org.uk/
>
> Beurk...
>
> Je préfère de loin, en terme de maitrise par l'utilisateur, une solution
> du type :
> - bloquage dés/activable par l'utilisateur du port 25 en sortie
> - scan antispam/virus/... sur les smtp sortants

Le problème c'est que tous les ISP n'ont pas la main sur les box de leurs
utilisateurs. Et bloquer le port 25 sur l'infra, on a vu ce que ça donne
niveau satisfaction des utilisateurs Orange.
Ensuite le scan sur les smtp sortant, je suis pour, mais si l'ISP ne
peut/veut pas filtrer le port 25 en sortie, alors ton antispam ne sert à
rien.
La solution de Thomas est plus élégante dans le sens où seuls les
utilisateurs qui ont leur(s) machine(s) infectée(s) sont concernés.

Comme je l'ai déjà dit dans un précédent mail, chacun prend ce qu'il veut
dans les outils qui sont disponibles.


---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] anti-spam cote botnet

2010-02-18 Par sujet Dominique Rousseau
Le Wed, Feb 17, 2010 at 06:38:58PM +, Thomas Mangin 
[thomas.man...@exa-networks.co.uk] a écrit:
> > C'est un peu désolant de voir que la lutte anti-spam semble laisser
> > tomber totalement le premier problème, à savoir l'utilisateur qui fait
> > partie, malgré lui, d'un botnet.
> 
> J'avais commence a y bosser avec ça:
> http://scavenger.exa.org.uk/

Beurk...

Je préfère de loin, en terme de maitrise par l'utilisateur, une solution
du type :
- bloquage dés/activable par l'utilisateur du port 25 en sortie
- scan antispam/virus/... sur les smtp sortants


-- 
Dominique Rousseau 
Neuronnexion, Prestataire Internet & Intranet
50, rue Riolan 8 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
---
Liste de diffusion du FRnOG
http://www.frnog.org/



[FRnOG] anti-spam cote botnet

2010-02-17 Par sujet Thomas Mangin
> C'est un peu désolant de voir que la lutte anti-spam semble laisser
> tomber totalement le premier problème, à savoir l'utilisateur qui fait
> partie, malgré lui, d'un botnet.

J'avais commence a y bosser avec ça:
http://scavenger.exa.org.uk/

Je dois trouver un peu de temps pour l'intégrer avec ça:
http://bgp.exa.org.uk

Si vous avez de la bonne volonté et voulez aider - vous êtes les bienvenus.
Je vais y bosser dans les mois a venir (des que mon projet actuel est fini).

Thomas

---
Liste de diffusion du FRnOG
http://www.frnog.org/