Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Vsevolod Stakhov
On 28/06/17 23:51, l...@lena.kiev.ua wrote:
>> From: Vsevolod Stakhov
> 
>>> Файл, указанный макросом MLDOMAINS - домены честных mailing lists,
>>> его можно скачать с http://lena.kiev.ua/mailing_list_domains.txt
>>> и дополнить другими известными вам доменами.
>>
>> Это тоже имеет смысл включить в Rspamd, если вы не против.
> 
> Да, пожалуйста.
> 
>>> В смысле что использующие Rspamd с конфигом по умолчанию
>>> или вышеприведенный код
>>> тем самым сообщают Рамблеру нехэшированные email адреса из входящих писем,
>>> что можно рассматривать как нарушение приватности и безопасности.
>>> Я верно понимаю?
>>
>> Ну, хешированными email'ами вы сообщаете ровно столько же информации
>> EBL.
> 
> Если email адреса нет в EBL, то EBL получает hash, а не email адрес
> в открытом виде. В отличие от Рамблера.

Это да, но какую информацию о вас раскрывает этот самый email? Кроме
того, как я уже писал ранее, Rspamd сейчас проверяет только email из
тела письма. Для reply-to лучше без хеширования (а лучше с шифрованием)
этого не делать.

> 
>> Я больше волнуюсь тут за пассивного наблюдателя за DNS трафиком. В
>> случае с хешами есть хотя бы минимальная защита от наблюдения, с
>> открытым текстом нет и этого.
> 
> В случае использования Рамблера (в частности Rspamd по умолчанию)
> в какой бы стране ни находился MTA, ФСБ может получить email адреса
> из всех входящих писем.

Рамблер - это не ФСБ. А если сервис находится не на Луне, то обязательно
найдутся какие-то местные спецслужбы, которые могут иметь некие
основания для получения этой информации.

>> Хотя те же RBL и URIBL страдают той же
>> проблемой.
> 
> Им передаются только домены, а не email адреса целиком.

Домены могут также говорить многое о содержимом письма.

> 
>> В Rspamd вообще есть поддержка DNSCurve (https://dnscurve.org/). Но для
>> этого надо вначале перенести все эти рамблеровские листы к себе и
>> поставить перед ними прокси для шифрования трафика.
> 
> Поиском в google я не нашла ни слова от Рамблера об этом черном списке,
> что уж говорть о переносе.

Так как Rspamd я начинал писать, работая в Рамблере, то он исторически
использует некоторые из листов, которые мы там делали. И, надо сказать,
эти листы довольно полезны для фильтрации спама. А говорить об
зеркалировании их буду, конечно, я сам - надеюсь, этот вопрос удастся
разрешить и перейти на хешированные запросы + шифрование транспорта,
потому что Rspamd уже давно вырос из проекта для одной компании, и
некоторые вопросы, особенно вопросы безопасности и приватности, пора бы
уже и решать.

> 
>> (sha1 хеш -
>> это смешная защита, право слово).
> 
> Вы можете получить неопубликованный email адрес, имея его sha1 hash?

Нет, но можно сделать много другого, учитывая, что число "интересных"
корреспондентов совсем невелико.

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Lena
> From: Vsevolod Stakhov

> > Файл, указанный макросом MLDOMAINS - домены честных mailing lists,
> > его можно скачать с http://lena.kiev.ua/mailing_list_domains.txt
> > и дополнить другими известными вам доменами.
> 
> Это тоже имеет смысл включить в Rspamd, если вы не против.

Да, пожалуйста.

> > В смысле что использующие Rspamd с конфигом по умолчанию
> > или вышеприведенный код
> > тем самым сообщают Рамблеру нехэшированные email адреса из входящих писем,
> > что можно рассматривать как нарушение приватности и безопасности.
> > Я верно понимаю?
> 
> Ну, хешированными email'ами вы сообщаете ровно столько же информации
> EBL.

Если email адреса нет в EBL, то EBL получает hash, а не email адрес
в открытом виде. В отличие от Рамблера.

> Я больше волнуюсь тут за пассивного наблюдателя за DNS трафиком. В
> случае с хешами есть хотя бы минимальная защита от наблюдения, с
> открытым текстом нет и этого.

В случае использования Рамблера (в частности Rspamd по умолчанию)
в какой бы стране ни находился MTA, ФСБ может получить email адреса
из всех входящих писем.

> Хотя те же RBL и URIBL страдают той же
> проблемой.

Им передаются только домены, а не email адреса целиком.

> В Rspamd вообще есть поддержка DNSCurve (https://dnscurve.org/). Но для
> этого надо вначале перенести все эти рамблеровские листы к себе и
> поставить перед ними прокси для шифрования трафика.

Поиском в google я не нашла ни слова от Рамблера об этом черном списке,
что уж говорть о переносе.

> (sha1 хеш -
> это смешная защита, право слово).

Вы можете получить неопубликованный email адрес, имея его sha1 hash?

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Vsevolod Stakhov
On 28/06/17 21:39, l...@lena.kiev.ua wrote:
> Извиняюсь, в коде была ошибка. Исправленный вариант:
> 
>> From: Vsevolod Stakhov
> 
>> RAMBLER_EMAILBL - это аналогичный сервис от Рамблера, также включенный в
>> Rspamd по умолчанию.
> 
> Как использовать и этот черный список от Рамблера, и EBL
> в Exim версии 4.87 или больше:
> 



> 
> Файл, указанный макросом MLDOMAINS - домены честных mailing lists,
> его можно скачать с http://lena.kiev.ua/mailing_list_domains.txt
> и дополнить другими известными вам доменами.

Это тоже имеет смысл включить в Rspamd, если вы не против.

>> такое можно включать только для листов, где адреса хотя бы
>> хешируются (как в EBL).
> 
> В смысле что использующие Rspamd с конфигом по умолчанию
> или вышеприведенный код
> тем самым сообщают Рамблеру нехэшированные email адреса из входящих писем,
> что можно рассматривать как нарушение приватности и безопасности.
> Я верно понимаю?
> 

Ну, хешированными email'ами вы сообщаете ровно столько же информации
EBL. Я больше волнуюсь тут за пассивного наблюдателя за DNS трафиком. В
случае с хешами есть хотя бы минимальная защита от наблюдения, с
открытым текстом нет и этого. Хотя те же RBL и URIBL страдают той же
проблемой.

В Rspamd вообще есть поддержка DNSCurve (https://dnscurve.org/). Но для
этого надо вначале перенести все эти рамблеровские листы к себе и
поставить перед ними прокси для шифрования трафика. С этой мерой защиты
использовать эти списки через DNS будет безопасно с точки зрения
пассивного (и активного) наблюдателей. Но проблема, которую вы озвучили
выше, никуда, разумеется, не девается и не денется - если вы хотите
проверить свои URL/email на некоем внешнем сервисе, то вы либо берете от
него фид данных (но тогда риски несет этот внешний сервис), либо
доверяете этому сервису, защищая лишь транзитный трафик до него. Но
сейчас этого нет вообще ни для одного из подобных сервисов (sha1 хеш -
это смешная защита, право слово).


___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Lena
Извиняюсь, в коде была ошибка. Исправленный вариант:

> From: Vsevolod Stakhov

> RAMBLER_EMAILBL - это аналогичный сервис от Рамблера, также включенный в
> Rspamd по умолчанию.

Как использовать и этот черный список от Рамблера, и EBL
в Exim версии 4.87 или больше:

MLDOMAINS = /usr/local/etc/exim/mailing_list_domains
acl_smtp_data = acl_check_data
acl_smtp_mime = acl_check_mime
acl_not_smtp = acl_check_notsmtp
acl_not_smtp_mime = acl_check_notsmtpmime
begin acl
rt:
  warn  set acl_m_rt = ${sg{${lc:${address:$header_Reply-To:}}}{\\+.*@}{@}}
condition = ${if match{$acl_m_rt}{@gmail.com}}
set acl_m_rt = ${sg{${local_part:$acl_m_rt}}{\\.}{}}@gmail.com

  deny  condition = ${if def:acl_m_rt}
condition = ${lookup{${domain:$acl_m_rt}}nwildlsearch\
 {MLDOMAINS}{0}{1}}
dnslists = ebl.msbl.org/${sha1:$acl_m_rt} : \
   email-bl.rambler.ru/${sg{$acl_m_rt}{@}{.}}
log_message = Reply-To: $header_Reply-To: in $dnslist_domain: \
$dnslist_text \
From: $header_From:, envelope-from $sender_address, \
recipients=$recipients, Subject: $header_Subject:
message = spam detected
  # 419 (Nigerian) scams often sent by humans, do not tell them
  # that the spam was detected with EBL http://msbl.org

  accept

mimeea:
  deny  condition = ${if match{$mime_content_type}{text}}
condition = ${lookup{$sender_address_domain}nwildlsearch\
 {MLDOMAINS}{0}{1}}
mime_regex = \N(?s).*?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w)\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?
condition = ${if forany{$regex1 :$regex3 :$regex5 :$regex7 :$regex9}\
   {eq{${acl{ea}{$item}}}{caught}}}
log_message = email address in body $acl_m_ea in $dnslist_domain: \
$dnslist_text \
From: $header_From:, envelope-from $sender_address, \
recipients=$recipients, Subject: $header_Subject:
message = spam detected

  accept

ea:
  accept condition = ${if eq{}\
{${lookup dnsdb{defer_never,mxh=${domain:$acl_arg1}
condition = ${if eq{}\
{${lookup dnsdb{defer_never,a=${domain:$acl_arg1}

  warn  set acl_m_ea = ${sg{${lc:$acl_arg1}}{\\+.*@}{@}}
condition = ${if match{$acl_m_ea}{@gmail.com}}
set acl_m_ea = ${sg{${local_part:$acl_m_ea}}{\\.}{}}@gmail.com

  accept condition = ${lookup{${domain:$acl_m_ea}}nwildlsearch\
 {MLDOMAINS}{0}{1}}
dnslists = ebl.msbl.org/${sha1:$acl_m_ea} : \
   email-bl.rambler.ru/${sg{$acl_m_ea}{@}{.}}
message = caught

  accept

acl_check_notsmtp:
  require acl = rt

  accept

acl_check_notsmtpmime:
  require acl = mimeea

  accept

acl_check_mime:

... (другие проверки до первого "accept")

  require acl = mimeea

... (первый "accept")

  accept

acl_check_data:

... (другие проверки до первого "accept")

  require acl = rt

... (первый "accept")

Файл, указанный макросом MLDOMAINS - домены честных mailing lists,
его можно скачать с http://lena.kiev.ua/mailing_list_domains.txt
и дополнить другими известными вам доменами.

> такое можно включать только для листов, где адреса хотя бы
> хешируются (как в EBL).

В смысле что использующие Rspamd с конфигом по умолчанию
или вышеприведенный код
тем самым сообщают Рамблеру нехэшированные email адреса из входящих писем,
что можно рассматривать как нарушение приватности и безопасности.
Я верно понимаю?

-- 
Лена

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Max Kostikov
Всеволод, скажите, а есть где-то информация об этом сервисе и политике 
его использования помимо Rspamd?


Vsevolod Stakhov писал 2017-06-28 20:04:

RAMBLER_EMAILBL - это аналогичный сервис от Рамблера


--
With best regards,
Max Kostikov

BBM: 24CA5DF8 | W: https://kostikov.co

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Lena
> From: Vsevolod Stakhov

> RAMBLER_EMAILBL - это аналогичный сервис от Рамблера, также включенный в
> Rspamd по умолчанию.

Как использовать и этот черный список от Рамблера, и EBL
в Exim версии 4.87 или больше:

MLDOMAINS = /usr/local/etc/exim/mailing_list_domains
acl_smtp_data = acl_check_data
acl_smtp_mime = acl_check_mime
acl_not_smtp = acl_check_notsmtp
acl_not_smtp_mime = acl_check_notsmtpmime
begin acl
rt:
  warn  set acl_m_rt = ${sg{${lc:${address:$header_Reply-To:}}}{\\+.*@}{@}}
condition = ${if match{$acl_m_rt}{@gmail.com}}
set acl_m_rt = ${sg{${local_part:$acl_m_rt}}{\\.}{}}@gmail.com

  deny  condition = ${if def:acl_m_rt}
condition = ${lookup{${domain:$acl_m_rt}}nwildlsearch\
 {MLDOMAINS}{0}{1}}
dnslists = ebl.msbl.org/${sha1:$acl_m_rt} : \
   email-bl.rambler.ru/${sg{$acl_m_rt}{@}{.}}
log_message = Reply-To: $header_Reply-To: in $dnslist_domain: \
$dnslist_text \
From: $header_From:, envelope-from $sender_address, \
recipients=$recipients, Subject: $header_Subject:
message = spam detected
  # 419 (Nigerian) scams often sent by humans, do not tell them
  # that the spam was detected with EBL http://msbl.org

  accept

mimeea:
  deny  condition = ${if match{$mime_content_type}{text}}
condition = ${lookup{$sender_address_domain}nwildlsearch\
 {MLDOMAINS}{0}{1}}
mime_regex = \N(?s).*?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w)\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?\
  (.+?([\w.+=-]+@\w[\w-]*\.[\w.-]+\w))?
condition = ${if forany{$regex1 :$regex3 :$regex5 :$regex7 :$regex9}\
   {eq{${acl{ea}{$item}}}{caught}}}
log_message = email address in body $acl_m_ea in $dnslist_domain: \
$dnslist_text \
From: $header_From:, envelope-from $sender_address, \
recipients=$recipients, Subject: $header_Subject:
message = spam detected

  accept

ea:
  accept condition = ${if eq{}\
{${lookup dnsdb{defer_never,mxh=${domain:$acl_arg1}
condition = ${if eq{}\
{${lookup dnsdb{defer_never,a=${domain:$acl_arg1}

  warn  set acl_m_ea = ${sg{${lc:$acl_arg1}}{\\+.*@}{@}}
condition = ${if match{$acl_m_ea}{@gmail.com}}
set acl_m_ea = ${sg{${local_part:$acl_m_ea}}{\\.}{}}@gmail.com

  accept condition = ${lookup{${domain:$acl_m_ea}}nwildlsearch\
 {MLDOMAINS}{0}{1}}
dnslists = ebl.msbl.org/${sha1:$acl_m_ea} : \
   email-bl.rambler.ru/${sg{$acl_m_rt}{@}{.}}
message = caught

  accept

acl_check_notsmtp:
  require acl = rt

  accept

acl_check_notsmtpmime:
  require acl = mimeea

  accept

acl_check_mime:

... (другие проверки до первого "accept")

  require acl = mimeea

... (первый "accept")

  accept

acl_check_data:

... (другие проверки до первого "accept")

  require acl = rt

... (первый "accept")

Файл, указанный макросом MLDOMAINS - домены честных mailing lists,
его можно скачать с http://lena.kiev.ua/mailing_list_domains.txt
и дополнить другими известными вам доменами.

> такое можно включать только для листов, где адреса хотя бы
> хешируются (как в EBL).

В смысле что использующие Rspamd с конфигом по умолчанию
или вышеприведенный код
тем самым сообщают Рамблеру нехэшированные email адреса из входящих писем,
что можно рассматривать как нарушение приватности и безопасности.
Я верно понимаю?

-- 
Лена

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Vsevolod Stakhov
On 28/06/17 16:26, l...@lena.kiev.ua wrote:
> Описание черного списка EBL: http://msbl.org/ebl-purpose.htm
> Я его тестировала с октября 2016, сегодня его объявили в публичное 
> тестирование:
> https://spammers.dontlike.us/mailman/private/list/2017-June/010493.html
> 
>> The Email Blocklist has entered Beta 2, and is now open for testing by
>> the public. If you have not tried the list out, please do so. We would
>> love to receive your feedback, and think you will like seeing less 419
>> Advance Fee Fraud and some other types of spam in your inboxes.
>>
>> You can find information, instructions, and tools on the website:
>> http://msbl.org/ebl-implementation.html
> 
> Так использовать EBL в конфиге Exim (версии 4.87 или больше):
> https://github.com/Exim/exim/wiki/EBL

Тестировали его в Rambler с Rspamd на тестовой машинке некоторое время
назад. Вот результаты:

EBL   avg. weight 0.000, hits 130(0.107%):
  Ham3.846%,  5/98377  (  0.005%)
  Spam  77.692%,101/7090   (  1.425%)
  Junk  18.462%, 24/15745  (  0.152%)
Correlations report:
Probability of EBL when RAMBLER_EMAILBL fires: 0.854

RAMBLER_EMAILBL   avg. weight 7.898, hits 178(0.147%):
  Ham7.303%, 13/98377  (  0.013%)
  Spam  60.112%,107/7090   (  1.509%)
  Junk  32.584%, 58/15745  (  0.368%)

Correlations report:
Probability of RAMBLER_EMAILBL when EBL fires: 0.624


=== Summary

Messages scanned: 121212 [ Apr 12 10:40:10 / Apr 12 16:41:41 ]

RAMBLER_EMAILBL - это аналогичный сервис от Рамблера, также включенный в
Rspamd по умолчанию. Да, Reply-To Rspamd не проверяет - только адреса в
теле письма. Но я, наверное, это добавлю - звучит разумно. Другое дело,
что такое можно включать только для листов, где адреса хотя бы
хешируются (как в EBL).

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Max Kostikov

Спасибо, я понял.
Подключу пока модуль к Spamassassin для опытов.

l...@lena.kiev.ua писал 2017-06-28 19:52:

Я правильно понял, что это вариация DCC/Razor/Pyzor но с трансляцией
через DNS?


В черном списке EBL содержатся хэши только email адресов,
встречающихся в Reply-To и текстах спама.
Email адресов, на которые спамеры призывают отвечать.


--
With best regards,
Max Kostikov

BBM: 24CA5DF8 | W: https://kostikov.co

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Lena
> Я правильно понял, что это вариация DCC/Razor/Pyzor но с трансляцией 
> через DNS?

В черном списке EBL содержатся хэши только email адресов,
встречающихся в Reply-To и текстах спама.
Email адресов, на которые спамеры призывают отвечать.

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users



Re: [Exim-users] Черный список email адресов в Reply-To и телах писем

2017-06-28 Пенетрантность Max Kostikov

Приветствую!

Я правильно понял, что это вариация DCC/Razor/Pyzor но с трансляцией 
через DNS?


l...@lena.kiev.ua писал 2017-06-28 17:26:

Описание черного списка EBL: http://msbl.org/ebl-purpose.htm
Я его тестировала с октября 2016, сегодня его объявили в публичное 
тестирование:

https://spammers.dontlike.us/mailman/private/list/2017-June/010493.html


The Email Blocklist has entered Beta 2, and is now open for testing by
the public. If you have not tried the list out, please do so. We would
love to receive your feedback, and think you will like seeing less 419
Advance Fee Fraud and some other types of spam in your inboxes.

You can find information, instructions, and tools on the website:
http://msbl.org/ebl-implementation.html



--
With best regards,
Max Kostikov

BBM: 24CA5DF8 | W: https://kostikov.co

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users