Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)
Модераторы: Trinity admin`s, Free-lance moderator`s
Re: Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)
День добрый !
Спасибо за толковое описание !
Но мне не удается собрать модули Perl..
Третий день бьюсь !
>Далее пытаемся откомпилировать дистрибутив
>#perl Makefile.PL
>Скорее всего получаем кучу ошибок о отсутствующих модулях Perl
>Вообще требуемые модули перечислены в INSTALL
Так и есть !
>Все перл модули добавляются в систему либо вышеописаным >способом, либо качаются с http://search.cpan.org/ (там в поиске >вводится название модуля например HTML::Parser)
Нашел как сказали, скачал, но при инсталляции
в каталоге модуля (IO-Socket-INET6-2.51) - на: make test
выдает ошибки:
....
....
BEGIN failed--compilation aborted at blib/lib/IO/Socket/INET6.pm line 16.
Compilation failed in require at t/io_multihomed6.t line 55.
BEGIN failed--compilation aborted at t/io_multihomed6.t line 55.
t/io_multihomed6....dubious
Test returned status 2 (wstat 512, 0x200)
......
......
FAILED--3 test scripts could be run, alas--no output ever seen
make: *** [test_dynamic] Error 2
#_
Из каталога Mail-SpamAssassin-3.1.5
делаю: perl Makefile.PL
говорит так:
***************************************************************************
NOTE: the optional IO::Socket::INET6 module is installed,
but is not an up-to-date version.
This is required if the first nameserver listed in your IP
configuration or /etc/resolv.conf file is available only via
an IPv6 address.
***************************************************************************
NOTE: the optional IO::Socket::SSL module is installed,
but is not an up-to-date version.
If you wish to use SSL encryption to communicate between spamc and
spamd (the --ssl option to spamd), you need to install this
module. (You will need the OpenSSL libraries and use the
ENABLE_SSL="yes" argument to Makefile.PL to build and run an SSL
compatibile spamc.)
optional module out of date: Net::DNS
optional module out of date: Mail::SPF::Query
optional module out of date: IO::Socket::INET6
optional module out of date: IO::Socket::SSL
Как побороть ?
Чего не хватает ?
>Обучение системы
>Теперь как учить - в комплекте есть программа sa-learn ей нужно >скормить каталог с письмами ham и spam
>сами письма нужно иметь в немодивицированном виде (без forward`а >и прочих почтовых пересылок перенаправлений)
>я их получал прямым экспортом из программы TheBat в формат .MSG
>для удобства завёл специальные папочки в которых скидывал >примеры писем, а в конце дня делал экспорт на сервер.
У меня в конторе TheBat не используется, может быть подскажите,
как получить не модифицированные письма из Outlook Expr ?
Или есть способ сделать выборку прямо на почтовом сервере ?
У мня работает Sendmail..
>Фуххх вроде всё. будут вопросы - пишите помогу.[/quote]
Очень надеюсь на Вашу помощь !
Спасибо за толковое описание !
Но мне не удается собрать модули Perl..
Третий день бьюсь !
>Далее пытаемся откомпилировать дистрибутив
>#perl Makefile.PL
>Скорее всего получаем кучу ошибок о отсутствующих модулях Perl
>Вообще требуемые модули перечислены в INSTALL
Так и есть !
>Все перл модули добавляются в систему либо вышеописаным >способом, либо качаются с http://search.cpan.org/ (там в поиске >вводится название модуля например HTML::Parser)
Нашел как сказали, скачал, но при инсталляции
в каталоге модуля (IO-Socket-INET6-2.51) - на: make test
выдает ошибки:
....
....
BEGIN failed--compilation aborted at blib/lib/IO/Socket/INET6.pm line 16.
Compilation failed in require at t/io_multihomed6.t line 55.
BEGIN failed--compilation aborted at t/io_multihomed6.t line 55.
t/io_multihomed6....dubious
Test returned status 2 (wstat 512, 0x200)
......
......
FAILED--3 test scripts could be run, alas--no output ever seen
make: *** [test_dynamic] Error 2
#_
Из каталога Mail-SpamAssassin-3.1.5
делаю: perl Makefile.PL
говорит так:
***************************************************************************
NOTE: the optional IO::Socket::INET6 module is installed,
but is not an up-to-date version.
This is required if the first nameserver listed in your IP
configuration or /etc/resolv.conf file is available only via
an IPv6 address.
***************************************************************************
NOTE: the optional IO::Socket::SSL module is installed,
but is not an up-to-date version.
If you wish to use SSL encryption to communicate between spamc and
spamd (the --ssl option to spamd), you need to install this
module. (You will need the OpenSSL libraries and use the
ENABLE_SSL="yes" argument to Makefile.PL to build and run an SSL
compatibile spamc.)
optional module out of date: Net::DNS
optional module out of date: Mail::SPF::Query
optional module out of date: IO::Socket::INET6
optional module out of date: IO::Socket::SSL
Как побороть ?
Чего не хватает ?
>Обучение системы
>Теперь как учить - в комплекте есть программа sa-learn ей нужно >скормить каталог с письмами ham и spam
>сами письма нужно иметь в немодивицированном виде (без forward`а >и прочих почтовых пересылок перенаправлений)
>я их получал прямым экспортом из программы TheBat в формат .MSG
>для удобства завёл специальные папочки в которых скидывал >примеры писем, а в конце дня делал экспорт на сервер.
У меня в конторе TheBat не используется, может быть подскажите,
как получить не модифицированные письма из Outlook Expr ?
Или есть способ сделать выборку прямо на почтовом сервере ?
У мня работает Sendmail..
>Фуххх вроде всё. будут вопросы - пишите помогу.[/quote]
Очень надеюсь на Вашу помощь !
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
trsuted_networks это не то, вы туда должны указать свои внутренние сетки, а все остальное потереть.
вам надо для начала разобратся почему у вас писма от партнеров попадают в спам. гляньте в headers письма, там долно быть написано какие правила сработали.
далее, в случае необходимости можно воспользоватся whitlelist_from или другми настройками whitelist.
как пользоватся -- смотрите `perldoc Mail::SpamAssassin::Conf '
вам надо для начала разобратся почему у вас писма от партнеров попадают в спам. гляньте в headers письма, там долно быть написано какие правила сработали.
далее, в случае необходимости можно воспользоватся whitlelist_from или другми настройками whitelist.
как пользоватся -- смотрите `perldoc Mail::SpamAssassin::Conf '
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
Вы были правы - White_List не помог делу.
Письма все равно в спам-папку леги.
Вот что пишет СА :
pts rule name description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME From: does not include a real name
3.1 MSGID_SHORT Message-ID is unusually short
-2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
[score: 0.0000]
0.0 HTML_MESSAGE BODY: HTML included in message
0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
3.3 ADVANCE_FEE_3 Appears to be advance fee fraud (Nigerian 419)
2.2 INVALID_MSGID Message-Id is not valid, according to RFC 2822
0.0 ADVANCE_FEE_1 Appears to be advance fee fraud (Nigerian 419)
1.4 ADVANCE_FEE_2 Appears to be advance fee fraud (Nigerian 419)
-1.2 AWL AWL: From: address is in the auto white-list
Письма все равно в спам-папку леги.
Вот что пишет СА :
pts rule name description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME From: does not include a real name
3.1 MSGID_SHORT Message-ID is unusually short
-2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
[score: 0.0000]
0.0 HTML_MESSAGE BODY: HTML included in message
0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
3.3 ADVANCE_FEE_3 Appears to be advance fee fraud (Nigerian 419)
2.2 INVALID_MSGID Message-Id is not valid, according to RFC 2822
0.0 ADVANCE_FEE_1 Appears to be advance fee fraud (Nigerian 419)
1.4 ADVANCE_FEE_2 Appears to be advance fee fraud (Nigerian 419)
-1.2 AWL AWL: From: address is in the auto white-list
Appears to be advance fee fraud (Nigerian 419)
А откуда партнеры ваши, часом не из Нигерии
если серьезно, то спамассассин накидывает вам спам-баллы (в даннон конкретном случае) за две вещи:
А) похоже что msg-id у данного сообщения слишком короткое и не соответсвует RFC -- камень в огород админа ваших партнеров: RFC надо соблюдать
B) срабатывает какое-то статическое правило "ADVANCE FEE" , спамассасин думает что это нигерийский спам. -- тоже вопрос к партнерам: у них походу английский как в нигерийских письмах
Как сделать так чтоб письма доходили?
2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
для начала, подкоректируйте scores для байес-классификатора. Когда
байес дает 00 это точно не спам, как и 99 это точно спам. В этом форуме есть статья где написано как настроить спамассассин и изменить scores для байес-класификатора. За 00 можно и -10 или -15 смело добавлять, если бы увас
спам-ассассин -15 накинул, то это письмо бы в спам не попало.
далее "Вы были правы - White_List не помог делу." -- в данном конкретом случае white_list не сработал.
И еще: "-1.2 AWL AWL: From: address is in the auto white-list" -- у вас включен auto-wite-list (AWL), если он для вас работает то хорошо, но многие его отключают т.к. из за этой функции часто проскакивает спам. Я бы вам советовал эту опцию отключить, по карйней мере до того момента пока вы не разберетесь основными функциями спам-ассассина.
А откуда партнеры ваши, часом не из Нигерии
если серьезно, то спамассассин накидывает вам спам-баллы (в даннон конкретном случае) за две вещи:
А) похоже что msg-id у данного сообщения слишком короткое и не соответсвует RFC -- камень в огород админа ваших партнеров: RFC надо соблюдать
B) срабатывает какое-то статическое правило "ADVANCE FEE" , спамассасин думает что это нигерийский спам. -- тоже вопрос к партнерам: у них походу английский как в нигерийских письмах
Как сделать так чтоб письма доходили?
2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
для начала, подкоректируйте scores для байес-классификатора. Когда
байес дает 00 это точно не спам, как и 99 это точно спам. В этом форуме есть статья где написано как настроить спамассассин и изменить scores для байес-класификатора. За 00 можно и -10 или -15 смело добавлять, если бы увас
спам-ассассин -15 накинул, то это письмо бы в спам не попало.
далее "Вы были правы - White_List не помог делу." -- в данном конкретом случае white_list не сработал.
И еще: "-1.2 AWL AWL: From: address is in the auto white-list" -- у вас включен auto-wite-list (AWL), если он для вас работает то хорошо, но многие его отключают т.к. из за этой функции часто проскакивает спам. Я бы вам советовал эту опцию отключить, по карйней мере до того момента пока вы не разберетесь основными функциями спам-ассассина.
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
Apelsin, спасибо за ответы.
Сейчас разбираю ваши советы и работаю..
Появился вопрос :
Если я захочу установить новый сервер в качестве гейтвее+спамфильтра, на нем установлю новую ОСь, ну СА заинсталлирую.
Смогу ли я перенести существующие базы Байеса на новую систему, дабы снова не обучать несколько дней его?
Вот еще одно...
Score для Байеса я подправил.
Но в тех случаях, когда Байес говорит, что данное письмо спам с вероятностью 40-50 %, не хотелось бы мне ставить туда цифру меньше нуля. А т.к. у меня там стоит ноль, то получается, что с одной стороны у меня есть письма от партнеров с таким процентом, и они попадают в спам (и по делу - нарушают правила антиспам-фильтров аж бегом), с другой стороны есть спаммеры с таким процентом и они должны попадать в спам.
Вижу такой выход - принудительно завставлять СА не помечать как спам, если им даже начислено 30 баллов. Рассылки от клиентов могут быть очень некорректным в части спам-маркирования.
Но ВАЙТ_ЛИСТЫ меня в упор не слушаются. Что мне делать?
Повышать пороговое значение для спама ? Или у меня вайт-листы не работают корректно.
Вот пример того о чем я говорю.
Письмо от партнеров, но я же их не заставлю по-другому писать письма.
Content analysis details: (5.2 points, 4.5 required)
pts rule name description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME From: does not include a real name
0.1 FORGED_RCVD_HELO Received: contains a forged HELO
4.3 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal characters
0.1 HTML_50_60 BODY: Message is 50% to 60% HTML
0.0 HTML_MESSAGE BODY: HTML included in message
0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
[score: 0.5000]
0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
Сейчас разбираю ваши советы и работаю..
Появился вопрос :
Если я захочу установить новый сервер в качестве гейтвее+спамфильтра, на нем установлю новую ОСь, ну СА заинсталлирую.
Смогу ли я перенести существующие базы Байеса на новую систему, дабы снова не обучать несколько дней его?
Вот еще одно...
Score для Байеса я подправил.
Но в тех случаях, когда Байес говорит, что данное письмо спам с вероятностью 40-50 %, не хотелось бы мне ставить туда цифру меньше нуля. А т.к. у меня там стоит ноль, то получается, что с одной стороны у меня есть письма от партнеров с таким процентом, и они попадают в спам (и по делу - нарушают правила антиспам-фильтров аж бегом), с другой стороны есть спаммеры с таким процентом и они должны попадать в спам.
Вижу такой выход - принудительно завставлять СА не помечать как спам, если им даже начислено 30 баллов. Рассылки от клиентов могут быть очень некорректным в части спам-маркирования.
Но ВАЙТ_ЛИСТЫ меня в упор не слушаются. Что мне делать?
Повышать пороговое значение для спама ? Или у меня вайт-листы не работают корректно.
Вот пример того о чем я говорю.
Письмо от партнеров, но я же их не заставлю по-другому писать письма.
Content analysis details: (5.2 points, 4.5 required)
pts rule name description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME From: does not include a real name
0.1 FORGED_RCVD_HELO Received: contains a forged HELO
4.3 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal characters
0.1 HTML_50_60 BODY: Message is 50% to 60% HTML
0.0 HTML_MESSAGE BODY: HTML included in message
0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
[score: 0.5000]
0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
как у вас организованы базы? одна база на весь хост на bdb? думаю что можно, но не пробовал. У меня база на postgresql, тма точно можно.Ruslan.Ivanov писал(а):Apelsin, спасибо за ответы.
Сейчас разбираю ваши советы и работаю..
Появился вопрос :
Если я захочу установить новый сервер в качестве гейтвее+спамфильтра, на нем установлю новую ОСь, ну СА заинсталлирую.
Смогу ли я перенести существующие базы Байеса на новую систему, дабы снова не обучать несколько дней его?
оставьте как есть.Ruslan.Ivanov писал(а): Вот еще одно...
Score для Байеса я подправил.
Но в тех случаях, когда Байес говорит, что данное письмо спам с вероятностью 40-50 %, не хотелось бы мне ставить туда цифру меньше нуля. А т.к. у меня там стоит ноль, то получается, что с одной стороны у меня есть письма от партнеров с таким процентом, и они попадают в спам (и по делу - нарушают правила антиспам-фильтров аж бегом), с другой стороны есть спаммеры с таким процентом и они должны попадать в спам.
вайт-листы у вас не работают похоже, по крайней мере для письма ниже точно не сработали. читайте доку, проверяйте $spamassassin -D < /path/messageRuslan.Ivanov писал(а): Вижу такой выход - принудительно завставлять СА не помечать как спам, если им даже начислено 30 баллов. Рассылки от клиентов могут быть очень некорректным в части спам-маркирования.
Но ВАЙТ_ЛИСТЫ меня в упор не слушаются. Что мне делать?
Повышать пороговое значение для спама ? Или у меня вайт-листы не работают корректно.
SA выдаст кучу инфы в таком случае
4.3 SUBJ_ILLEGAL_CHARS у вас 4.3 балла накидывается, уменьшите, а то такое будет с каждым письмом с кривого мэйлера с русскими буквами в Subject:Ruslan.Ivanov писал(а): Вот пример того о чем я говорю.
Письмо от партнеров, но я же их не заставлю по-другому писать письма.
Content analysis details: (5.2 points, 4.5 required)
pts rule name description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME From: does not include a real name
0.1 FORGED_RCVD_HELO Received: contains a forged HELO
4.3 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal characters
0.1 HTML_50_60 BODY: Message is 50% to 60% HTML
0.0 HTML_MESSAGE BODY: HTML included in message
0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
[score: 0.5000]
0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
-
- Junior member
- Сообщения: 13
- Зарегистрирован: 17 авг 2006, 12:29
- Контактная информация:
Ага понимаю.4.3 SUBJ_ILLEGAL_CHARS у вас 4.3 балла накидывается, уменьшите, а то такое будет с каждым письмом с кривого мэйлера с русскими буквами в Subject:
А вы можете подсказать как это прописывается в конфиге? или показать где можно почитать ИМЕННО о настройках начисления балов за конкретные нарушения.
Спсб.
на сайте спамассасина есть страничка вики, где перечислены все правила для sa с указанием кол-ва баллов по дефолу. http://spamassassin.apache.org/tests.html
- corvax
- free-lance moderator
- Сообщения: 877
- Зарегистрирован: 06 авг 2004, 17:21
- Откуда: Kiev, Ukraine
- Контактная информация:
с тем же успехом можно грепнуть по названию правила файлы вapelsin писал(а):на сайте спамассасина есть страничка вики, где перечислены все правила для sa с указанием кол-ва баллов по дефолу. http://spamassassin.apache.org/tests.html
/usr/local/share/spamassassin
/usr/local/etc/mail/spamassassin
или
/usr/share/spamassassin
/etc/mail/spamassassin
--
/corvax
/corvax
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 44 гостя