Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

sashka13 · Сообщение **sashka13** » 06 фев 2006, 18:21

>пока не настроите spamassassin на безусловную вставку поля X->Spam-Report, почти ничего понятно не будет (по крайней мере, без >дебагового вывода spamd)

как это поле принудительно выставить , man spamd ничего не дал, может включить ему дебуг, так он просто в лог будет писать а не добавлять в заголовок или я ошибаюсь?

да сканирование у Вас отличное, остается только завидовать такой настройке фильтра

Сообщение **corvax** » 06 фев 2006, 18:24

sashka13 писал(а):>пока не настроите spamassassin на безусловную вставку поля X->Spam-Report, почти ничего понятно не будет (по крайней мере, без >дебагового вывода spamd)

как это поле принудительно выставить , man spamd ничего не дал, может включить ему дебуг, так он просто в лог будет писать а не добавлять в заголовок или я ошибаюсь?

http://mta.org.ua/spamassassin/rules.co ... rs-0.01.cf

sashka13 писал(а):да сканирование у Вас отличное, остается только завидовать такой настройке фильтра

свои правила. для некоторых свои патчи. своя система autolearn

sashka13 · Сообщение **sashka13** » 06 фев 2006, 18:26

>btw - хосты локалки (как минимум сам localhost) следует исключить >из проверки средствами milter-spamc

спасибо, исправим, случайно экспортнул

Сообщение **corvax** » 06 фев 2006, 18:45

sashka13 писал(а):>btw - хосты локалки (как минимум сам localhost) следует исключить >из проверки средствами milter-spamc

спасибо, исправим, случайно экспортнул

дело не в случайном экспорте
письмо от root@ к root@, влитое через сабмиттер вообще ни при каких раскладах не должно проходить через антиспамовые фильтры. по крайней мере, если у вас не хостинг для сторонних товарищей

sashka13 · Сообщение **sashka13** » 06 фев 2006, 18:52

при добавлении 99_report_headers-0_01.cf

/milter-spamc]# spamassassin -D --lint
----------cut----------
debug: config: read file /usr/local/share/spamassassin/50_scores.cf
debug: config: read file /usr/local/share/spamassassin/60_whitelist.cf
debug: config: read file /usr/local/share/spamassassin/99_report_headers-0_01.cf
debug: using "/etc/mail/spamassassin" for site rules dir
debug: config: read file /etc/mail/spamassassin/local.cf
----------cut----------

вроде ничего в заголовке ham-письма не изменилось
X-Priority: 3
X-MSMail-Priority: Normal
X-Mailer: PHP
X-MimeOLE: Produced By phpBB2
X-Spam-Checker-Version: SpamAssassin 3.0.2 (2004-11-16) on gw.trinity
X-Spam-Level: xx
X-Spam-Status: NO, hits=2.50 required=3.50
X-Spam-Flag: NO
X-Scanned-By: milter-spamc/0.25.321 (soft-ua.com [195.184.201.34]); Mon, 06 Feb 2006 17:42:18 +0200
X-UIDL: 54K!!XIP"!a3]!!npU"!

Сообщение **corvax** » 06 фев 2006, 18:55

sashka13 писал(а):при добавлении 99_report_headers-0_01.cf

/milter-spamc]# spamassassin -D --lint
----------cut----------
debug: config: read file /usr/local/share/spamassassin/50_scores.cf
debug: config: read file /usr/local/share/spamassassin/60_whitelist.cf
debug: config: read file /usr/local/share/spamassassin/99_report_headers-0_01.cf
debug: using "/etc/mail/spamassassin" for site rules dir
debug: config: read file /etc/mail/spamassassin/local.cf
----------cut----------

вроде ничего в заголовке ham-письма не изменилось

чтобы не вычищать мусор из вашего local.cf, лучше содержимое 99_report_headers-0.01.cf добавить в конец вашего local.cf и перегрузить spamd

apelsin · Сообщение **apelsin** » 06 фев 2006, 19:08

sashka13 писал(а):Цитата:
debug: bayes: Not available for scanning, only 0 spam(s) in Bayes DB < 200

>байес у вас не работает т.к. в базе меньше 200 сообщeний

>у вас общая база байеса для всех юзеров, лучще когда на каждого >своя
>
>и еще

> зачем спамассассин запущен от r00t'a ????

на 0 я тоже обратил внимание,но больше чем уверен что там должно быть больше 2000 с марта 2005 было скормлено однозначно более 200
а как провериь кол-во скормленных как спам ?
а чем лучше когда на каждого своя?

чтоб проверить как обстоят дела с байесом надо
#sa-learn -u filter --dump magic
и результат в студию

почему от рута:
[root@soft-ua /var/spool/filter/.spamassassin]# pss | grep spam
smmsp 635 0,0 0,1 1864 920 con- S 28янв06 :41,37 /usr/local/sbin/milter-spamc -B spam@soft-ua.com -s SPAM -S unix

filter 30496 0,0 2,3 24092 23504 ?? Is 16:43 0:01,56 /usr/local/bin/spamd -d -x -u filter (perl5.00503)
filter 30497 0,0 2,3 24092 23504 ?? S 16:43 0:00,01 spamd child
(perl5.00503)
filter 30498 0,0 2,3 24092 23504 ?? S 16:43 0:00,01 spamd child
(perl5.00503)
root 30499 0,8 2,4 25260 24696 ?? S 16:43 0:00,68 spamd child
(perl5.00503)
filter 30500 0,0 2,3 24092 23504 ?? S 16:43 0:00,01 spamd child
(perl5.00503)
filter 30501 0,0 2,3 24092 23504 ?? S 16:43 0:00,00 spamd child
(perl5.00503)

запущен от пользователя filter. хотя один процесс все таки от root, мне это тоже не понятна

во-во .. один перловый скрипт под рутом крутится ...

на мой взгляд у вас А) байес вообще не работает, Б) не включены всякие он-лайн проверки вроде DNSBL, Pyzor, DCC

т.к. характер писем у каждого юзера разный, статистика байеса спам/не-спам тоже разная, посему идивидуальные базы дают лучший результат. Если нет принципиальных ограничений, то можно per-user db
применить.

sashka13 · Сообщение **sashka13** » 06 фев 2006, 19:47

#sa-learn -u filter --dump magic
[root@soft-ua /usr/ports/mail/milter-spamc]# sa-learn -u filter --dump magic
0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 17 0 non-token data: nham
0.000 0 1505 0 non-token data: ntokens
0.000 0 1139226310 0 non-token data: oldest atime
0.000 0 1139243636 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction count

>Б) не включены всякие он-лайн проверки вроде DNSBL, Pyzor, DCC
по моему проверки включены средствами самого сендмыла, но надо проверить

что то подобное нашел
/var/log/mail.log
Feb 6 18:30:37 soft-ua sendmail[37083]: k16GUZnt037083: 68-115-218-043.static.spbg.sc.charter.com [68.115.218.43] did not issue MAIL/EXPN/VRFY/ETRN during connection to MTA
Feb 6 18:30:51 soft-ua sendmail[37084]: ruleset=check_relay, arg1=85-64-106-110.barak-online.net, arg2=85.64.106.110, relay=85-64-106-110.barak-online.net [85.64.106.110], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 85.64.106.110
Feb 6 18:30:52 soft-ua sendmail[37087]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb 6 18:31:12 soft-ua sendmail[37088]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb 6 18:31:50 soft-ua sendmail[37091]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26

Сообщение **corvax** » 06 фев 2006, 20:27

sashka13 писал(а):#sa-learn -u filter --dump magic
[root@soft-ua /usr/ports/mail/milter-spamc]# sa-learn -u filter --dump magic
0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 17 0 non-token data: nham

ну вот. спама - ноль. хама - семнадцать. обучение байеса на нуле совершенно

sashka13 писал(а):0.000 0 1505 0 non-token data: ntokens
0.000 0 1139226310 0 non-token data: oldest atime
0.000 0 1139243636 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction count

>Б) не включены всякие он-лайн проверки вроде DNSBL, Pyzor, DCC
по моему проверки включены средствами самого сендмыла, но надо проверить

что то подобное нашел
/var/log/mail.log
Feb 6 18:30:37 soft-ua sendmail[37083]: k16GUZnt037083: 68-115-218-043.static.spbg.sc.charter.com [68.115.218.43] did not issue MAIL/EXPN/VRFY/ETRN during connection to MTA
Feb 6 18:30:51 soft-ua sendmail[37084]: ruleset=check_relay, arg1=85-64-106-110.barak-online.net, arg2=85.64.106.110, relay=85-64-106-110.barak-online.net [85.64.106.110], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 85.64.106.110
Feb 6 18:30:52 soft-ua sendmail[37087]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb 6 18:31:12 soft-ua sendmail[37088]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb 6 18:31:50 soft-ua sendmail[37091]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26

и что здесь относится к milter-spamc или spamd? на мой взгляд - вообще ничего

apelsin · Сообщение **apelsin** » 06 фев 2006, 20:52

сначало о простом: раз для борьбы со спамом установлем спамассассин, то все проверки по спискам надо туда перевести, так оно будет правильнее
т.е. из конфига сендмыла все такое убрать, а в конфиге спамассасина включить все проверки которые работают со списками/дэйтабэйсами по сети, как то DCC, DNSBL, Pyzor (посмотрите сами в конфиг.файле )

далее: есть предположение-подозрение что у вас путаница с юзерами и базами байеса, т.е при обучении образуется одна база, а при проверке используеста другая

проведите сл. тесты:

1. #sa-learm -u root --damp magic
2. #sa-learn -u $user --damp magic ,где $user это какой-нибудь живой
получатель почты на вашем сервере, любой на ваш выбор

sashka13 · Сообщение **sashka13** » 06 фев 2006, 23:55

[root@soft-ua /var/log]# sa-learn -u alex --dump magic
0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 29 0 non-token data: nham
0.000 0 2439 0 non-token data: ntokens
0.000 0 1139226310 0 non-token data: oldest atime
0.000 0 1139257994 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction co
unt
[root@soft-ua /var/log]# sa-learn -u nataly --dump magic
0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 29 0 non-token data: nham
0.000 0 2439 0 non-token data: ntokens
0.000 0 1139226310 0 non-token data: oldest atime
0.000 0 1139257994 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction co
unt
[root@soft-ua /var/log]#
[root@soft-ua /var/log]# sa-learn -u root --dump magic
0.000 0 3 0 non-token data: bayes db version
0.000 0 0 0 non-token data: nspam
0.000 0 29 0 non-token data: nham
0.000 0 2439 0 non-token data: ntokens
0.000 0 1139226310 0 non-token data: oldest atime
0.000 0 1139257994 0 non-token data: newest atime
0.000 0 0 0 non-token data: last journal sync atime
0.000 0 0 0 non-token data: last expiry atime
0.000 0 0 0 non-token data: last expire atime delta
0.000 0 0 0 non-token data: last expire reduction co
unt
[root@soft-ua /var/log]#

я так понимаю что для всех одна

apelsin · Сообщение **apelsin** » 07 фев 2006, 11:17

мое предположение неверным оказалось, но оно и к лучшему.
Вам надо базу байеса обучить, команда sa-learn (см. man sa-learn)

еще, судя по вашему логу DNSBL у вас похоже работает, вам надо просто из сендмыла эту проверку убрать.

попробуйте все это осуществить, если чего-то неполучается, тогда обращайтесь

sashka13 · Сообщение **sashka13** » 07 фев 2006, 14:12

из крона запускается скрипт

sa-learn --ham /etc/mail/spamassassin/ham/
sa-learn --spam /etc/mail/spamassassin/spam/
rm -f /etc/mail/spamassassin/ham/*
rm -f /etc/mail/spamassassin/spam/*

в папки ложится через самбу экспортом из бата спам и хам
сам не могу понять почему не обучается

apelsin · Сообщение **apelsin** » 07 фев 2006, 14:21

это извините РТФМ

запустите вручную и посмотрите что все обучается $nice -n 19 sa-learn --progress --[spam/ham] --dir /etc/mail/spamassassin/[spam\ham]

man sa-learn !!!!

plague · Сообщение **plague** » 08 фев 2006, 23:47

В работе связки sendmail + spamassassin замечен очень гадкий баг.

Если в rcpt to есть хотябы один адрес который внесён в whitelist_to то письмо доставляется всем.

Ломаю голову над решением этой проблеммы.

Может кто подскажет что нибудь? :(

Не использовать белый список не могу, начальница парит мозг на счёт спама, а сотрудникам на спам пофик им главное чтобы письма гарантированно доходили.

Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

Кто сейчас на конференции