Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 06 фев 2006, 18:21

>пока не настроите spamassassin на безусловную вставку поля X->Spam-Report, почти ничего понятно не будет (по крайней мере, без >дебагового вывода spamd)

как это поле принудительно выставить , man spamd ничего не дал, может  включить ему дебуг, так он просто в лог будет писать а не добавлять в заголовок или я ошибаюсь?

да сканирование у Вас отличное, остается только завидовать такой настройке фильтра

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 фев 2006, 18:24

sashka13 писал(а):>пока не настроите spamassassin на безусловную вставку поля X->Spam-Report, почти ничего понятно не будет (по крайней мере, без >дебагового вывода spamd)

как это поле принудительно выставить , man spamd ничего не дал, может  включить ему дебуг, так он просто в лог будет писать а не добавлять в заголовок или я ошибаюсь?
http://mta.org.ua/spamassassin/rules.co ... rs-0.01.cf
sashka13 писал(а):да сканирование у Вас отличное, остается только завидовать такой настройке фильтра
свои правила. для некоторых свои патчи. своя система autolearn
--
/corvax

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 06 фев 2006, 18:26

>btw - хосты локалки (как минимум сам localhost) следует исключить >из проверки средствами milter-spamc

спасибо, исправим, случайно экспортнул

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 фев 2006, 18:45

sashka13 писал(а):>btw - хосты локалки (как минимум сам localhost) следует исключить >из проверки средствами milter-spamc

спасибо, исправим, случайно экспортнул
дело не в случайном экспорте
письмо от root@ к root@, влитое через сабмиттер вообще ни при каких раскладах не должно проходить через антиспамовые фильтры. по крайней мере, если у вас не хостинг для сторонних товарищей
--
/corvax

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 06 фев 2006, 18:52

при добавлении 99_report_headers-0_01.cf

/milter-spamc]# spamassassin -D --lint
----------cut----------
debug: config: read file /usr/local/share/spamassassin/50_scores.cf
debug: config: read file /usr/local/share/spamassassin/60_whitelist.cf
debug: config: read file /usr/local/share/spamassassin/99_report_headers-0_01.cf
debug: using "/etc/mail/spamassassin" for site rules dir
debug: config: read file /etc/mail/spamassassin/local.cf
----------cut----------


вроде ничего в заголовке ham-письма не изменилось
X-Priority: 3
X-MSMail-Priority: Normal
X-Mailer: PHP
X-MimeOLE: Produced By phpBB2
X-Spam-Checker-Version: SpamAssassin 3.0.2 (2004-11-16) on gw.trinity
X-Spam-Level: xx
X-Spam-Status: NO, hits=2.50 required=3.50
X-Spam-Flag: NO
X-Scanned-By: milter-spamc/0.25.321 (soft-ua.com [195.184.201.34]); Mon, 06 Feb 2006 17:42:18 +0200
X-UIDL: 54K!!XIP"!a3]!!npU"!

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 фев 2006, 18:55

sashka13 писал(а):при добавлении 99_report_headers-0_01.cf

/milter-spamc]# spamassassin -D --lint
----------cut----------
debug: config: read file /usr/local/share/spamassassin/50_scores.cf
debug: config: read file /usr/local/share/spamassassin/60_whitelist.cf
debug: config: read file /usr/local/share/spamassassin/99_report_headers-0_01.cf
debug: using "/etc/mail/spamassassin" for site rules dir
debug: config: read file /etc/mail/spamassassin/local.cf
----------cut----------


вроде ничего в заголовке ham-письма не изменилось
чтобы не вычищать мусор из вашего local.cf, лучше содержимое 99_report_headers-0.01.cf добавить в конец вашего local.cf и перегрузить spamd
--
/corvax

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 06 фев 2006, 19:08

sashka13 писал(а):Цитата:
debug: bayes: Not available for scanning, only 0 spam(s) in Bayes DB < 200


>байес у вас не работает т.к. в базе меньше 200 сообщeний

>у вас общая база байеса для всех юзеров, лучще когда на каждого >своя  
>
>и еще

>  зачем спамассассин запущен от r00t'a  ????

на 0 я тоже обратил внимание,но больше чем уверен что там должно быть больше 2000 с марта 2005 было скормлено однозначно более 200
а как провериь кол-во скормленных как спам ?
а чем лучше когда на каждого своя?
чтоб проверить как обстоят дела с байесом надо
#sa-learn -u filter --dump magic  
и результат в студию

 
почему от рута:
[root@soft-ua /var/spool/filter/.spamassassin]# pss | grep spam
smmsp         635  0,0  0,1  1864  920 con- S   28янв06   :41,37 /usr/local/sbin/milter-spamc -B spam@soft-ua.com -s SPAM -S unix

filter      30496  0,0  2,3 24092 23504  ??  Is   16:43     0:01,56 /usr/local/bin/spamd -d -x -u filter (perl5.00503)
filter      30497  0,0  2,3 24092 23504  ??  S    16:43     0:00,01 spamd child
(perl5.00503)
filter      30498  0,0  2,3 24092 23504  ??  S    16:43     0:00,01 spamd child
(perl5.00503)
root        30499  0,8  2,4 25260 24696  ??  S    16:43     0:00,68 spamd child
(perl5.00503)
filter      30500  0,0  2,3 24092 23504  ??  S    16:43     0:00,01 spamd child
(perl5.00503)
filter      30501  0,0  2,3 24092 23504  ??  S    16:43     0:00,00 spamd child
(perl5.00503)

запущен от пользователя filter. хотя один процесс все таки от root, мне это тоже не понятна
во-во  .. один перловый скрипт под рутом крутится ...


на мой взгляд у вас А) байес вообще не работает, Б) не включены всякие он-лайн проверки вроде DNSBL,  Pyzor, DCC

т.к. характер писем у каждого юзера разный,  статистика байеса спам/не-спам тоже разная, посему идивидуальные базы дают лучший результат. Если нет принципиальных ограничений, то можно  per-user db
применить.

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 06 фев 2006, 19:47

#sa-learn -u filter --dump magic  
[root@soft-ua /usr/ports/mail/milter-spamc]# sa-learn -u filter --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0          0          0  non-token data: nspam
0.000          0         17          0  non-token data: nham
0.000          0       1505          0  non-token data: ntokens
0.000          0 1139226310          0  non-token data: oldest atime
0.000          0 1139243636          0  non-token data: newest atime
0.000          0          0          0  non-token data: last journal sync atime
0.000          0          0          0  non-token data: last expiry atime
0.000          0          0          0  non-token data: last expire atime delta
0.000          0          0          0  non-token data: last expire reduction count

>Б) не включены всякие он-лайн проверки вроде DNSBL,  Pyzor, DCC
по моему проверки включены средствами самого сендмыла, но надо проверить

что то подобное нашел
/var/log/mail.log
Feb  6 18:30:37 soft-ua sendmail[37083]: k16GUZnt037083: 68-115-218-043.static.spbg.sc.charter.com [68.115.218.43] did not issue MAIL/EXPN/VRFY/ETRN during connection to MTA
Feb  6 18:30:51 soft-ua sendmail[37084]: ruleset=check_relay, arg1=85-64-106-110.barak-online.net, arg2=85.64.106.110, relay=85-64-106-110.barak-online.net [85.64.106.110], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 85.64.106.110
Feb  6 18:30:52 soft-ua sendmail[37087]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb  6 18:31:12 soft-ua sendmail[37088]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb  6 18:31:50 soft-ua sendmail[37091]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 фев 2006, 20:27

sashka13 писал(а):#sa-learn -u filter --dump magic  
[root@soft-ua /usr/ports/mail/milter-spamc]# sa-learn -u filter --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0          0          0  non-token data: nspam
0.000          0         17          0  non-token data: nham
ну вот. спама - ноль. хама - семнадцать. обучение байеса на нуле совершенно
sashka13 писал(а):0.000          0       1505          0  non-token data: ntokens
0.000          0 1139226310          0  non-token data: oldest atime
0.000          0 1139243636          0  non-token data: newest atime
0.000          0          0          0  non-token data: last journal sync atime
0.000          0          0          0  non-token data: last expiry atime
0.000          0          0          0  non-token data: last expire atime delta
0.000          0          0          0  non-token data: last expire reduction count

>Б) не включены всякие он-лайн проверки вроде DNSBL,  Pyzor, DCC
по моему проверки включены средствами самого сендмыла, но надо проверить

что то подобное нашел
/var/log/mail.log
Feb  6 18:30:37 soft-ua sendmail[37083]: k16GUZnt037083: 68-115-218-043.static.spbg.sc.charter.com [68.115.218.43] did not issue MAIL/EXPN/VRFY/ETRN during connection to MTA
Feb  6 18:30:51 soft-ua sendmail[37084]: ruleset=check_relay, arg1=85-64-106-110.barak-online.net, arg2=85.64.106.110, relay=85-64-106-110.barak-online.net [85.64.106.110], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 85.64.106.110
Feb  6 18:30:52 soft-ua sendmail[37087]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb  6 18:31:12 soft-ua sendmail[37088]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
Feb  6 18:31:50 soft-ua sendmail[37091]: ruleset=check_relay, arg1=ip67-95-193-26.z193-95-67.customer.algx.net, arg2=67.95.193.26, relay=ip67-95-193-26.z193-95-67.customer.algx.net [67.95.193.26], reject=553 5.3.0 Spam blocked - see http://spamcop.net/bl.shtml? 67.95.193.26
и что здесь относится к milter-spamc или spamd? на мой взгляд - вообще ничего
--
/corvax

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 06 фев 2006, 20:52

сначало о простом:  раз для борьбы со спамом установлем спамассассин, то все проверки по спискам надо туда перевести, так оно будет правильнее
т.е. из конфига сендмыла все такое убрать, а в конфиге спамассасина включить все проверки которые работают со списками/дэйтабэйсами по сети, как то DCC, DNSBL, Pyzor (посмотрите сами в конфиг.файле )

далее: есть предположение-подозрение что у вас путаница с юзерами и базами байеса, т.е при обучении образуется одна база, а при проверке используеста другая

проведите сл. тесты:

1. #sa-learm -u root --damp magic
2. #sa-learn -u $user --damp magic  ,где $user это какой-нибудь живой
                получатель почты на вашем сервере, любой на ваш выбор

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 06 фев 2006, 23:55

[root@soft-ua /var/log]# sa-learn -u alex --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0          0          0  non-token data: nspam
0.000          0         29          0  non-token data: nham
0.000          0       2439          0  non-token data: ntokens
0.000          0 1139226310          0  non-token data: oldest atime
0.000          0 1139257994          0  non-token data: newest atime
0.000          0          0          0  non-token data: last journal sync atime
0.000          0          0          0  non-token data: last expiry atime
0.000          0          0          0  non-token data: last expire atime delta
0.000          0          0          0  non-token data: last expire reduction co
unt
[root@soft-ua /var/log]# sa-learn -u nataly --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0          0          0  non-token data: nspam
0.000          0         29          0  non-token data: nham
0.000          0       2439          0  non-token data: ntokens
0.000          0 1139226310          0  non-token data: oldest atime
0.000          0 1139257994          0  non-token data: newest atime
0.000          0          0          0  non-token data: last journal sync atime
0.000          0          0          0  non-token data: last expiry atime
0.000          0          0          0  non-token data: last expire atime delta
0.000          0          0          0  non-token data: last expire reduction co
unt
[root@soft-ua /var/log]#
[root@soft-ua /var/log]# sa-learn -u root --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0          0          0  non-token data: nspam
0.000          0         29          0  non-token data: nham
0.000          0       2439          0  non-token data: ntokens
0.000          0 1139226310          0  non-token data: oldest atime
0.000          0 1139257994          0  non-token data: newest atime
0.000          0          0          0  non-token data: last journal sync atime
0.000          0          0          0  non-token data: last expiry atime
0.000          0          0          0  non-token data: last expire atime delta
0.000          0          0          0  non-token data: last expire reduction co
unt
[root@soft-ua /var/log]#

я так понимаю что для всех одна

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 07 фев 2006, 11:17

мое предположение неверным оказалось, но оно и к лучшему.  
Вам надо базу байеса обучить, команда sa-learn (см. man sa-learn)

еще, судя по вашему логу DNSBL у вас похоже работает, вам надо просто из сендмыла эту проверку убрать.  

попробуйте все это осуществить, если чего-то неполучается, тогда обращайтесь

sashka13
Junior member
Сообщения: 13
Зарегистрирован: 06 фев 2006, 15:46

Сообщение sashka13 » 07 фев 2006, 14:12

из крона запускается скрипт

sa-learn --ham /etc/mail/spamassassin/ham/
sa-learn --spam /etc/mail/spamassassin/spam/
rm -f /etc/mail/spamassassin/ham/*
rm -f /etc/mail/spamassassin/spam/*

в папки ложится через самбу экспортом из бата спам и хам
сам не могу понять почему не обучается

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 07 фев 2006, 14:21

это извините РТФМ    

запустите вручную и посмотрите что все обучается $nice -n 19 sa-learn --progress --[spam/ham] --dir /etc/mail/spamassassin/[spam\ham]

man sa-learn !!!!

plague
member
Сообщения: 29
Зарегистрирован: 01 фев 2006, 03:40

Сообщение plague » 08 фев 2006, 23:47

В работе связки sendmail + spamassassin замечен очень гадкий баг.

Если в rcpt to есть хотябы один адрес который внесён в whitelist_to то письмо доставляется всем.

Ломаю голову над решением этой проблеммы.

Может кто подскажет что нибудь?  :(

Не использовать белый список не могу, начальница парит мозг на счёт спама, а сотрудникам на спам пофик им главное чтобы письма гарантированно доходили.

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»