Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

wrest
Junior member
Сообщения: 1
Зарегистрирован: 06 июл 2004, 09:33

антиспам

Сообщение wrest » 06 июл 2004, 09:48

антиспамовый фильтр это конечно здорово, но возникает вопрос (конкретно меня интересует связка exim+drweb+spamassassin) :?:
сколько неспамовских писем воспринимается за спам(в % из общего числа) даже после скажем двухмесячного обучения :roll:
у меня юзьверы не взвоют :wink:???
Поделись, плиз, из своего опыта :shock:

Аватара пользователя
gorlum
Advanced member
Сообщения: 137
Зарегистрирован: 18 июн 2004, 11:43
Откуда: Ангарск
Контактная информация:

Сообщение gorlum » 07 июл 2004, 06:03

Доброго времени суток все.
Запустил spamd так чтобы его лог писался в другой фаил,
но этот другой фаил остается пустой в чем может быть проблема?
подскажите пожалуйста.
и еще что означают следующие строки

Код: Выделить всё

Jul  7 09:06:55 router sendmail[110]: i6706tGa000110: Milter (spamassassin): local socket name /var/run/spamass-milter.sock unsafe
Jul  7 09:06:55 router sendmail[110]: i6706tGa000110: Milter (spamassassin): to error state
Jul  7 09:06:55 router sendmail[110]: i6706tGa000110: Milter: initialization failed, temp failing commands

Alee
Junior member
Сообщения: 4
Зарегистрирован: 25 июн 2004, 15:58

Доброго всем здоровья! Такой вопрос...

Сообщение Alee » 07 июл 2004, 18:44

Как избежать подмены адреса отправителя :?: Ведь помещая в whitelist_from *@мой_домен мы автоматом скидываем баллы любому, кто напишет from=<XXX@мой_домен>. Хотя такого пользователя реально у нас нет, письму всё-таки присвоят -100 баллов... :x
Причем whitelist_from_rcvd, призванная проверить ещё и домен отправителя, похоже не оказывает никакого влияния на spamassassin(((.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: антиспам

Сообщение setar » 08 июл 2004, 13:28

wrest писал(а):антиспамовый фильтр это конечно здорово, но возникает вопрос (конкретно меня интересует связка exim+drweb+spamassassin) :?:
сколько неспамовских писем воспринимается за спам(в % из общего числа) даже после скажем двухмесячного обучения :roll:
у меня юзьверы не взвоют :wink:???
Поделись, плиз, из своего опыта :shock:
exim+drweb+spamassassin судя по всему работает,
только моя рекомендация clamav вместо (или вместе) DrWeb .

А статистика после окончания полного обучения (примерно месяц) у меня получается примерно (субъективная оценка) такая:
уменьшение спама = 97%
уменьшение вирусов = drweb_trial 70% ; clamav 99%
писем на ручной разбор почтовому мастеру (10 активных доменов 50 юзеров ) = 10 в день
уменьшение трафика = не замеряемо, греет мысль что это так ;)
нужных писем опознаных как спам = 1 в неделю (как правило новые рассылки)
жалоб на недошедшие письма зарезаных assassin = нет ( больше проблемм с нахождением почтовиков в blacklist`ах , и общих вопросов по взаимодействию почтовых систем)

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Доброго всем здоровья! Такой вопрос...

Сообщение setar » 08 июл 2004, 13:39

Alee писал(а):Как избежать подмены адреса отправителя :?:
используем не whitelist_from а trusted_networks

Код: Выделить всё

trusted_networks 192.168/16 127/8           # all in 192.168.*.* and 127.*.*.*

Alee
Junior member
Сообщения: 4
Зарегистрирован: 25 июн 2004, 15:58

Re: Доброго всем здоровья! Такой вопрос...

Сообщение Alee » 08 июл 2004, 17:28

setar писал(а):
Alee писал(а):Как избежать подмены адреса отправителя :?:
используем не whitelist_from а trusted_networks

Код: Выделить всё

trusted_networks 192.168/16 127/8           # all in 192.168.*.* and 127.*.*.*
Да, прошу прощения, забыл сказать сразу.. Также в конфиге есть и trusted_networks . Т.е. сначала были только trusted_networks (но баллы не уменьшались). Потом добавил whitelist_from, потом whitelist_from_rcvd. Вот такая загадка... :?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Доброго всем здоровья! Такой вопрос...

Сообщение setar » 08 июл 2004, 17:39

Alee писал(а):Да, прошу прощения, забыл сказать сразу.. Также в конфиге есть и trusted_networks . Т.е. сначала были только trusted_networks (но баллы не уменьшались). Потом добавил whitelist_from, потом whitelist_from_rcvd. Вот такая загадка... :?
доверенные сетки просто не проверяются, для них баллы не считаются вовсе

Alee
Junior member
Сообщения: 4
Зарегистрирован: 25 июн 2004, 15:58

Re: Доброго всем здоровья! Такой вопрос...

Сообщение Alee » 08 июл 2004, 18:35

setar писал(а):
Alee писал(а):Да, прошу прощения, забыл сказать сразу.. Также в конфиге есть и trusted_networks . Т.е. сначала были только trusted_networks (но баллы не уменьшались). Потом добавил whitelist_from, потом whitelist_from_rcvd. Вот такая загадка... :?
доверенные сетки просто не проверяются, для них баллы не считаются вовсе
Jul 8 16:58:42 relay sendmail[22468]: i68Dwgdn022468: from=<ln@my_domain>, size=17847, class=0, nrcpts=1, msgid=<02db01c464f4$119e4780$ae3ca8c0@my_domain>, proto=SMTP, daemon=MTA, relay=ln.my_domain [192.168.60.174]
Jul 8 16:58:42 relay spamd[19334]: connection from localhost.my_domain [127.0.0.1] at port 59966
Jul 8 16:58:43 relay spamd[22472]: processing message <02db01c464f4$119e4780$ae3ca8c0@my_domain> for stella:99.
Jul 8 16:58:43 relay spamd[22472]: clean message (-41.4/5.0) for stella:99 in 0.4 seconds, 18423 bytes.
Jul 8 16:58:43 relay sendmail[22468]: i68Dwgdn022468: Milter add: header: X-Spam-Status: No, hits=-41.4 required=5.0

вот так есть сейчас.

причем просмотрел ещё разок trusted_networks (спасибо) - у меня перед слешем была точка :oops: Видно на автопилоте поставил..
192.168./16 исправил на 192.168/16 - теперь дает ~ -50 баллов..
НО дает. Все whitelist_from* отключены.....может, auto_whitelist ??

required_hits 5
rewrite_subject 1
subject_tag [SPAM]
report_safe 0
use_bayes 1
auto_learn 1
use_auto_whitelist 1
auto_whitelist_path /etc/mail/spamassassin/auto_whitelist
trusted_networks 192.168/16 127.0.0/24
bayes_path /etc/mail/spamassassin/bayes
score FROM_ILLEGAL_CHARS 2.5
score HEAD_ILLEGAL_CHARS 2.5
score SUBJ_ILLEGAL_CHARS 1.5
score HABEAS_SWE 0.0
score BAYES_99 6.1
add_header all Status "_YESNO_, hits=_HITS_ required=_REQD_"

и ещё вот только что нашел.
Remember that SpamAssassin's "trusted_networks" setting only disables DNSBL lookups ? which may not be enough .....
взято здесь http://matthias.leisi.net/archives/48_S ... arned.html
Последний раз редактировалось Alee 09 июл 2004, 11:14, всего редактировалось 1 раз.

Virus!
Junior member
Сообщения: 4
Зарегистрирован: 08 июл 2004, 13:34
Откуда: Барнаул

Re: антиспам

Сообщение Virus! » 09 июл 2004, 08:10

setar писал(а): exim+drweb+spamassassin судя по всему работает,
только моя рекомендация clamav вместо (или вместе) DrWeb .
замечу, надеюсь не оффтоп будет, что работает также и
qmail+qmail-scanner(clamav+spamassassin)+kavkeeper

вот образовываюсь у вас на форуме на тему повышения эффективности SA %о)))

Аватара пользователя
Pilat
Advanced member
Сообщения: 117
Зарегистрирован: 23 июн 2004, 08:36
Откуда: Караганда

Проблемы с логом

Сообщение Pilat » 12 июл 2004, 14:16

Запускаю spamd -a -x -d -u filter -s local5
в newslog.conf добавил /var/log/spamd.log filter:filter 640 3 2000 * Z
в syslog.conf local5.* /var/log/spamd.log
создал файл spamd.log (chown filter:filter spamd.log)
почему нифига не пишится (в майллог тоже перестал писать)

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Проблемы с логом

Сообщение setar » 14 июл 2004, 11:28

Pilat писал(а):Запускаю spamd -a -x -d -u filter -s local5
в newslog.conf добавил /var/log/spamd.log filter:filter 640 3 2000 * Z
в syslog.conf local5.* /var/log/spamd.log
создал файл spamd.log (chown filter:filter spamd.log)
почему нифига не пишится (в майллог тоже перестал писать)
Есть соображение что юзер /var/log/spamd.log должен быть таки root
причём с правами 600, потому как пишет туда не сам демон а сислог, а он запущен от рута. Впрочем на ведение в файле записей это не должно было повлиять.

А работать должно, только службу сислог перегрузить нужно, я думаю именно это вы и не сделали.

gagus
Junior member
Сообщения: 2
Зарегистрирован: 13 июл 2004, 13:47
Откуда: Магнитогорск

Re: Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

Сообщение gagus » 15 июл 2004, 11:37

setar писал(а): Далее пытаемся откомпилировать дистрибутив
#perl Makefile.PL
Скорее всего получаем кучу ошибок о отсутствующих модулях Perl
Вообще требуемые модули перечислены в INSTALL
cpan> install Mail::SpamAssassin
CPAN: Storable loaded ok
Going to read /root/.cpan/Metadata
Database was generated on Thu, 15 Jul 2004 03:07:17 GMT
Mail::SpamAssassin is up to date.

cpan> install ExtUtils::MakeMaker
ExtUtils::MakeMaker is up to date.

из этих строк я так понял что эти модули я установил успешно!
прогоняю в Mail-SpamAssassin-2.63
# perl Makefile.PL
What email address or URL should be used in the suspected-spam report
text for users who want more information on your filter installation?
(In particular, ISPs should change this to a local Postmaster contact)
default text: [the administrator of that system]

Writing Makefile for Mail::SpamAssassin
Makefile written by ExtUtils::MakeMaker 6.21
#
установка при этом прекращаеться...
в чём грабли ? модули коряво встали? не догоняю... :?
Снайпер на арене!

Аватара пользователя
Pilat
Advanced member
Сообщения: 117
Зарегистрирован: 23 июн 2004, 08:36
Откуда: Караганда

Re: Проблемы с логом

Сообщение Pilat » 16 июл 2004, 07:19

setar писал(а): Есть соображение что юзер /var/log/spamd.log должен быть таки root
причём с правами 600, потому как пишет туда не сам демон а сислог, а он запущен от рута. Впрочем на ведение в файле записей это не должно было повлиять.

А работать должно, только службу сислог перегрузить нужно, я думаю именно это вы и не сделали.
Сделал все как ты написал, ребутнул.... но эффекта нету
Мож еще какие мысли есть?

Trent
Junior member
Сообщения: 1
Зарегистрирован: 02 июл 2004, 06:30

Плохое распознавание спама

Сообщение Trent » 20 июл 2004, 08:22

Добрый день!

У меня на почтовом установлена связка: Sendmail + DrWeb 4.31 + Spamassassin (в качестве мильтера использую milter-spamc, от spamass-milter'а отказался, поскольку тот у меня работал с ошибками, периодически вываливаясь в coredump).

Проблема заключается в том, что с недавних пор SA стал плохо распознавать спам, причем отрицательная оценка идет именно за счет Байеса. Письма - явный спам он оценивает следующим образом:

Код: Выделить всё

X-Scanned-By: milter-spamc/0.19.268 (ns.ael.ru [212.19.16.17]); Tue, 20 Jul 2004 14:44:16 +0000 
X-Spam-Status: NO, hits=0.60 required=5.00 
X-Spam-Level: 
X-Spam-Report: Spam detection software, running on the system "ns.ael.ru", has 
 identified this incoming email as possible spam.  The original message 
 has been attached to this so you can view it (if it isn't spam) or block 
 similar future email.  If you have any questions, see 
 admin@ael.ru for details. 
 ____ 
 Content preview:  ------=_NextPart_001_0001_0E222D9C.599D97DB 
   Content-Type: text/plain; charset=Windows-1251 
   Content-Transfer-Encoding: 8bit Здравствуйте, уважаемые коллеги! 
   Приглашаем Вас посетить уникальную программу: [...] 
 ____ 
 Content analysis details:   (0.6 points, 5.0 required) 
 ____ 
  pts rule name              description 
 ---- ---------------------- -------------------------------------------------- 
  0.1 HTML_FONTCOLOR_RED     BODY: HTML font color is red 
  0.3 HTML_FONT_BIG          BODY: HTML has a big font 
  0.1 HTML_FONTCOLOR_BLUE    BODY: HTML font color is blue 
  0.0 BAYES_50               BODY: Bayesian spam probability is 50 to 56% 
                             [score: 0.5516] 
  0.1 HTML_MESSAGE           BODY: HTML included in message 
или так:

Код: Выделить всё

X-Scanned-By: milter-spamc/0.19.268 (ns.ael.ru [212.19.16.17]); Mon, 19 Jul 2004 21:09:36 +0000 
X-Spam-Status: NO, hits=2.80 required=5.00 
X-Spam-Level: xx 
X-Spam-Report: Spam detection software, running on the system "ns.ael.ru", has 
 identified this incoming email as possible spam.  The original message 
 has been attached to this so you can view it (if it isn't spam) or block 
 similar future email.  If you have any questions, see 
 admin@ael.ru for details. 
 ____ 
 Content preview:  ------=_NextPart_001_0001_E568AC47.03830C7F 
   Content-Type: text/plain; charset=Windows-1251 
   Content-Transfer-Encoding: 8bit Здравствуйте, уважаемые коллеги! 
   Приглашаем Вас посетить уникальную программу: [...] 
 ____ 
 Content analysis details:   (2.8 points, 5.0 required) 
 ____ 
  pts rule name              description 
 ---- ---------------------- -------------------------------------------------- 
  2.3 BAYES_70               BODY: Bayesian spam probability is 70 to 80% 
                             [score: 0.7340] 
  0.1 HTML_FONTCOLOR_RED     BODY: HTML font color is red 
  0.3 HTML_FONT_BIG          BODY: HTML has a big font 
  0.1 HTML_FONTCOLOR_BLUE    BODY: HTML font color is blue 
  0.1 HTML_MESSAGE           BODY: HTML included in message 
Пробовал удалять bayes_toks, bayes_seen, bayes_journal - как я понимаю, это байесовы базы и заново их формировать - ничего не помогло :(


вот, как выглядит local.cf:

Код: Выделить всё

# Прочие опции
rewrite_subject                 1
subject_tag                     MESSAGE_MARKED_AS_SPAM
auto_learn                      1
use_bayes                       1
bayes_path                      /etc/mail/spamassassin/bayes
bayes_file_mode                 0666
bayes_learn_to_journal          1
bayes_min_ham_num               1
bayes_min_spam_num              1
report_safe                     0
use_terse_report                0
skip_rbl_checks                 0
use_razor2                      0
use_dcc                         0
use_pyzor                       0
required_hits                   5.0
report_safe                     0
use_terse_report                0
ok_languages                    en ru
ok_locales                      en ru
report_charset                  windows-1251
lang                            ru
always_add_report               1
auto_whitelist_path             /etc/mail/spamassassin/auto-whitelist
auto_whitelist_file_mode        0666
# настройки рейтингов
score FROM_ILLEGAL_CHARS        1.5
score HEAD_ILLEGAL_CHARS        1.5
score SUBJ_ILLEGAL_CHARS        1.5
score FORGED_IMS_TAGS           0.5
score HABEAS_SWE                0.0
score USER_IN_WHITELIST_TO      -100
score BAYES_99                  10.8
Каким образом можно повысить эффективность оценки? Подскажите настройки?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

Сообщение setar » 20 июл 2004, 11:05

gagus писал(а):# perl Makefile.PL
What email address or URL should be used in the suspected-spam report
text for users who want more information on your filter installation?
(In particular, ISPs should change this to a local Postmaster contact)
default text: [the administrator of that system]

Writing Makefile for Mail::SpamAssassin
Makefile written by ExtUtils::MakeMaker 6.21
#
установка при этом прекращаеться...
в чём грабли ? модули коряво встали? не догоняю... :?
да нет, всё нормально. в результате этого действия появляется ./Makefile чего мы собственно и добивались.

далее #make all && make test
если всё без ошибок
#make install

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»