Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Плохое распознавание спама

Сообщение setar » 20 июл 2004, 11:15

Trent писал(а):Каким образом можно повысить эффективность оценки? Подскажите настройки?
Я думаю вся проблемма в том что вы начали править "вес" оценки баеса неравномерно.
То есть если вероятность спама велика - ставим сильно много баллов,
а если например 50% то ничего не ставим.

если уж повышаем значимость оценки баеса у себя то делаем это равномерно. вот как сделано это у меня:

http://www.3nity.ru/viewtopic.htm?p=11279#11279

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 30 июл 2004, 10:10

setar
Вот что у меня получилось когда я последовал вашему совету, и поставил фильтр spamassassin перед DrWeb. Так вот поскольку система пока проходит обучение я поставил чтобы письма опознанные как спам, приходили мне и адресату, ну и spamassasin отсылал эти письма минуя проверку со стороны DrWeb (trial) в результате 3 компа были заражены I-Worm.Mydoom.m, поэтому в срочном порядке пришлось менять местами фильтры. Так что всё таки DrWeb лучше ставить для обработки почты первым, во всяком случае на время обучения программы.
Так же меня волнует то, что письма приходящие например на адрес jkhkh@my_domen.ru которго нет и в помине, spamassassin проверяет его шлёт письмо мне и тому парню которого нет и только потом идёт Mail Delivery, не подскажете как дать ему понять что это несуществующий пользователь, или на время обучения системы с этим прийдётся смириться?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 30 июл 2004, 10:44

Nikola писал(а): setar
Вот что у меня получилось когда я последовал вашему совету, и поставил фильтр spamassassin перед DrWeb. Так вот поскольку система пока проходит обучение я поставил чтобы письма опознанные как спам, приходили мне и адресату, ну и spamassasin отсылал эти письма минуя проверку со стороны DrWeb (trial) в результате 3 компа были заражены I-Worm.Mydoom.m, поэтому в срочном порядке пришлось менять местами фильтры. Так что всё таки DrWeb лучше ставить для обработки почты первым, во всяком случае на время обучения программы.
то что вы написали бред полный, милтеры отрабатывают в порядке подключения, и один милтер не может отменить действия другого.
Вот заголовок письма обработанного как спам

Код: Выделить всё

Return-Path: <linh@seznam.cz>
Received: from zaqd387723e.zaq.ne.jp (zaqd387723e.zaq.ne.jp [211.135.114.62])
        by gw.trinity.spb.ru (8.12.10/8.12.10) with SMTP id i6TD1itU022007
        for <info@trinity.spb.su>; Thu, 29 Jul 2004 17:01:48 +0400
Message-Id: <200407291301.i6TD1itU022007@gw.trinity.spb.ru>
Date: Thu, 29 Jul 2004 12:47:05 +0000
From: miguel <linh@seznam.cz>
To: info@trinity.spb.su
Subject: ***SPAM***11.49*** =?windows-1251?B?7u/l8ODy6OLt4P8g7+7r6OPw4PTo/w==?=
MIME-Version: 1.0
Content-Type: text/html; charset=windows-1251
Content-Transfer-Encoding: 8bit
X-Spam-Flag: YES
X-Spam-Status: Yes, hits=11.5 required=5.0 tests=BAYES_99,HTML_FONT_BIG,
        HTML_MESSAGE,MIME_HTML_ONLY autolearn=no version=2.60
X-Spam-Orig-To: <info@trinity.spb.su>
X-Spam-Report: 
        *   11 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
        *      [score: 1.0000]
        *  0.3 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
        *  0.1 HTML_MESSAGE BODY: HTML included in message
        *  0.3 HTML_FONT_BIG BODY: HTML has a big font
X-Spam-Level: ***********
X-Spam-Checker-Version: SpamAssassin 2.60 (1.212-2003-09-23-exp) on 
        gw.trinity.spb.ru
X-Virus-Scanned: clamd / ClamAV version 0.72, clamav-milter version 0.72
        on localhost
X-Virus-Status: Clean
Здесь прекрасно видно что письмо было признано спамом и тут же проверено антивирусом.
У меня стоит антивирь ClamAV, чего и вам желаю. т.к. триальный веб не проверяет архивов, именно поэтому и были заражены ваши пользователи.
Второй вариант - заплатить за ключик веба.
Так же меня волнует то, что письма приходящие например на адрес jkhkh@my_domen.ru которго нет и в помине, spamassassin проверяет его шлёт письмо мне и тому парню которого нет и только потом идёт Mail Delivery, не подскажете как дать ему понять что это несуществующий пользователь, или на время обучения системы с этим прийдётся смириться?
Это никакого отношения ни к антиспамовой системе ни к антивирусу не имеет значения - это элементарные настройки почтовика. Правильно настроенный почтовик письмо направленное на несуществующего в домене юзера отрезает на стадии приёма заголовка RCPT To: , и до милтеров оно просто не доходит ;)
Достигается это (если мне не изменяет память) опцией FEATURE(`delay_checks')dnl .

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 30 июл 2004, 12:47

setar
То что я написал не является бредом по следующим причинам:
1. Триальный DrWeb проверяет аривы, но не лечит. Что подтверждается и самими отчётами DrWeb-а к примеру
--- Dr.Web report ---
Following virus(es) has been found:
Known virus(es):
Win32.HLLM.Netsky.based

Dr.Web detailed report:
127.0.0.1 [11663] drweb.tmp.8x1n4V - MAIL
127.0.0.1 [11663] drweb.tmp.8x1n4V/[text:plain] - Ok
127.0.0.1 [11663] drweb.tmp.8x1n4V/[text:plain] - Ok
127.0.0.1 [11663] drweb.tmp.8x1n4V/tear.zip - ZIP
127.0.0.1 [11663] >drweb.tmp.8x1n4V/tear.zip/tear.htm.pif UPX
127.0.0.1 [11663] >>drweb.tmp.8x1n4V/tear.zip/tear.htm.pif Win32.HLLM.Netsky.based
127.0.0.1 [11663] drweb.tmp.8x1n4V/[text:plain] - Ok
127.0.0.1 [11663] drweb.tmp.8x1n4V/[text:plain] - Ok

Dr.Web scanning statistic:
Known viruses : 1

--- Dr.Web report ---
Как вы сами видите он прекрасно его проверил, но поскольку он триальный, то не вылечил а просто кинул в карантин. А вот вложения к вложениям, он уже не проверяет.

Это никакого отношения ни к антиспамовой системе ни к антивирусу не имеет значения - это элементарные настройки почтовика. Правильно настроенный почтовик письмо направленное на несуществующего в домене юзера отрезает на стадии приёма заголовка RCPT To: , и до милтеров оно просто не доходит icon_wink.gif
Достигается это (если мне не изменяет память) опцией FEATURE(`delay_checks')dnl .
Нет, не из-за этой опции, ошибка в aliases была. Разобрался.

Тогда подскажи, ClamAV работает так же надёжно как DrWeb? Как у него пополнения оперативно или нет? Просто у меня рассылки через Majordom с вложениями на 198 Kb для наших клиентов. Адресатов свыше ста, по одной системе порядка 10-15 сообщений, свыше 20 систем (СПС Консультант Плюс). Выдюжит такую нагрузку?

Аватара пользователя
funkblaster
Junior member
Сообщения: 19
Зарегистрирован: 09 апр 2004, 00:18
Откуда: Москва
Контактная информация:

Сообщение funkblaster » 30 июл 2004, 13:36

Nikola писал(а):setar
1. Триальный DrWeb проверяет аривы, но не лечит.
Бред сивой кобылы.
Заходим на drweb.ru и читаем до достижения нирваны:
При использовании ознакомительного ключа, входящего в состав дистрибутивов, на работу программ накладываются следующие ограничения: сканер не производит лечения инфицированных объектов, _не_производит_проверку_файлов, находящихся_ внутри_ архивов_ и внутри почтовых баз.

Аватара пользователя
funkblaster
Junior member
Сообщения: 19
Зарегистрирован: 09 апр 2004, 00:18
Откуда: Москва
Контактная информация:

Сообщение funkblaster » 30 июл 2004, 13:43

Да и ещё насчёт конфига local.cf. Если сделать так

Код: Выделить всё

spamassassin -D -t < /usr/local/share/doc/p5-Mail-SpamAssassin/sample-spam.txt > spam
То будет ругаться так

Код: Выделить всё

debug: Failed to parse line in SpamAssassin configuration, skipping: use_auto_whitelist
Это только для spamd опция наверно или как?
Аналогично ругается на lang ru.

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 30 июл 2004, 14:31

funkblaster Ты как раз эта сивая кобыла и есть. Ты отчёт DrWeb-а читал? Нет? :evil:
Тогда молчи раз читать не умеешь.
При использовании ознакомительного ключа, входящего в состав дистрибутивов, на работу программ накладываются следующие ограничения: сканер не производит лечения инфицированных объектов, не производит проверку файлов, находящихся внутри архивов и внутри почтовых баз. На работу демона накладываются те же ограничения, за исключением работы с почтовыми базами.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 30 июл 2004, 16:21

:beer:
Народ есть предложение не ругаться тем более в день сисадмина.
Бог с ним с этим Вебом , ставте ClamAV
Nikola писал(а): Тогда подскажи, ClamAV работает так же надёжно как DrWeb? Как у него пополнения оперативно или нет? Просто у меня рассылки через Majordom с вложениями на 198 Kb для наших клиентов. Адресатов свыше ста, по одной системе порядка 10-15 сообщений, свыше 20 систем (СПС Консультант Плюс). Выдюжит такую нагрузку?
ClamAV работает надёжнее, ведёт контроль за собственной работоспособностью, целосностью баз.
Про производительность не скажу, не мерил, думаю всё в порядке.
А вот скорость обновления баз впечатляет, примерно на 6 часов оперативнее DrWeb
Есть одна особенность , т.к. этот антивирь свежий, разработчики не обременили его наследием старых вирусов, по этой причине я лично использую оба антивируса.
Причём это оправдано, т.к. самомодифицирующихся вирусов сейчас много, а DrWeb обновляется не очень оперативно, вот результат проверки ClamAV сделанный по следам веба :

Код: Выделить всё

Viruses detected:
   stream: Worm.Bagle.AC: 2 Time(s)
   stream: Worm.Bagle.Gen-rarpwd: 3 Time(s)
   stream: Worm.Bagle.Gen-zippwd: 4 Time(s)
   stream: Worm.Bagle.Z: 1 Time(s)
   stream: Worm.SomeFool.Gen-1: 2 Time(s)
   stream: Worm.SomeFool.P: 12 Time(s)

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 30 июл 2004, 16:29

Не у меня не потянет 2 антивируса, тогда сервер точно загнётся всё отсылать.
А так да. Всех с праздником!
setar ClamAV уже час как установлен и работает, уже оттестировано на eicar
Только пока не ясно как сделать чтобы он уведомления как DrWeb слал на мой адрес, да и на адрес получателя было бы неплохо. Ладно, просвещаемся дальше.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 30 июл 2004, 16:39

Nikola писал(а):Только пока не ясно как сделать чтобы он уведомления как DrWeb слал на мой адрес, да и на адрес получателя было бы неплохо. Ладно, просвещаемся дальше.
я не настраивал :) честно говоря мне в лом ящик вычищать не читая ,
там каждый день по 300-400 извещений, все при всём желании не прочесть.
А комплексные отчёты мне сервер и так присылает ежедневно, выдержку из него я и приводил выше

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 30 июл 2004, 16:45

Так отчёты он сам отсылает, или тоже настраивается где-то? Кстати спасибо, за то, что написали как спамассасином пользоваться. Как нашёл вашу статью, так сразу и сделал.
Последний раз редактировалось Nikola 30 июл 2004, 16:45, всего редактировалось 1 раз.

alex_vv
Junior member
Сообщения: 1
Зарегистрирован: 30 июл 2004, 16:32

Сообщение alex_vv » 30 июл 2004, 16:45

Kuks OFF писал(а):Спасибо за ответ.
Конструкция
К сожалению я уже ее пробовал, она не срабатывает, не знаю почему.
А вот конструкция
From:user3@mydomain.ru REJECT
Срабатывает замечательно.

То есть если у меня в файле access написано:
From:user1@mydomain.ru REJECT
To:user2@mydomain.ru OK

На скольо я понимаю вместо ОК надо писать RELAY

Аватара пользователя
Pilat
Advanced member
Сообщения: 117
Зарегистрирован: 23 июн 2004, 08:36
Откуда: Караганда

Сообщение Pilat » 02 авг 2004, 17:13

выдержка из access.sample

Код: Выделить всё

another.source.of.spam      REJECT
okay.cyberspammer.com    OK
128.32                               RELAY
я так понимаю, что разницы в ОК или RELAY нету


Требуется чтобы почта с определенных адресов не сканилась spamd, нужно чтобы почта сразу шла дальше. У кого какие идеи :?: :D

Аватара пользователя
Nikola
member
Сообщения: 20
Зарегистрирован: 18 мар 2004, 19:34
Откуда: Arhangelsk, Russia

Сообщение Nikola » 02 авг 2004, 20:06

Озадачен тем же. А то у меня списки рассылок через Majordom для клиентов организованы. Нужно чтобы он вообще не проверял эти письма (локальные), т.е. не check-ал их. Пробовал через white_list не помогает, всё равно он их проверяет.

Аватара пользователя
Pilat
Advanced member
Сообщения: 117
Зарегистрирован: 23 июн 2004, 08:36
Откуда: Караганда

Сообщение Pilat » 03 авг 2004, 09:04

Nikola писал(а):Озадачен тем же. А то у меня списки рассылок через Majordom для клиентов организованы. Нужно чтобы он вообще не проверял эти письма (локальные), т.е. не check-ал их. Пробовал через white_list не помогает, всё равно он их проверяет.
Дело в том, что white_list и не должен помогать, просто он добавляет к hitам письма большое число, после чего письмо и становится "не спамом".
Из-за появляются записи в логах, тратится время на проверку не нужных писем. Очень бы хотелось этого избежать.

Как сделать, чтобы сэндмайл не отдавал письма мильтерам с определенных адресов?

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»