Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 24 мар 2004, 15:15

xleon писал(а):после установки sendmail 8.12.11 отвалились все алиасы (makemap hash /etc/aliases.db < /etc/aliases не помог), пришлось запустить newaliases.
Но и после этого мыло от root`a, mail и т.п. (т.е. с системных аккаунтов) не приходит, почему не понятно, раньше все было ок.
получается не могу полусить статистику по логам :(
newaliases это линк на sendmail ;) он и так при каждом изменени ребилд этого файла делает, так что ничего страшного.
А вот это выражение я не понял "получается не могу полусить статистику по логам ".

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Вопросы ..... и ответ ..

Сообщение setar » 24 мар 2004, 15:19

Hak писал(а):1. после обучения надо что либо перезапускать ?
нет
2. как перенести обученную базу на другой комп ??
Достаточно ли перенести каталог где лежит bayes_seen и т.п. ??
Копирование этих файлов является достаточным.

3. spamass-milter-0.2.0 на самом деле вылетает на загруженной машине (более 100 почтовых ящиков) выход использовать milter-spamc (взять можно на http://www.snert.com/Software/milter-spamc/ )

В этом случае sendmail.mc будет выглядеть ...
INPUT_MAIL_FILTER(`milter-spamc',`S=unix:/var/spool/milter-spamc/socket, T=S:30s;R:2m')dnl

INPUT_MAIL_FILTER(`drweb-filter', `S=inet:3001@localhost, F=T, T=C:1m;S:5m;R:5m;E:1h')dnl

define(`confMILTER_MACROS_CONNECT', confMILTER_MACROS_CONNECT`,{client_addr}, {client_name}, {client_port}, {client_resolve}')dnl
Проблемма есть, буду пробовать, спасибо.

xleon
member
Сообщения: 21
Зарегистрирован: 15 мар 2004, 11:25

Сообщение xleon » 24 мар 2004, 17:12

Ну вот и у меня началась таже проблемка с милтером, что у jus и diomkin

......
23:55:24 mail sendmail[11850]: h05MpOTN011850: Milter(spamassassin): timeout before data read
23:55:24 mail sendmail[11850]: h05MpOTN011850: Milter(spamassassin): to error state
23:55:24 mail sendmail[11850]: h05MpOTN011850: Milter (spamassassin): init failed to open
23:55:24 mail sendmail[11850]: h05MpOTN011850: Milter (spamassassin): to error state
......
03:37:22 mail sendmail[11850]: h05MpOTN011850: Milter (spamassassin): error connecting to filter: Connection timed out with /var/run/spamass-milter
......

пока просто перезагружаю милтер.

Код: Выделить всё

А вот это выражение я не понял "получается не могу полусить статистику по логам ".
Имелось ввиду, что после установки новой версии sendmail`a перестало приходить мыло LogWatch. Все скапливается в очереди в /var/spool/clientqueue, а до пользователя не доходит не доходит. Почему? Вроде submit.cf отконфигурил :(


еще хотелось узнать как spam-assassin`у разрешить принимать письма с пустым subject`om или лучше не стоит этого делать?
смотрю в логах он пишет:
.....
Could not extract score from <>
Milter: data, reject=451, 4.7.1. Please try again later
....
хотя тоже странно, сегодня 2 письма (правда "кривые") все-таки пробрались, а те что нужны так и реджектятся (судя по логам)...
Последний раз редактировалось xleon 25 мар 2004, 19:13, всего редактировалось 2 раза.

Аватара пользователя
TOPтыгин
Advanced member
Сообщения: 102
Зарегистрирован: 21 янв 2004, 10:29
Откуда: Барнаул
Контактная информация:

Сообщение TOPтыгин » 29 мар 2004, 11:40

спасибо :) Я скачал в виде RPM и поставил :) У меня другая проблема теперь. Какие права должны быть на каталог /etc/mail/spamassassin. Кто владелец и т.д.

xleon
member
Сообщения: 21
Зарегистрирован: 15 мар 2004, 11:25

Сообщение xleon » 29 мар 2004, 12:55

Сорри, я вопрос вынес в новую тему.

Аватара пользователя
TOPтыгин
Advanced member
Сообщения: 102
Зарегистрирован: 21 янв 2004, 10:29
Откуда: Барнаул
Контактная информация:

Сообщение TOPтыгин » 31 мар 2004, 11:17

Подскажите вот еще что. Я думал что поле обучения SPAM простто не будет приходить это и дасть понижение трафика. Но у меня регулярно приходит по 50-100 с пометкой **SPAM. Системе я скормил порядка 700 писем спама и около того же нормальных.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 31 мар 2004, 12:14

TOPтыгин писал(а):Подскажите вот еще что. Я думал что поле обучения SPAM простто не будет приходить это и дасть понижение трафика. Но у меня регулярно приходит по 50-100 с пометкой **SPAM. Системе я скормил порядка 700 писем спама и около того же нормальных.
понижайте уровень режекта ;)

Аватара пользователя
TOPтыгин
Advanced member
Сообщения: 102
Зарегистрирован: 21 янв 2004, 10:29
Откуда: Барнаул
Контактная информация:

Сообщение TOPтыгин » 31 мар 2004, 12:29

Тогда совсем глупый вопрос ... как ?) :lol: :wink:

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 31 мар 2004, 12:43

TOPтыгин писал(а):Тогда совсем глупый вопрос ... как ?) :lol: :wink:
открываем файл /etc/init.d/spam_filter
находим
daemon /usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter -b setar@trinity.spb.ru -r 10
(понятно что параметры запуска у всех слегка отличаются)
и уменьшаем значение -r до нужного параметра, который в свою очередь выбирается после анализа значений коэфициента спама приходящего на почту для разбора. Все письма набравшее коэф. больше этого значения будут отвергнуты.

P.S. Без ручной работы админа всё равно не обойтись, в идеале она уменьшается до анализа 5-10 писем для почтовика на 100 узеров.

Аватара пользователя
TOPтыгин
Advanced member
Сообщения: 102
Зарегистрирован: 21 янв 2004, 10:29
Откуда: Барнаул
Контактная информация:

Сообщение TOPтыгин » 31 мар 2004, 13:19

:lol: сделал у меня ключик -r не было в принципе :)))) :roll:

Pois0n
Junior member
Сообщения: 3
Зарегистрирован: 24 мар 2004, 12:09

Сообщение Pois0n » 05 апр 2004, 18:02

Можно ли скармливать Spamassasin письма которые определились как *****SPAM*****.
Дело в том что я в конфиге указал

Код: Выделить всё

clear_report_template
report Spam detection software, running on the system "_HOSTNAME_", has
report identified this incoming email as possible spam.  The original message
report has been attached to this so you can view it (if it isn't spam) or block
report similar future email.  If you have any questions, see
report _CONTACTADDRESS_ for details.
report
report Content preview:  _PREVIEW_
report
report Content analysis details:   (_HITS_ points, _REQD_ required)
report
report " pts rule name              description"
report  ---- ---------------------- --------------------------------------------------
report _SUMMARY_
И теперь письмо со спамом вкладывается в сообщние с репортом. Его можно из TheBat просто сохранять и скармливать spamassasin?
Письмо имеет следующий вид:

Код: Выделить всё

Return-Path: <DMC-Finclub@geocities.com>
X-Original-To: aaa@aaa.aaa
Delivered-To: aaa@aaa.aaa
Received: by aaa.aaa (Milliard Gargantubrain Mail Daemon, from userid 70)
        id 33DCF101166; Sat,  3 Apr 2004 00:25:55 +0300 (EEST)
Received: from localhost by aaa.aaa
        with SpamAssassin (2.63 2004-01-11);
        Sat, 03 Apr 2004 00:25:54 +0300
From: =?windows-1251?B?RE1DIEZpbmNsdWI=?= <DMC-Finclub@geocities.com>
To: undisclosed-recipients: ;
Subject: *****SPAM*****
=?windows-1251?B?wOzl8Ojq4O3x6uD/LCDt5ezl9urg/ywg/+/u7fHq4P8gIPHo8fLl7Psg7vDj4O3o5+D26Ogg8vDz5OA=?=
Date: Sat, 03 Apr 2004 00:15:02 +0300
Message-Id: <000101c4195a$c81956b2$afcd75ac@hzolqvljwb>
X-Spam-Level: ******
X-Spam-Checker-Version: SpamAssassin 2.63 (2004-01-11) on aaa.aaa
X-Spam-Flag: YES
X-Spam-Status: Yes, hits=6.8 required=5.0 tests=BAYES_99,FORGED_OUTLOOK_TAGS,
        HTML_FONTCOLOR_BLUE,HTML_FONTCOLOR_RED,HTML_MESSAGE,HTML_TITLE_EMPTY 
        autolearn=no version=2.63
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="----------=_406DDA62.1A6C783E"
Content-Length: 32768
Lines: 552
Status:  O


Spam detection software, running on the system "aaa.aaa", has
identified this incoming email as possible spam.  The original message
has been attached to this so you can view it (if it isn't spam) or block
similar future email.  If you have any questions, see
admin@aaa.aaa for details.

Content preview:  Уважаемые господа руководители! Какие возможности для
  реализации мировых стандартов в управлении персоналом дали новые ГКУ и
  ХКУ? Почему создание индивидуальной корпоративной культуры становится
  возможным? На эти и другие вопросы вы сможете получить ответ, став
  участником авторского тренинга. [...] 

Content analysis details:   (6.8 points, 5.0 required)

 pts rule name              description
---- ---------------------- --------------------------------------------------
 0.1 HTML_FONTCOLOR_RED     BODY: HTML font color is red
 0.1 HTML_FONTCOLOR_BLUE    BODY: HTML font color is blue
 0.1 HTML_TITLE_EMPTY       BODY: HTML title contains no text
 5.4 BAYES_99               BODY: Bayesian spam probability is 99 to 100%
                            [score: 1.0000]
 0.1 HTML_MESSAGE           BODY: HTML included in message
 1.0 FORGED_OUTLOOK_TAGS    Outlook can't send HTML in this format

The original message was not completely plain text, and may be unsafe to
open with some email clients; in particular, it may contain a virus,
or confirm that your address can receive spam.  If you wish to view
it, it may be safer to save it to a file and open it with an editor.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 06 апр 2004, 12:36

Pois0n писал(а):Можно ли скармливать Spamassasin письма которые определились как *****SPAM*****.
...
Когда я изучал документацию по Spamassasin я подметил для себя что письма передаваемые на обучение не требуется "дорабатывать"
в часности не требуется восстанавливать оригинальный Subject, причём это поле может содержать оценку _HIT_ (набранные баллы), которая тоже будет нормально обрабатываться.
Так же нет необходимости вырезать из заголовка письма теги X-Spam...

Однако ничего не припомню про оригиналы писем в приложениях.

Варианты у вас такие: прочитать документацию на предмет обработки оригинала из приложения или не изменять письмо темплейтом а лишь править subject.

P.S. Сам сейчас искать по документации не могу, нехватка времени :roll:

Аватара пользователя
funkblaster
Junior member
Сообщения: 19
Зарегистрирован: 09 апр 2004, 00:18
Откуда: Москва
Контактная информация:

Сообщение funkblaster » 09 апр 2004, 00:34

Всё нижеописанное происходит под FreeBSD 4.9-STABLE.
Всё поставилось нормально и заработало :) Байеса тоже обучил.
Теперь думаю надо поставить -r 10 на режект. Поставил. Начали появляться в логах записи could not extract score from <>. До этого неделю работало нормально, спам отсылался на отдельный мыл без режекта. Стал разбираться, и выяснилось что spamass-milter не проверяет на спам сообщения что-то в районе больше 200кб, причём если запущен с опцией -r 10, то будет писать could not extract from score <>, если же без этой опции, то в лог вообще ничего не пишет, а сразу отдаёт сообщение на проверку dr web. Как я понял с отстутствующим subject это никак не связано вообще.

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Сообщение RedScorp » 13 апр 2004, 12:55

Давно смотрю на данную тему, но то времени нет, то еще что-нибудь. Я просто еще не прикручивал к работающей связке "DrWeb+SendMail" SpamAssassing. Вопрос такой:
1. spamd отвергает почту или все-таки получает ее на сервер, а лишь потом уничтожает?
2. Возможно ли сделать ход конем и отвергать почту в SendMail'e, у которых невозможно определить хост адресата по ID-письма?

Или я опять полез в дебри? :?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 13 апр 2004, 13:51

RedScorp писал(а): 1. spamd отвергает почту или все-таки получает ее на сервер, а лишь потом уничтожает?
2. Возможно ли сделать ход конем и отвергать почту в SendMail'e, у которых невозможно определить хост адресата по ID-письма?

Или я опять полез в дебри? :?
1. большая часть конечно же принимается для анализа, отвергается лишь сильно проштрафившиеся хосты попавшие в black list.
По моим примерным оценкам экономия трафика не более 20%.
2. не понял вопроса. всегда есть ip sender mail server и ip MX server реципиента.
Если вы имеете ввиду подпись несуществующими доменами, то такая проверка ведётся.

P.S. ранее мною была опробована программа проверяющая доступность ip отправителя, но результат получился обратный - мой ip стали заносить в black листы как сканирующий mail ресурсы.

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»