Пред история -
в нашей конторе стоит почтовый сервер который работает примерно на 20 пользователей.
На реальных юзеров сыплется почта с большого количества доменов. Последнее время из почтовых ящиков каждое утро стало выгребаться 200-300 спамовых писем, причем это как direct spam по БД так и тупой спам по ящикам типа info@домен , sales@домен и т.д.
Спам это плохо, потому что отнимает время, трафик да ещё в добавок у утра придаёт отрицательных эмоций...
кстати трафика на спам уходит каждый день несколько сотен МБ, что за месяц влетает в кругленькую сумму.
Так как исторически сложившимся почтовиком у нас работает sendmail, фильтрацию спама я решил реализовавать именно на нём, и отказываться от него только в случае невозможности решения поставленной задачи.
Итак, изучив основательно методы борьбы со спамом описаные в интернете я нашёл несколько решений которые можно разделить на группы:
- Службы фильтрации, как правило платные, когда вы почту офиса заворачиваете на определённый адрес, а на ваш почтовик приходит уже "чистая" почта.
Этот метод я отмёл как слишком простой и неконтролируемый
- Входные фильтры основаные на анализе ip адреса передающего хоста и использования общих баз данных ip спамеров (DNSBL).
Практически малоэффективный способ борьбы с современными методами спама, в данный момент эту функцию sendmail я отключил вовсе. - фильтрация на основе постоянного пополнения access листа адресами спамеров.
Использует встречный анализ подозрительности отправляющего хоста ( win|linux ; есть трояны| нет их ; уровень домена, наличие в имени домена ppp dialup и т.д.).
Пробовал применять. требуется постоянный контроль, тонкая правка ручками регулярных выражений и коэффициентов подозрительности.
Но самое плохое то что первое письмо от спамера этот фильтр пропускает по любому (т.к. работает на анализе лога), что делает его работу малоэффективной. - фильтрация по заголовкам писем с использованием очень продвинутого конфига sendmail. Хорошая статья по этому поводу http://www.anrb.ru/linux/regex.html
Использовал но получил много нареканий от коллег по сбоям в работе фильтра.
Требуется тонкая и вдумчивая подгонка регулярных выражений. - И наконец то решение на котором я остановиля - это применение внешних программ для анализа содержимого письма.
Программы проверки (их может быть несколько) сидят обычными демонами и принимают информацию от sendmail по механизму milter, возвращая в почтовик свою оценку и рекомендацию к дальнейшему действию.
По такому же принципу работает DrWeb Mail filter, его я тоже применяю для защиты от вирусов, почтовых бомб, и почтовых червей.
Программу для защиты от спама я использовал spamassassin http://www.spamassassin.org
Она имеет развутую систему контекстного лингвистического анализа, систему обучения и самообучения. Кроме того она может работать совместно с другими программами анализа.
Настройка Sendmail для работы с поддержкой milter
Здесь всё крайне просто: качаем последний дистрибут с www.sendmail.org распаковываем его, создаём в дистрибуте файл devtools/Site/site.config.m4 с содержимым:
Код: Выделить всё
APPENDDEF(`conf_sendmail_ENVDEF', `-DMILTER')
APPENDDEF(`confENVDEF',`-DMAP_REGEX')
Далее компилируем и инсталируем сам sendmail
#./Build && make all && make install
Для RedHat я подправил скрипт запуска (что то в оригинальном мне не понравилось) вот он, только проверте пути.
Файл конфигурации cf/cf/sendmail.mc (нужно создать) лежит здесь, объяснять все опции здесь я не буду, скажу лишь что подходит он для большинства офисных почтовиков фактически без изменений.
Уникальными и нестандартными здесь лишь расположение файла aliases (он вынесен в /etc/mail/), и изменённые названия директорий спулов (QUEUE_DIR и MSP_QUEUE_DIR) эти строчки можно просто закоментировать.
После пересборки конфига требуется перезапуск sendmail (проверяйте пути):
Код: Выделить всё
cd /usr/src/sendmail-8.12.10/cf/cf
rm -f sendmail.cf
make sendmail.cf
mv ./sendmail.cf /etc/mail/sendmail.cf
/etc/init.d/sendmail restart
Последняя версия DrWeb под linux закачивается с сайта http://drweb.ru/unix/ от туда же загружается milter для sendmail (пакет drweb-sendmail-4.30-linux.tar.gz).
Сам drweb настраивается стандартным образом, обращаем внимание на то чтобы демон висел на 3000 порту:
drweb32.ini
Код: Выделить всё
SocketMode = TCP
DaemonPort = 3000
я использую такие настройки drweb_smf.conf (я оставил только важные опции остальные по смыслу):
Код: Выделить всё
[DaemonCommunication]
Address = inet:3000@localhost
[Scanning]
SpamFilter = on
[Mailer]
MailSystem = Sendmail
Sendmail = /usr/sbin/sendmail
MilterAddress = inet:3001@localhost
Как видим сам milter занимает 3001 tcp порт что и указывается при подключении в конфиге sendmail.
Разумным решением является запуск демона drweb и его milter`а (drwebd и drweb-smf) из одного стартового скрита что я и реализовал в этом файле
Установка spamassassin
Поскольку рускоязычных материалов по установке spamassassin я не нашёл описываю этот процесс :
Закачиваем последний дистрибутив с http://spamassassin.rediris.es/downloads.html далее распаковываем архив:
#tar -xvzf ./Mail-SpamAssassin-2.60.tar.gz
Добавляем перловый модуль для spamassassin:
Код: Выделить всё
perl -MCPAN -e shell [as root]
o conf prerequisites_policy ask
install Mail::SpamAssassin
quit
Далее пытаемся откомпилировать дистрибутив
#perl Makefile.PL
Скорее всего получаем кучу ошибок о отсутствующих модулях Perl
Вообще требуемые модули перечислены в INSTALL
Все перл модули добавляются в систему либо вышеописаным способом, либо качаются с http://search.cpan.org/ (там в поиске вводится название модуля например HTML::Parser)
дале каждый модуль собирается и инсталируется в систему:
#perl Makefile.PL && make test && make install
после установки всех модулей и компилируем и инсталируем саму программу spamassassin:
#perl Makefile.PL && make all && make install
Установка spamassassin milter
Его дистрибутив я нашёл на стороннем сайте http://savannah.nongnu.org/projects/spamass-milt ( если ссылка не работает можно взять здесь)
качаем его и устанавливаем, там всё просто
#tar -xvzf ./spamass-milter-0.2.0
#cd spamass-milter-0.2.0
#./configure ; make ; make install
Конфигурация и запуск spamassassin daemon + spammass-milter
Мой файл конфигурации лежит здесь, по умолчанию расположен в директории /etc/mail/spamassassin.
Документация по нему (англоязычная) есть здесь
Базы данных Баеса (результат обучения системы) я вынес в тот же каталог по умолчанию они лежат в ~/spamassassin
Самым сложным было понять как всё это запускается.
Переворошив документацию я написал стартовый скрипт
Строка запуска милтера (/usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter -b setar@trinity.spb.ru -r 10) содержит параметры :
-f запустить в фоне
-b мыло куда пересылаем письма распознаные как спам, к оригинальному реципиенту письма не доходят. Чтобы они доходили и одновременно дублировались на ответственного ставится опция -B
-r 10 самая интересная опция
уровень баллов для режекта письма рекомендую в процессе обучения этот параметр не ставить вовсе.Обучение системы
Вообще система начинает действовать сразу с заранее предустановленными параметрами и вылавливает спам с вероятностью 60-70% для того чтобы эту вероятность увеличить необходимо систему обучить - скормить ей более 200 писем с примерами "белых писем" ( ham ) и более 200 спамовых писем ( spam ).
Любое письмо после запуска системы получает в заголовок дополнительную информацию по анализу его на предмет спама:
(пример злобного спама, уровень признания письма как спам 5.0 )
Код: Выделить всё
X-Spam-Flag: YES
X-Spam-Status: Yes, hits=22.0 required=5.0 tests=BAYES_99,FORGED_MUA_OUTLOOK,
FORGED_OUTLOOK_HTML,FROM_ILLEGAL_CHARS,HTML_FONTCOLOR_RED,
HTML_FONTCOLOR_UNKNOWN,HTML_FONT_BIG,HTML_MESSAGE,MIME_HTML_ONLY,
SUBJ_HAS_SPACES,SUBJ_ILLEGAL_CHARS autolearn=no version=2.60
X-Spam-Orig-To: <info@trinity.spb.ru>
X-Spam-Report:
* 4.1 SUBJ_HAS_SPACES Subject contains lots of white space
* 0.1 HTML_FONTCOLOR_RED BODY: HTML font color is red
* 5.4 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
* [score: 1.0000]
* 0.1 HTML_FONTCOLOR_UNKNOWN BODY: HTML font color is unknown to us
* 0.3 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
* 0.1 HTML_MESSAGE BODY: HTML included in message
* 0.3 HTML_FONT_BIG BODY: HTML has a big font
* 3.9 SUBJ_ILLEGAL_CHARS Subject contains too many raw illegal characters
* 4.1 FROM_ILLEGAL_CHARS From contains too many raw illegal characters
* 2.6 FORGED_MUA_OUTLOOK Forged mail pretending to be from MS Outlook
* 1.0 FORGED_OUTLOOK_HTML Outlook can't send HTML message only
X-Spam-Level: *********************
X-Spam-Checker-Version: SpamAssassin 2.60 (1.212-2003-09-23-exp) on
gw.trinity.spb.ruТеперь как учить - в комплекте есть программа sa-learn ей нужно скормить каталог с письмами ham и spam
сами письма нужно иметь в немодивицированном виде (без forward`а и прочих почтовых пересылок перенаправлений)
я их получал прямым экспортом из программы TheBat в формат .MSG
для удобства завёл специальные папочки в которых скидывал примеры писем, а в конце дня делал экспорт на сервер.
Для процесса обучения не требуется восстанавливать оригинальный заголовок письма вырезая пометку ****SPAM**** и оценочное содержимое заголовка, система их просто игнорирует.
Для автоматизации процесса обучения я написал маленький скриптиккоторый забирает файлы сообщений с файлового сервера по ftp и скармливает их обучалке.
Обучение до включения в работу системы Баеса у меня заняло 4 дня.
Фуххх вроде всё. будут вопросы - пишите помогу.
. Вот думаю может конструкции Connect,From,To надо в sendmail.cf гдето включить ....
Нашёл досадную ошибку в порядке подключения проверяющих программ. Нужно чтобы было так :
Соответственно, получаем например хорошее письмо с неправильно указанной кодировкой: 
Именно Вы сами ответили на свой вопрос, да и мне помогли