В заголовке писем иногда не меток от милтера

[@ndrew]

Ставил связку Sendmail+Spamassassin+Clamav+spam-milter+clamav-milter на RedHat EL 3 и 4. (пользовался в том числе данным форумом). При этом всегда брал sendmail c sendmail.org. Все работало, только:
1. clamav-milter периодически падал
2. пропускалось относительно много спама (1000 человек, каждый имеет по несколько почтовых ящиков, как внутри компании, так и на серверах заказчиков)

Решили попробовать Kaspersky Anti-Spam. Протестировали 2.0 - понравилось. Купили Kaspersky, а вместе с ним и подписку на RedHat EL ES4. При установке сервера решил взять sendmail из дистрибутива RedHat EL ES4 update 4 (Sendmail v 8.13.1), т.к. подписка дает право на обновление. Поставил clamav,  постоянно падающий clamav-milter  заменил на smf-clamd-1.2.1, поставил Kaspersky Anti-Spam 3.0.

Все работает, только при отправлении пропущенного спама в сервис Касперского обнаружил, что в RFC-заголовках данных писем в 90% случаев нет записей ни Касперского, ни smf-clamd. Т.е. "нормальный" заголовок выглядит так:

Received:  from mail.lll.ru ([172.16.0.1]) by exch.lll.local with Microsoft SMTPSVC(5.0.2195.6713); Wed, 10 Jan 2007 12:39:43 +0300
MIME-Version: 1.0
Content-Type: multipart/related;
type="text/html";
boundary="----_=_NextPart_002_01C7349B.41B05980"
Received:  from 66.197.234.5 (66-197-234-5.hostnoc.net [66.197.234.5] (may be forged)) by mail.lll.ru (8.13.1/8.13.1) with SMTP id l0A9dTqM010874; Wed, 10 Jan 2007 12:39:30 +0300
Return-Path: <info@hubble.de>
X-Mailer: Microsoft Outlook Express 6.00.2900.3028
X-MimeOLE: Produced By Microsoft Exchange V6.0.6603.0
X-OriginalArrivalTime: 10 Jan 2007 09:39:43.0988 (UTC) FILETIME=[42471B40:01C7349B]
X-AntiVirus: checked in 0.059sec at mail.lll.ru ([172.16.0.1])by smf-clamd v1.2.1 - http://smfs.sf.net/
X-SpamTest-Status: Not detected
X-SpamTest-Method: none
X-SpamTest-Info: helo_type=1
X-SpamTest-Version: SMTP-Filter Version 3.0.0 [0255], KAS30/Release
X-SpamTest-Status-Extended: not_detected
X-SpamTest-Rate: 0
X-SpamTest-Group-ID: 00000000
X-SpamTest-Envelope-From: info@hubble.de
content-class: urn:content-classes:message
Subject: =?koi8-r?B?9+n6+Swg9PXy+Swg4ffp4eLp7OX0+SAtINfTxSDT1NLBztksINfTxQ==?=
=?koi8-r?B?IM7B0NLB18zFzsnRLiDz6+nk6+khINPQxcPQ0sXEzM/Wxc7J0SDEzA==?=
=?koi8-r?B?0SDH0tXQ0CDJIMvP0tDP0sHUydfO2cggy8zJxc7Uz9cu?=
Date: Wed, 10 Jan 2007 09:37:49 +0300
Message-ID: <01da01c73481$dce15950$d6f3000a@superficial>
X-MS-Has-Attach: yes
X-MS-TNEF-Correlator:
Thread-Topic: =?koi8-r?B?9+n6+Swg9PXy+Swg4ffp4eLp7OX0+SAtINfTxSDT1NLBztksINfTxQ==?=
=?koi8-r?B?IM7B0NLB18zFzsnRLiDz6+nk6+khINPQxcPQ0sXEzM/Wxc7J0SDEzA==?=
=?koi8-r?B?0SDH0tXQ0CDJIMvP0tDP0sHUydfO2cggy8zJxc7Uz9cu?=
Thread-Index: Acc0m0Xw+VS/ga5TTgK/K843dNwEPw==
From: =?koi8-r?B?18na2SDMwMLZxQ==?= <info@hubble.de>
To: <aka@lll.ru>


а "урезанный":

X-MimeOLE: Produced By Microsoft Exchange V6.0.6603.0
Received:  from mail.lll.ru ([172.16.0.1]) by exch.lll.local with Microsoft SMTPSVC(5.0.2195.6713); Wed, 10 Jan 2007 12:42:00 +0300
MIME-Version: 1.0
Content-Type: multipart/related;
type="text/html";
boundary="----_=_NextPart_002_01C7349B.9358E400"
Received:  from 66.197.234.5 (66-197-234-5.hostnoc.net [66.197.234.5] (may be forged)) by mail.lll.ru (8.13.1/8.13.1) with SMTP id l0A9fn21011289; Wed, 10 Jan 2007 12:41:50 +0300
content-class: urn:content-classes:message
Subject: =?koi8-r?B?9+n6+Swg9PXy+Swg4ffp4eLp7OX0+SAtINfTxSDT1NLBztksINfTxQ==?=
=?koi8-r?B?IM7B0NLB18zFzsnRLiDz6+nk6+khINPQxcPQ0sXEzM/Wxc7J0SDEzA==?=
=?koi8-r?B?0SDH0tXQ0CDJIMvP0tDP0sHUydfO2cggy8zJxc7Uz9cu?=
Date: Wed, 10 Jan 2007 09:37:49 +0300
Message-ID: <01da01c73481$dce15950$d6f3000a@triumphant>
X-MS-Has-Attach: yes
X-MS-TNEF-Correlator:
Thread-Topic: =?koi8-r?B?9+n6+Swg9PXy+Swg4ffp4eLp7OX0+SAtINfTxSDT1NLBztksINfTxQ==?=
=?koi8-r?B?IM7B0NLB18zFzsnRLiDz6+nk6+khINPQxcPQ0sXEzM/Wxc7J0SDEzA==?=
=?koi8-r?B?0SDH0tXQ0CDJIMvP0tDP0sHUydfO2cggy8zJxc7Uz9cu?=
Thread-Index: Acc0m5YgsiJSUhq7SL+P5qtCBgtzzg==
From: =?koi8-r?B?18na2SDMwMLZxQ==?= <info@brunix.org>
To: <alexander@lll.ru>

Вроде бы ерунда, но, как я понимаю, в сервисе анализируют заголовки присланных писем, и, думаю, если не находят меток Anti-Spam, то и не добавляют сигнатуру письма в базу.
Кроме этого, хотелось бы создать правила сортировки почты, которые использовали бы данные из заголовка.
В техподдержки Касперского сказали, что если нет записи от smf-clamd значит проблема не их, а в моем милтере... М.б. кто подскажет куда копать?

[corvax]

Ставил связку Sendmail+Spamassassin+Clamav+spam-milter+clamav-milter на RedHat EL 3 и 4. (пользовался в том числе данным форумом). При этом всегда брал sendmail c sendmail.org. Все работало, только:
1. clamav-milter периодически падал
2. пропускалось относительно много спама (1000 человек, каждый имеет по несколько почтовых ящиков, как внутри компании, так и на серверах заказчиков)

Решили попробовать Kaspersky Anti-Spam. Протестировали 2.0 - понравилось. Купили Kaspersky, а вместе с ним и подписку на RedHat EL ES4. При установке сервера решил взять sendmail из дистрибутива RedHat EL ES4 update 4 (Sendmail v 8.13.1), т.к. подписка дает право на обновление. Поставил clamav,  постоянно падающий clamav-milter  заменил на smf-clamd-1.2.1, поставил Kaspersky Anti-Spam 3.0.

Все работает, только при отправлении пропущенного спама в сервис Касперского обнаружил, что в RFC-заголовках данных писем в 90% случаев нет записей ни Касперского, ни smf-clamd.

поднимите log level и sendmail'а и milter'а (например до 14) и посмотрите фрагмент maillog, соответствующий такому письму

Вроде бы ерунда, но, как я понимаю, в сервисе анализируют заголовки присланных писем, и, думаю, если не находят меток Anti-Spam, то и не добавляют сигнатуру письма в базу.

на чем основано это предположение?

Кроме этого, хотелось бы создать правила сортировки почты, которые использовали бы данные из заголовка.
В техподдержки Касперского сказали, что если нет записи от smf-clamd значит проблема не их, а в моем милтере... М.б. кто подскажет куда копать?

логи читать, предварительно поднял их уровень

[@ndrew]

поднимите log level и sendmail'а и milter'а (например до 14) и посмотрите фрагмент maillog, соответствующий такому письму

Поднял Loglevel sendmail 14, milter'a=15, kasperskylog=5

Для примера посылаю заголовок спамерского письма без меток - header.txt, фрагмент maillog к этому письму - log.txt. По нему вроде бы все отрабатывается, на всякий случай послал себе письмо с mail.ru, в нем все есть, прислал его лог - trank.txt

@ndrew" : Вроде бы ерунда, но, как я понимаю, в сервисе анализируют заголовки присланных писем, и, думаю, если не находят меток Anti-Spam, то и не добавляют сигнатуру письма в базу.

на чем основано это предположение?

Просто читал на их сайте. Потом было, что на следующий день после отправки нераспознанного спама, и на следующий день такие письма не детектировались. М.б. правда руки не дошли, но я бы сам не стал обрабатывать письмо, в котором котором нет метки, что оно прошло через Anti-Spam.

Все письма редиректятся с данного сервера на Exchange, но Exchange раньше в усечении заголовков не был замечен.

[corvax]

поднимите log level и sendmail'а и milter'а (например до 14) и посмотрите фрагмент maillog, соответствующий такому письму

Поднял Loglevel sendmail 14, milter'a=15, kasperskylog=5

Для примера посылаю заголовок спамерского письма без меток - header.txt, фрагмент maillog к этому письму - log.txt. По нему вроде бы все отрабатывается, на всякий случай послал себе письмо с mail.ru, в нем все есть, прислал его лог - trank.txt

вообще-то я имел ввиду подождать письмо, которое будет доставлено без заголовков X-SpamTest-*, потом смотреть детализированные логи именно по этому письму

[@ndrew]

поднимите log level и sendmail'а и milter'а (например до 14) и посмотрите фрагмент maillog, соответствующий такому письму

Поднял Loglevel sendmail 14, milter'a=15, kasperskylog=5

Для примера посылаю заголовок спамерского письма без меток - header.txt, фрагмент maillog к этому письму - log.txt. По нему вроде бы все отрабатывается, на всякий случай послал себе письмо с mail.ru, в нем все есть, прислал его лог - trank.txt

вообще-то я имел ввиду подождать письмо, которое будет доставлено без заголовков X-SpamTest-*, потом смотреть детализированные логи именно по этому письму

так именно я и прислал такое письмо, trank.txt - просто для примера.
Есть еще следующие наблюдения: по анализу разных писем в логах, создается впечатление, что заголовки X-SpamTest-* не попадают в письма, которые посылаются сразу на несколько адресов. При этом, у меня в настройках Anti-Spam стоит посылка копии письма, определенного Probable Spam на некий адрес. На этот адрес мне приходит письмо с полноценным заголовком, а это же письмо, пришедшее пользователям - без X-SpamTest-*. Самое забавно, что не смотря на то,, что заголовков X-SpamTest-* нет, в subject'e стоит метка [?? Probable Spam].

[corvax]

Поднял Loglevel sendmail 14, milter'a=15, kasperskylog=5

Для примера посылаю заголовок спамерского письма без меток - header.txt, фрагмент maillog к этому письму - log.txt. По нему вроде бы все отрабатывается, на всякий случай послал себе письмо с mail.ru, в нем все есть, прислал его лог - trank.txt

вообще-то я имел ввиду подождать письмо, которое будет доставлено без заголовков X-SpamTest-*, потом смотреть детализированные логи именно по этому письму

так именно я и прислал такое письмо, trank.txt - просто для примера.
Есть еще следующие наблюдения: по анализу разных писем в логах, создается впечатление, что заголовки X-SpamTest-* не попадают в письма, которые посылаются сразу на несколько адресов. При этом, у меня в настройках Anti-Spam стоит посылка копии письма, определенного Probable Spam на некий адрес. На этот адрес мне приходит письмо с полноценным заголовком, а это же письмо, пришедшее пользователям - без X-SpamTest-*. Самое забавно, что не смотря на то,, что заголовков X-SpamTest-* нет, в subject'e стоит метка [?? Probable Spam].

это все стОит написать в поддержку касперов
потому как изменение сабжа и добавление хидеров входят в один список действий, которые демон возвращает милтеру

[@ndrew]

Одна проблема разрешилась:

Основная часть писем с пропущенными хидерами "производилась" из-за MS Exchange. На нем у нас хранится вся почта. Со своего ящика  я ее, естественно, беру по smtp, а вот с ящика, куда сваливается весь спам, - по pop3. Вот в этот момент Exchange и переписывал заголовки всех вложенных писем! (только не понимаю зачем). Поставил редирект с это ящика на свой - по smtp все нормально.

Зато вылезла друга проблема: опять же периодически стали попадать письма без хидеров АнтиСпама, при просмотре записей в /var/log/maillog, относящимся к этим письмам, увидел следующее, у всех этих письмах были следующие записи:

Jan 18 22:54:15 mailserver sendmail[29081]: l0IJrF0t029081: Milter (kasfilter): timeout before data read
Jan 18 22:54:15 mailserver sendmail[29081]: l0IJrF0t029081: Milter (kasfilter): to error state

Что в этом случае лучше сделать:

1. поменять настройки в sendmail.cf (Касперский рекомендует:
Xkasfilter,S=local:/var/run/kas-milter.socket, T=C:10s,S:20s,
R:30s )
2. Настроить sendmail, мне посоветовали настроить его, чтобы он говорил в таких случаях temporary error с 421 ошибкой в сессии, тогда письмо не примется прямо сейчас и удаленный сервер должен будет снова его послать.

Вот только честно говоря я не знаю где это настроить.

И еще вопрос: до покупки подписки на RedHat всегда ставил sendmail из исходников - подобных проблем не было. После подписки, поставили sendmail из rpm RedHat - получил, что получил. При этом у Красной Шапки последняя версия сендмайл sendmail-8.13.1-3.RHEL4.5, а на sendmail.org лежит 8.13.8.
Что лучше - оставить от RedHat и ждать заплаток от нее (вроде бы они там вычищают проги сами) или снести и поставить из родных исходников?