пропуск спама.

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

пропуск спама.

Сообщение fitter » 03 мар 2006, 14:27

Доброго дня.
Уже дней 10 работает спамассасин в связке с сендмайлом.
Благодаря ему спама стало меньше в несколько раз, но вот что заметил, режет то он режет, но в последние дни стал пропускать больше спама. Раньше число спама равнялось 3-4 на каждый ящик за сутки. Теперь же порядка двух десятков спамовых писем. И это при том, что каждый день базы Баеса обучаются.
Может быть причина в недостаточном количестве дочерных процессов?

mail2# ps -ax| grep spamd
 527  ??  Ss     0:52.31 /usr/local/bin/spamd -c -d -u filter -r /var/run/spam
11949  ??  S      5:00.61 spamd child (perl5.8.7)
13342  ??  S      0:00.05 spamd child (perl5.8.7)
13397  p0  D+     0:00.00 grep spamd
mail2#

Спасибо.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Re: пропуск спама.

Сообщение corvax » 04 мар 2006, 00:58

так в доставленных спамовых письмах присутствуют заголовки spamassassin'а или нет?
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 06 мар 2006, 10:34

Хм. Не во всех.
В нескольких пропущенных- да есть отчет о проверке  на спам, и общий бал меньше пропускного, поэтому и пропущено письмо.
А вот в других, их меньшенство, совсем нет отчета о проверке

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 мар 2006, 10:53

fitter писал(а):Хм. Не во всех.
В нескольких пропущенных- да есть отчет о проверке  на спам, и общий бал меньше пропускного, поэтому и пропущено письмо.
А вот в других, их меньшенство, совсем нет отчета о проверке
ну вот, у вас минимум два вопроса теперь.

надо смотреть теперь на содержимое X-Spam-Report спамовых писем и анализировать, почему начисленные баллы меньше пороговых (байес дообучали до ручка?)

и второй - смотрите логи MTA для тех писем, в которые не добавил заголовки spamd.
Последний раз редактировалось corvax 06 мар 2006, 10:55, всего редактировалось 1 раз.
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 06 мар 2006, 15:54

Баес обучаю каждое утро.
В логах sendmail писем без отчета о проверке на спам, совсем нет упоминания о спамд. Просто чистые логи получения письма.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 мар 2006, 16:33

fitter писал(а):Баес обучаю каждое утро.
да хоть каждые 10 мин
его можно криво обучить за пару дней

выложите где-нить те письма, которые получили низкие оценки spamassassin'а
fitter писал(а):В логах sendmail писем без отчета о проверке на спам, совсем нет упоминания о спамд. Просто чистые логи получения письма.
а там и не будет упоминания о spamd
там будут (при соответствующем уровне лога) упоминания о spamass-milter и milter-spamc (вы ж до сих пор не указали, как взаимодействуют у вас sendmail и spamd)
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 06 мар 2006, 17:07

>а там и не будет упоминания о spamd

ммм., а у меня есть.


Mar  6 15:38:08 mail2 sm-mta[1149]: k26Dc86B001149:
Mar  6 15:38:09 mail2 spamd[576]: spamd: connection from localhost.firma.com.ua [127.0.0.1] at port 54239
Mar  6 15:38:09 mail2 spamd[576]: spamd: processing message <WWWLFYxc9NUpuabjKoM0000441f@web.datalux.ua> for root:1002
Mar  6 15:38:16 mail2 spamd[576]: spamd: clean message (-100.2/4.2) for root:1002 in 7.6 seconds, 13496 bytes.
Mar  6 15:38:16 mail2 spamd[576]: spamd: result: . -100 - AWL,BAD_ENC_HEADER,BAYES_00,HTML_MESSAGE,MANY_EXCLAMATIONS,MIME_HTML_ONLY,RCVD_NUMERIC_HELO,USER_IN_WHITELIST scantime=7.6,size=13496,user=root,uid=1002,required_score=4.2,rhost=localhost.gloria.com.ua,raddr=127.0.0.1,rport=54239,mid=<WWWLFYxc9NUpuabjKoM0000441f@web.datalux.ua>,bayes=2.77555756156289e-16,autolearn=no
Mar  6 15:38:17 mail2 sm-mta[1153]: k26Dc86B001149: to=<service@mail2.firma.com.ua>, delay=00:00:09, xdelay=00:00:01, mailer=local, pri=43590, relay=local, dsn=2.0.0, stat=Sent
Mar  6 15:38:17 mail2 spamd[518]: prefork: child states: II


>его можно криво обучить за пару дней

Если не трудно, объясните, что значит криво?

>выложите где-нить те письма, которые получили низкие оценки spamassassin'а

счас выложу. Есть эти письма после обработки ассасина с выставленным балом,  и до обработки - чистые, какие выложить?

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 06 мар 2006, 18:01

fitter писал(а):>а там и не будет упоминания о spamd
ммм., а у меня есть.
потому, что у вас MTA и spamd валят все в один лог
я вообще-то подразумевал информацию о работе sendmail с milter'ом, взаимодействующим с spamd
fitter писал(а):>его можно криво обучить за пару дней

Если не трудно, объясните, что значит криво?
обучить спамовыми письмами, как неспамовыми, или наоборот. еще как вариант - обучить спамовыми похожими много раз, несмотря на и так максимальную оценку байеса (правда, тогда перекос пойдет в сторону false positive, а не в сторону false negative)
fitter писал(а):>выложите где-нить те письма, которые получили низкие оценки spamassassin'а

счас выложу. Есть эти письма после обработки ассасина с выставленным балом,  и до обработки - чистые, какие выложить?
по барабану
у меня все предыдущие заголовки spamassassin'а игнорируются
хотя... лучше с выставленными баллами
тогда можно будет сравнить эффектиность двух одинаковых программных продуктов с разными настройками
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 07 мар 2006, 11:52

>обучить спамовыми письмами, как неспамовыми
Нет,  я внимательно сортирую письма, перед обучением.

>еще как вариант - обучить спамовыми похожими много раз
Это вполне может быть. Я обучаю не только теми письмами, которые проскочили через фильтр, а вообще всем спамом, который пришел за сутки.


Письма выложил  на свой фтп
данные на вход - послал вам по почте.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 07 мар 2006, 17:58

fitter писал(а):>обучить спамовыми письмами, как неспамовыми
Нет,  я внимательно сортирую письма, перед обучением.

>еще как вариант - обучить спамовыми похожими много раз
Это вполне может быть. Я обучаю не только теми письмами, которые проскочили через фильтр, а вообще всем спамом, который пришел за сутки.


Письма выложил  на свой фтп
данные на вход - послал вам по почте.
все письма, кроме короткого, отправленного ручками из The Bat'а, с приаттаченным архивом, получили от 9.5 до 17.7 баллов (при 8 проходных у меня). все остальное - тривиальный шаблонный спам, коего сейчас хватает...

мой совет - выкиньте AWL и если у вас адекватно обученный bayes, немного завысьте его баллы
--
/corvax

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 08 мар 2006, 10:07

кстати, очень тяжело анализировать причину низкой суммы баллов без поля X-Spam-Report

так что лучше настроить вставку поля X-Spam-Report, даже если сумма баллов меньше required_hits
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 09 мар 2006, 11:32

Ну вот, за полтора суток, фильтр пропустил всего 7 спамовых писем, при общем количестве пришедших писем около полторы тысячи.


>кстати, очень тяжело анализировать причину низкой суммы баллов >без поля X-Spam-Report
>так что лучше настроить вставку поля X-Spam-Report, даже если >сумма баллов меньше required_hits

По моему, вы где-то в форуме об этом уже писали, как это сделать, там надо было вставить кусок конфига (из приведенной ссылки)  в конец local.cf. Не напомните, где этот топик, чтоб не перерывать опять весь форум?


>мой совет - выкиньте AWL
Он что, неккоректно работает?
Я вот смотрел в отчет фильтра в письме, не каждое письмо проверяется тестом AWL, в основном только тестом Bayes.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 09 мар 2006, 11:45

fitter писал(а):Ну вот, за полтора суток, фильтр пропустил всего 7 спамовых писем, при общем количестве пришедших писем около полторы тысячи.
нормальный результат. у многих хуже получается
fitter писал(а):>кстати, очень тяжело анализировать причину низкой суммы баллов >без поля X-Spam-Report
>так что лучше настроить вставку поля X-Spam-Report, даже если >сумма баллов меньше required_hits

По моему, вы где-то в форуме об этом уже писали, как это сделать, там надо было вставить кусок конфига (из приведенной ссылки)  в конец local.cf. Не напомните, где этот топик, чтоб не перерывать опять весь форум?
если не хватило сил побороть лень в первый раз, когда можно было сразу в local.cf вставить инструкции по формированию X-Spam-Report, то тогда придется искать силы для борьбы с ленью в поисках в форуме того топика
fitter писал(а):>мой совет - выкиньте AWL
Он что, неккоректно работает?
а что, сами вы оценить не можете?
fitter писал(а):Я вот смотрел в отчет фильтра в письме, не каждое письмо проверяется тестом AWL, в основном только тестом Bayes.
--
/corvax

fitter
Advanced member
Сообщения: 58
Зарегистрирован: 14 фев 2006, 10:57
Откуда: Kiev
Контактная информация:

Сообщение fitter » 09 мар 2006, 11:49

И еще, насколько корректно обучать Баес переадресованными письмами?

>если не хватило сил побороть лень в первый раз, когда можно было >сразу в local.cf вставить инструкции по формированию X-Spam->Report, то тогда придется искать силы для борьбы с ленью в >поисках в форуме того топика

Да дело даже не в лени... ну да ладно, прийдется искать.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 09 мар 2006, 11:58

fitter писал(а):И еще, насколько корректно обучать Баес переадресованными письмами?
я бы этого вообще не делал
--
/corvax

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 16 гостей