Spamassassin стал пропускать спам...

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 25 ноя 2007, 12:34

corvax писал(а):
не соглашусь
Не согласитесь с чем? С тем что если BAYES_50 Bayesian spam probability is 40 to 60% оценка равна нулю - это нормально?
мне второй раз написать на счет обучения?
Ну а мне воторой раз написать что баейс постоянно убучаеться ?

в данном случае я вижу проблему в том что не ставиться оценка писму при 40-60% от баеса.... Все письма попадающие под это правило проходят как нормальные из за того что оценка равна нулю.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 25 ноя 2007, 12:36

zilonis писал(а):Баейс обучаеться сам
bayes может обучиться сам, если сработали правила с достаточным суммарным весом, чтобы даже без оценок байеса можно было принять решение о том, что письмо является спамом. в случае рилеев гугла таких правил будет очень мало
zilonis писал(а):и уже где то более полугода как система активна и работала нормально.
и что из этого? у меня годами "системы активны и работает нормально" и тем не менее, время от времени приходится дообучать вручную bayes при появлении спамовых писем, сгенерированных с применением новых шаблонов, либо если тематика спамовых писем сильно меняется.

но мне проще. у меня есть несколько десятков своих правил, при срабатывании которых производится автообучение DSPAM'а и bayes'а из SpamAssassin даже если вес остальных сработавших правил не достиг bayes_auto_learn_threshold_spam

у меня такое впечатление, что как-то невнятно вы представляете себе механизмы работы SpamAssassin

если не хотите дообучать bayes, то говорить больше не о чем
--
/corvax

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Сообщение corvax » 25 ноя 2007, 12:46

zilonis писал(а):
corvax писал(а):
не соглашусь
Не согласитесь с чем?
с утверждением, которое было было высказано прямо перед моей фразой. не стОит удалять все при квотировании. тогда у вас будет возникать меньше вопросов, ответы на которые очевидны
zilonis писал(а): С тем что если BAYES_50 Bayesian spam probability is 40 to 60% оценка равна нулю - это нормально?
странный вы человек. сначала пишете, что нулевая оценка это правила - это ненормально и спрашиваете, согласен ли я. я пишу, что не согласен, т. е. считаю оценку нормальной. теперь вы спрашиваете, не согласен ли я с тем, что оценка данного правила нулевая.
zilonis писал(а):
мне второй раз написать на счет обучения?
Ну а мне воторой раз написать что баейс постоянно убучаеться ?
понятно. мое предположение о непонимании вами принципов работы SpamAssassin подтвердилось.
zilonis писал(а):в данном случае я вижу проблему в том что не ставиться оценка писму при 40-60% от баеса.... Все письма попадающие под это правило проходят как нормальные из за того что оценка равна нулю.
завысьте веса правил байеса

только потом не надо писать в форум об увеличении количества ложных срабатываний. все равно вам что-то советовать бесполезно ввиду вашего удивительного упрямства и самоуверенности в собственной правоте. при вашей уверенности вы имете свои проблемы. нет желания прислушаться к мнению тех, у кого этих проблем нет - дело ваше

это мой последний ответ вам. удачи
--
/corvax

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 25 ноя 2007, 12:47

Периодически я скармливаю sa-learn письма проскочившие как нормальные являясь спамом - если вы подразумеваете это под до обучением...

Ну если бы я имел внятное представление о работе механизма я бы наверно не задавл тут вопрос с просьбой о помощи...

Сечас попробую скормить накопившиеся письма SA посмотрим как будет... но меня больше всего удивляет почему оценка писем нулевая если баес их определил как спам.

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 25 ноя 2007, 12:54

Кстати... Те письма что проскочили на сервере, определяются на ура баесовским плагином что работает под The Bat.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 27 ноя 2007, 22:34

zilonis писал(а):Кстати... Те письма что проскочили на сервере, определяются на ура баесовским плагином что работает под The Bat.
у них же разные базы, не удивительно.

А к нулевой оценке баеса 50% - это нормально
грубо говоря при оценке 50/50 есть сомнение в том что баес корректно работает на этом содержимом, и не вносим никаких оценочных баллов

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 27 ноя 2007, 22:39

setar писал(а):
zilonis писал(а):Кстати... Те письма что проскочили на сервере, определяются на ура баесовским плагином что работает под The Bat.
у них же разные базы, не удивительно.

А к нулевой оценке баеса 50% - это нормально
грубо говоря при оценке 50/50 есть сомнение в том что баес корректно работает на этом содержимом, и не вносим никаких оценочных баллов
Понятно. смотря на логи я стал думать что это нормально что не ставиться оценка...

Господа, дайте всетаки дельных советов... Спам начинает сыпаться и очень сильно... Вчера скормил SA проскочившые письма не помогло... спам продолжает сыпаться...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 27 ноя 2007, 22:48

zilonis писал(а):
setar писал(а):
zilonis писал(а):Кстати... Те письма что проскочили на сервере, определяются на ура баесовским плагином что работает под The Bat.
у них же разные базы, не удивительно.

А к нулевой оценке баеса 50% - это нормально
грубо говоря при оценке 50/50 есть сомнение в том что баес корректно работает на этом содержимом, и не вносим никаких оценочных баллов
Понятно. смотря на логи я стал думать что это нормально что не ставиться оценка...

Господа, дайте всетаки дельных советов... Спам начинает сыпаться и очень сильно... Вчера скормил SA проскочившые письма не помогло... спам продолжает сыпаться...
по опыту, иногда базы баеса портятся
причины иной раз мне удавалось выяснить (юзеры по ошибке закинули порцию спама в папку обучения для белых пием) , иногда я не тратил на это время.

В общем когда я понимаю что у баз баеса снесло крышу (у меня такое происходит пару раз в год), то я просто удаляю их и переобучаю заного.

для обучения у меня есть набор спамовых писем и белых писем, причем эти письма у меня свежие, из папки "предположительно спам" - туда я складываю письма с оцекой между 8 и 20 (с автоочисткой после давности 2 недели) , ну а белые письма прошу у менеджеров - просто переписку с клиентами

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 27 ноя 2007, 23:06

Впринципе как вариант очень даже ничего... Все спам письма с этого сервера полученные на один аккаунт у меня есть и есть белые писма... И как я правильно понимаю то просто удалить надо вот эти фалы:
-rw-rw-rw-   1 root root    9384 Nov 27 21:52 bayes_journal
-rw-rw-rw-   1 root root 5234688 Nov 27 21:46 bayes_seen
-rw-rw-rw-   1 root root 5390336 Nov 27 21:46 bayes_toks
-rw-rw-rw-   1 root root 3637248 Oct  9 07:02 bayes_toks.expire21834
-rw-rw-rw-   1 root root 5677056 Oct  9 07:13 bayes_toks.expire23003
-rw-rw-rw-   1 root root 1089536 Oct  9 07:31 bayes_toks.expire24535

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 27 ноя 2007, 23:08

zilonis писал(а):Впринципе как вариант очень даже ничего... Все спам письма с этого сервера полученные на один аккаунт у меня есть и есть белые писма... И как я правильно понимаю то просто удалить надо вот эти фалы:
-rw-rw-rw-   1 root root    9384 Nov 27 21:52 bayes_journal
-rw-rw-rw-   1 root root 5234688 Nov 27 21:46 bayes_seen
-rw-rw-rw-   1 root root 5390336 Nov 27 21:46 bayes_toks
-rw-rw-rw-   1 root root 3637248 Oct  9 07:02 bayes_toks.expire21834
-rw-rw-rw-   1 root root 5677056 Oct  9 07:13 bayes_toks.expire23003
-rw-rw-rw-   1 root root 1089536 Oct  9 07:31 bayes_toks.expire24535
:) скажем так - забакапить переносом

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 27 ноя 2007, 23:14

И снова логично.. ;)

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 28 ноя 2007, 20:59

Обучил байеса по новой - проблему не решило... есть еще варианты?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 29 ноя 2007, 13:52

zilonis писал(а):Обучил байеса по новой - проблему не решило... есть еще варианты?
тут без вариантов - вдумчиво читать оценки в заголовках пропущенного спама, смотреть правильно ли они выставленны, если правильно - понижать планку спама

zilonis
Advanced member
Сообщения: 54
Зарегистрирован: 30 июн 2007, 12:12

Сообщение zilonis » 29 ноя 2007, 15:03

А пример можно на что обращать внимание в заголовке? Вот фрагмент заголовка проскочившего письма:
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on блаблабла.бла
X-Spam-Level: ****
X-Spam-Status: No, score=4.7 required=5.0 tests=BAYES_99,DRUGS_ERECTILE,
       HTML_MESSAGE,HTML_TEXT_AFTER_BODY,SUBJECT_DRUG_GAP_C autolearn=no
       version=3.1.8

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 05 дек 2007, 11:51

zilonis писал(а):А пример можно на что обращать внимание в заголовке? Вот фрагмент заголовка проскочившего письма:
X-Spam-Checker-Version: SpamAssassin 3.1.8 (2007-02-13) on блаблабла.бла
X-Spam-Level: ****
X-Spam-Status: No, score=4.7 required=5.0 tests=BAYES_99,DRUGS_ERECTILE,
       HTML_MESSAGE,HTML_TEXT_AFTER_BODY,SUBJECT_DRUG_GAP_C autolearn=no
       version=3.1.8
это говорит о том что спамовое письмо  было отослано профессионалами, и много в нем похожего на нормальное письмо, спамом его опознаёт лишь баес.
варианты борьбы я вижу следующие:
1. поднимать значения оценок баеса (опасно полагаться только на нейросети)
2. добавлять самостоятельно оценочные характиристики (гугли spamassassin-botnet, spamassassin-fuzzyocr)

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей