Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
alexvv
Junior member
Сообщения: 9
Зарегистрирован: 11 ноя 2004, 12:37
Откуда: Питер

Сообщение alexvv » 11 ноя 2004, 13:41

Сделал
cp /usr/src/sendmail-8.13.1/obj.FreeBSD.4.4-RELEASE.i386/libmilter/libmilter.a /usr/lib/libmilter/
ls -la /usr/lib/libmilter
-rw-r--r--  1 root  wheel  50700 11 ноя 12:17 libmilter.a
-rw-r--r--  1 root  wheel  13885 11 ноя 12:21 mfapi.h
ls -la /usr/lib/libmilter.a
lrwxr-xr-x  1 root  wheel  30 11 ноя 12:24 /usr/lib/libmilter.a -> /usr/lib/libmilter/libmilter.a

Получил следующее
checking for mi_stop in -lmilter... yes
checking libmilter/mfapi.h usability... no
checking libmilter/mfapi.h presence... no
checking for libmilter/mfapi.h... no
configure: error: Please install mfapi.h from the sendmail distribution

Скопировал mfapi.h
ls /usr/include/mfapi.h -> /usr/include/mfapi.h
ls /usr/local/include/mfapi.h -> /usr/local/include/mfapi.h

Тоже самое! =(

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Cannot find libmilter

Сообщение Stranger03 » 11 ноя 2004, 13:58

alexvv писал(а):Я понимаю, что уже было, но все советы перепробывал - не помогает! =( Собрал я сендмаил с поддержкой
Вообще-то по Фре + сендмыл есть отдельная тема, ну да лано. Сендмыл откуда собирали? Небось качали с сайта? Обновите порты и поставьте все по порядку, как написано в моей статье в этом же разделе.

Аватара пользователя
alexvv
Junior member
Сообщения: 9
Зарегистрирован: 11 ноя 2004, 12:37
Откуда: Питер

Сообщение alexvv » 15 ноя 2004, 13:51

Заработало! Сделал вот что:
cp /usr/src/sendmail-8.13.1/obj.FreeBSD.4.4-RELEASE.i386/libmilter/libmilter.a /usr/lib/
cp /usr/src/sendmail-8.13.1/include/libmilter/mfapi.h /usr/include/libmilter
cp /usr/src/sendmail-8.13.1/include/libmilter/mfdef.h /usr/include/libmilter
После этого ./configure spamass-milter-0.2.0 прошла без ошибок!
Всем спасибо за советы! Судя по тому как у меня все продвигается - вопросы еще будут. =)

SKiller
Junior member
Сообщения: 4
Зарегистрирован: 25 ноя 2003, 11:49

SA - ацтой

Сообщение SKiller » 15 ноя 2004, 16:21

Ездил в мск на конференцию по антиспаму. Спамасасин ниччо, но не догоняет коммерческие продукты по ряду показателей. И очет заморочен для админа. Моя рекомендует spamtest как хоть что-то хоть как-то защищающее от спама.

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Re: SA - ацтой

Сообщение corvax » 15 ноя 2004, 16:37

SKiller писал(а):SA - ацтой
не забывай писать "IMHO"
SKiller писал(а):Ездил в мск на конференцию по антиспаму. Спамасасин ниччо, но не догоняет коммерческие продукты по ряду показателей.
ну так и написал бы, по каким, вместо того, чтобы пальцы гнуть
SKiller писал(а):И очет заморочен для админа.
есть одна менее замороченная ОСь. там почти все делают как для домохозяек. и что с того?
кроме того, объясните мне, почему на установку и настройку SA на новом хосте у меня уходит несколько минут всего? на что там заморачиваться?
SKiller писал(а):Моя рекомендует spamtest как хоть что-то хоть как-то защищающее от спама.
а "хоть как-то" не всем и подойдет. мне - точно не подойдет. и денег оно стоит.

и spamassassin сам по себе не панацея. он эффективен в комплексе с соответствующим образом настроенным MTA. у меня он вообще работает "на добивание"
--
/corvax

bel
Junior member
Сообщения: 3
Зарегистрирован: 29 мар 2004, 15:16
Откуда: Moscow

AWL: Auto-whitelist adjustment

Сообщение bel » 22 ноя 2004, 18:52

на фре 5.2.1 стоит SpamAssassin-2.64 + spamass-milter-0.2.0_4
все работает без нареканий уже с пол года
но в последнее время стал пробиваться спам - причем по баесу он определяется как спам, а адрес получателя проходит как из Auto-whitelist  ...

X-Spam-Report:
*  0.8 TO_ADDRESS_EQ_REAL To: repeats address as real name
*  6.0 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
*      [score: 1.0000]
*  0.3 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
*  0.1 HTML_MESSAGE BODY: HTML included in message
*  1.2 HTML_90_100 BODY: Message is 90% to 100% HTML
*  1.2 HTML_IMAGE_ONLY_02 BODY: HTML: images with 0-200 bytes of words
*  0.9 RCVD_IN_SBL RBL: Received via a relay in Spamhaus SBL
*      [204.9.245.49 listed in sbl-xbl.spamhaus.org]
*  -17 AWL AWL: Auto-whitelist adjustment

в конфиге ассассина стоял
use_auto_whitelist      1
auto_whitelist_path     /var/spool/filter/.spamassassin/auto_whitelist

в /var/spool/filter/.spamassassin
соответственно насобиралась база на 22 метра
22106112 Nov 22 17:33 auto_whitelist.db

как с ней работать - непонятно. можно ли редактировать (удалять, добавлять что-либо)?

не мудрствуя лукаво отключил в конфиге  use_auto_whitelist,
базу стер нафиг. перепустил спамдемон. он создал новую базу на 45к...

и все равно пробивается спам с большим минусом из Auto-whitelist:
*  -25 AWL AWL: Auto-whitelist adjustment

в конфиге этот адрес получателя не прописан ни в каком из
whitelist_to
all_spam_to    и т.п.

в чем может быть дело? и можно ли каким-либо образом обнулить все эти whitelist-ы?

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Re: AWL: Auto-whitelist adjustment

Сообщение corvax » 23 ноя 2004, 16:23

bel писал(а):на фре 5.2.1 стоит SpamAssassin-2.64 + spamass-milter-0.2.0_4
все работает без нареканий уже с пол года
но в последнее время стал пробиваться спам - причем по баесу он определяется как спам, а адрес получателя проходит как из Auto-whitelist  ...

X-Spam-Report:
*  0.8 TO_ADDRESS_EQ_REAL To: repeats address as real name
*  6.0 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
*      [score: 1.0000]
*  0.3 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
*  0.1 HTML_MESSAGE BODY: HTML included in message
*  1.2 HTML_90_100 BODY: Message is 90% to 100% HTML
*  1.2 HTML_IMAGE_ONLY_02 BODY: HTML: images with 0-200 bytes of words
*  0.9 RCVD_IN_SBL RBL: Received via a relay in Spamhaus SBL
*      [204.9.245.49 listed in sbl-xbl.spamhaus.org]
*  -17 AWL AWL: Auto-whitelist adjustment
выключить нафиг автолист и не мучаться
bel писал(а):в конфиге ассассина стоял
use_auto_whitelist      1
auto_whitelist_path     /var/spool/filter/.spamassassin/auto_whitelist

в /var/spool/filter/.spamassassin
соответственно насобиралась база на 22 метра
22106112 Nov 22 17:33 auto_whitelist.db

как с ней работать - непонятно. можно ли редактировать (удалять, добавлять что-либо)?
DB_File.pm
кроме того, у spamassassin'а есть параметры --add-to-whitelist, --add-to-blacklist, --remove-from-whitelist, --add-addr-to-whitelist, --add-addr-to-blacklist и --remove-addr-from-whitelist
bel писал(а):не мудрствуя лукаво отключил в конфиге  use_auto_whitelist,
базу стер нафиг. перепустил спамдемон. он создал новую базу на 45к...
не верю. если бы отключил, то auto-whitelist.db не создался бы

можно взглянуть на
ps axwu | grep spamd
и на
grep spamd_flags /etc/rc.conf
?
bel писал(а):и все равно пробивается спам с большим минусом из Auto-whitelist:
*  -25 AWL AWL: Auto-whitelist adjustment

в конфиге этот адрес получателя не прописан ни в каком из
whitelist_to
all_spam_to    и т.п.

в чем может быть дело? и можно ли каким-либо образом обнулить все эти whitelist-ы?
их проще не использовать
--
/corvax

bel
Junior member
Сообщения: 3
Зарегистрирован: 29 мар 2004, 15:16
Откуда: Moscow

Re: AWL: Auto-whitelist adjustment

Сообщение bel » 23 ноя 2004, 18:42

corvax писал(а): выключить нафиг автолист и не мучаться
дак я так и сделал, сейчас вроде перестал этот whitelist проявляться
а сначала вроде пробивался... (или это был глюк)
corvax писал(а): DB_File.pm
кроме того, у spamassassin'а есть параметры --add-to-whitelist, --add-to-blacklist, --remove-from-whitelist, --add-addr-to-whitelist, --add-addr-to-blacklist и --remove-addr-from-whitelist
о! за это спасибо большое!
corvax писал(а): не верю. если бы отключил, то auto-whitelist.db не создался бы
ну как не верю....  в конфиге
/usr/local/etc/mail/spamassassin/local.cf
вроде отключил - то есть поставил нолик -

use_auto_whitelist      0
auto_whitelist_path     /var/spool/filter/.spamassassin/auto_whitelist

а база создалась - и причем опять  растет -
изначально была 45к, а теперь уже 720к и постоянно обновляется зараза
corvax писал(а): можно взглянуть на
ps axwu | grep spamd
и на
grep spamd_flags /etc/rc.conf
?
не вопрос ...

mail5# ps -ax | grep spam
69903  ??  Ss     2:52.47 /usr/local/bin/spamd -d -a -u filter -x -s local5 (perl)
 464 con- S    190:17.73 /usr/local/sbin/spamass-milter -b spam@localhost -p /var/run/spamass-milter.sock

а в rc.conf никаких упоминаний про spamd нет в помине
откуда им там взяться?

Аватара пользователя
corvax
free-lance moderator
Сообщения: 877
Зарегистрирован: 06 авг 2004, 17:21
Откуда: Kiev, Ukraine
Контактная информация:

Re: AWL: Auto-whitelist adjustment

Сообщение corvax » 23 ноя 2004, 19:12

bel писал(а):
corvax писал(а):выключить нафиг автолист и не мучаться
дак я так и сделал, сейчас вроде перестал этот whitelist проявляться
а сначала вроде пробивался... (или это был глюк)
значит не выключил
bel писал(а):
corvax писал(а): не верю. если бы отключил, то auto-whitelist.db не создался бы
ну как не верю....  в конфиге
/usr/local/etc/mail/spamassassin/local.cf
вроде отключил - то есть поставил нолик -

use_auto_whitelist      0
auto_whitelist_path     /var/spool/filter/.spamassassin/auto_whitelist

а база создалась - и причем опять  растет -
изначально была 45к, а теперь уже 720к и постоянно обновляется зараза
повторяю для тех, кто не читает с первого раза - значит не выключил AWL
bel писал(а):
corvax писал(а): можно взглянуть на
ps axwu | grep spamd
и на
grep spamd_flags /etc/rc.conf
?
не вопрос ...

mail5# ps -ax | grep spam
69903  ??  Ss     2:52.47 /usr/local/bin/spamd -d -a -u filter -x -s local5 (perl)
 464 con- S    190:17.73 /usr/local/sbin/spamass-milter -b spam@localhost -p /var/run/spamass-milter.sock
я ж говорил, что не отключил...
man spamd | col -b | grep -e "  -a"
bel писал(а): а в rc.conf никаких упоминаний про spamd нет в помине
откуда им там взяться?
потому что стартовый скрипт из свежего spamassassin читает из /etc/rc.conf переменные ${spamd_enable}, ${spamd_pidfile} и (что самое главное) - ${spamd_flags}
--
/corvax

virt
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2004, 11:11
Откуда: Москва

Сообщение virt » 09 дек 2004, 13:38

Хочу сделать апгрейд  на SA 3.0.1
Cейчас работает 2.64
Система FreeBSD 4.10
установленные perl модули:
p5-ExtUtils-MakeMaker-6.24          
p5-HTML-Parser-3.38                
p5-HTML-Tagset-3.03                
p5-IO-INET6-2.01                  
p5-IO-Socket-SSL-0.96              
p5-MIME-Base64-3.05                
p5-Mail-Tools-1.64                  
p5-Net-1.19,1                      
p5-Net-CIDR-Lite-0.15              
p5-Net-DNS-0.48                    
p5-Net-SSLeay-1.25                  
p5-PodParser-1.28_1                
p5-SNMP_Session-1.06                
p5-Socket6-0.17                    
p5-Storable-2.13                  
p5-Sys-Hostname-Long-1.2            
p5-Time-HiRes-1.59,1              
p5-URI-1.34                        
p5-XML-Parser-2.34_1              
p5-XML-SAX-Base-1.04                
p5-gettext-1.01_4    



Устанавливаю из портов SA 3.0.1_2
делаю make
захожу в директорию инсталяции и делаю
make test

-------
t/spamc_l...........ok 1/3      Not found: connfailed =  spamc: connect(AF_INET)
to spamd at 127.0.0.1 failed, retrying (#1 of 3): Connection refused
FAIL: Some other process running on port 8?  Test assumes nothing is listening o
n port 8. at t/spamc_l.t line 6.
t/spamc_l...........FAILED test 3
       Failed 1/3 tests, 66.67% okay

---------
Причем тесты spamc  пытается делает очень долго.


В логах наблюдаю следующее:

Dec  9 10:45:49 rtr spamc[75754]: connect(AF_INET) to spamd at 127.0.0.1 failed, retrying (#2 of 3): Operation timed out

Dec  9 10:47:05 rtr spamc[75754]: connect(AF_INET) to spamd at 127.0.0.1 failed, retrying (#3 of 3): Operation timed out


Что означает эта ошибка?

Спасибо

virt
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2004, 11:11
Откуда: Москва

Сообщение virt » 09 дек 2004, 16:05

Сам и отвечаю:
проблема была в установленных sysctl
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

virt
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2004, 11:11
Откуда: Москва

Сообщение virt » 15 дек 2004, 13:34

А можно ли с помощью Spamassassin сделать следующее?

Я прописываю тематические "белые" ключевые слова, и письма содержащие их фильтр пропускает.

Хочется:
Фильтр пропускает первые заданное количество несколько писем из рассылки, содержащей данные "белые" ключевые слова.
А остальные письма, убедившись, что идут одни повторы той же самой рассылки - блокирует, то есть повышает пойнты.

Возможно ли?

ssskazak
Junior member
Сообщения: 1
Зарегистрирован: 18 дек 2004, 18:12

Проблемки...

Сообщение ssskazak » 18 дек 2004, 18:26

Существует две проблемы.
1. SA не желает добавлять в пустой сабжект письма пометку о том, что это спам, хотя по хидерам видно, что детект этого сообщения произошел. Куда хоть смотреть направьте. Если сабжект в письме есть, то пометка добавляется нормально.
2. От милтера пришлось отказаться из-за большой заргузки машины. Перевел проверку на procmail. Но и тут оказались проблемы. Судя по логам, письмо попадает к демону только спустя эдак минут 15 после того, как оно попало в систему. Это при использовании глобального Procmailrc, если же Procmailrc использовать для кажого пользователя, то все нормально работает(что пока и сделано...). В связи с этим прошу помощи. (На тестовой машине через глобальный Procmailrc все работало и работает нормально)

Версия SA - 3.0.0
ОС - ASP Linux 9.2

MikolaT
member
Сообщения: 26
Зарегистрирован: 17 мар 2004, 09:59

мысль про баесовские веса

Сообщение MikolaT » 10 фев 2005, 13:10

Тут возникла такая мысль:

уже полгода стоит спамотсосин и последнее время начал много пропускать спама, несмотря на то что система постоянно обучается.

Так вот сама мысль: после того как система уже достаточно точно знает что для нас является спамом, а что нет, можно дать другие веса баесовским критериям. И я поставил следующие занчения:

Код: Выделить всё

score BAYES_00			0.0
score BAYES_01			0.1
score BAYES_10			0.9
score BAYES_20			1.4
score BAYES_30			1.8
score BAYES_40			2.0
score BAYES_44			2.8
score BAYES_50			3.2
score BAYES_56			4.0
score BAYES_60			5.2
score BAYES_70			6.5
score BAYES_80			8.3
score BAYES_90			9.5
score BAYES_99			12.8
пока слежу за этим делом, спам стал практически весь снова отлавливаться, в то время как ложных срабатываний пока не было.
Послежу за этим делом пару тройку дней, там будет  видно...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1984
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 11 фев 2005, 10:27

virt писал(а):А можно ли с помощью Spamassassin сделать следующее?

Я прописываю тематические "белые" ключевые слова, и письма содержащие их фильтр пропускает.

Хочется:
Фильтр пропускает первые заданное количество несколько писем из рассылки, содержащей данные "белые" ключевые слова.
А остальные письма, убедившись, что идут одни повторы той же самой рассылки - блокирует, то есть повышает пойнты.

Возможно ли?
возможно но это убъёт сам смысл использования адаптивного антиспама.
Для этого нужно написать собственный фильтр и задать для него собственную оценку.

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»