Итоги выпадения спамасс-милтера

[Altair]

Имеем
Фря 5.4. Сендмаил 8.13.5 Топик Спамасасин 3.1.0. спамас-милтер 0.3.0.
Все работает на ура, и прекрасно, но как и у многих периодически выпадает милтер, я заметил, что милтер после запуска начинает расти в размерах, очевидно по мере пропускания через себя мыла, и потом "лопается как мыльный пузырь", команда sockstat | grep spamass-milter
показала постоянное увеличение потоков милтера:

root     spamass-mi 453   172stream /var/run/spamass-milter.sock
root     spamass-mi 453   173stream /var/run/spamass-milter.sock
root     spamass-mi 453   174stream /var/run/spamass-milter.sock
root     spamass-mi 453   175stream /var/run/spamass-milter.sock
root     spamass-mi 453   176stream /var/run/spamass-milter.sock
root     spamass-mi 453   177stream /var/run/spamass-milter.sock
root     spamass-mi 453   178stream /var/run/spamass-milter.sock
root     spamass-mi 453   179stream /var/run/spamass-milter.sock
root     spamass-mi 453   180stream /var/run/spamass-milter.sock
root     spamass-mi 453   181stream /var/run/spamass-milter.sock
root     spamass-mi 453   182stream /var/run/spamass-milter.sock
root     spamass-mi 453   183stream /var/run/spamass-milter.sock
root     spamass-mi 453   184stream /var/run/spamass-milter.sock
root     spamass-mi 453   185stream /var/run/spamass-milter.sock
root     spamass-mi 453   186stream /var/run/spamass-milter.sock
root     spamass-mi 453   187stream /var/run/spamass-milter.sock
root     spamass-mi 453   188stream /var/run/spamass-milter.sock
root     spamass-mi 453   189stream /var/run/spamass-milter.sock

такое впечатление , что письмо проходит через него, но поток не закрывается, что делать ?
Также повесить милтер можно легко, для этого надо просто отправить через хост очень большое письмо, в моем случае 100МБ, тогда милтер неимоверно раздуваеться  и ему нехватает диска, поскольку он свопиться почему-то на / в результате он выпадает в кору на / и его надо перезапускать, отсюда вопрос, как его заставить работать в другом разделе, например в /var ?

прочитав всю конфу я пришел к выводу, что мнения разделились и есть всего два выхода:
1. добавить в конфиг сендмыла
define (`confSEPARATE_PROC' `TRUE')
(добавил, эффекта нет)
define(`confMAX_DAEMON_CHILDREN', `15')
(решил не добавлять, т.к. по умолчанию неограничено)
в результатет не помогло

2. Заменить spamass-milter на  milter-spamc - еще не пробовал

Как быть ? незагонять же в конце концов милтер в крон

[Stranger03]

Имеем
Фря 5.4. Сендмаил 8.13.5 Топик Спамасасин 3.1.0. спамас-милтер 0.3.0.
Все работает на ура, и прекрасно, но как и у многих периодически

Как-то давно тоже боролся с подобной проблемой. Решил ограничением одновременных коннектов в почтовике и переходом с 8.11 на 8.12. Попробуйте. Если дадите свой mc, может там что-то найдем некорректное.

[Altair]

У меня тоже в настоящее время борьба продолжаеться , пока безуспешно, уже пришел совет перейти под MIMEDefang, но не хочеться, т.к. народ же как-то заставил работать сие чудо ? Мой конфиг

divert(0)
VERSIONID(`$FreeBSD: src/etc/sendmail/freebsd.mc,v 1.29 2003/12/24 21:15:09 gshapiro Exp $')
OSTYPE(freebsd5)
DOMAIN(generic)

FEATURE(access_db, `hash -o -T<TMPF> /etc/mail/access')
FEATURE(blacklist_recipients)
FEATURE(local_lmtp)
FEATURE(mailertable, `hash -o /etc/mail/mailertable')
FEATURE(virtusertable, `hash -o /etc/mail/virtusertable')
define(`confCR_FILE', `/etc/mail/relay-domains')
dnl spamassasin
INPUT_MAIL_FILTER(`drweb-scaner', `S=inet:3001@localhost, F=T, T=C:1m;S:5m;R:7m;E:1h')
INPUT_MAIL_FILTER(`spamassassin', `S=local:/var/run/spamass-milter.sock, F=T, T=C:15m;S:4m;R:4m;E:10m')
define(`confMILTER_MACROS_CONNECT', `b, j, _, {daemon_name}, {if_name}, {if_addr}')
define(`confMILTER_LOG_LEVEL', `6')
dnl drweb
define(`confSEPARATE_PROC', `TRUE')
dnl Uncomment to allow relaying based on your MX records.
dnl NOTE: This can allow sites to use your server as a backup MX without
dnl       your permission.
dnl FEATURE(relay_based_on_MX)

dnl DNS based black hole lists
dnl --------------------------------
dnl DNS based black hole lists come and go on a regular basis
dnl so this file will not serve as a database of the available servers.
dnl For that, visit
dnl http://directory.google.com/Top/Compute ... lacklists/

dnl Uncomment to activate Realtime Blackhole List
dnl information available at http://www.mail-abuse.com/
dnl NOTE: This is a subscription service as of July 31, 2001
dnl FEATURE(dnsbl)
dnl Alternatively, you can provide your own server and rejection message:
dnl FEATURE(dnsbl, `blackholes.mail-abuse.org', `"550 Mail from " $&{client_addr} " rejected, see http://mail-abuse.org/cgi-bin/lookup?" $&{client_addr}')

dnl Dialup users should uncomment and define this appropriately
dnl define(`SMART_HOST', `your.isp.mail.server')

dnl Uncomment the first line to change the location of the default
dnl /etc/mail/local-host-names and comment out the second line.
dnl define(`confCW_FILE', `-o /etc/mail/sendmail.cw')
define(`confCW_FILE', `-o /etc/mail/local-host-names')

dnl Enable for both IPv4 and IPv6 (optional)
DAEMON_OPTIONS(`Name=IPv4, Family=inet')
dnl DAEMON_OPTIONS(`Name=IPv6, Family=inet6, Modifiers=O')

define(`confBIND_OPTS', `WorkAroundBrokenAAAA')
define(`confNO_RCPT_ACTION', `add-to-undisclosed')
define(`confPRIVACY_FLAGS', `authwarnings,noexpn,novrfy')
MAILER(local)
MAILER(smtp)


Вообщем-то все просто...

[Stranger03]

INPUT_MAIL_FILTER(`drweb-scaner', `S=inet:3001@localhost, F=T, T=C:1m;S:5m;R:7m;E:1h')
INPUT_MAIL_FILTER(`spamassassin', `S=local:/var/run/spamass-milter.sock, F=T, T=C:15m;S:4m;R:4m;E:10m')

Здесь флаг F=T можно заменить на F=, чтобы не было реджекта, если упадет спамер. Все-таки лучше пропустить письмо, чем его потерять.

define(`confMILTER_MACROS_CONNECT', `b, j, _, {daemon_name}, {if_name}, {if_addr}')

Эта строчка в принципе не нужна особо. По крайней мере для СА

Ниже мой конфиг:

Код: Выделить всё

define(`confMAX_MIME_HEADER_LENGTH', `256/128')
define(`confMAX_MESSAGE_SIZE', 25000000)
define(`confNO_RCPT_ACTION', `add-to-undisclosed')
define(`confPRIVACY_FLAGS', `authwarnings,noexpn,novrfy,noetrn,nobodyreturn,goaway,restrictmailq,restrictqrun')
define(`confSMTP_LOGIN_MSG',`Antispam-MTA; "Non-authorized relaying DENIED." $b')
define(`confMAX_RCPTS_PER_MESSAGE', `5')
define(`confMAX_DAEMON_CHILDREN', `15')
define(`confCONNECTION_RATE_THROTTLE', `2')
define(`confMAX_HOP',10)

INPUT_MAIL_FILTER(`spamassassin', `S=local:/var/run/spamass-milter.sock, F=, T=C:15m;S:4m;R:4m;E:10m')
INPUT_MAIL_FILTER(`avemilter',`S=inet:3360@127.0.0.1,F=T,T=C:20s;S:1m;R:2m')
define(`confMILTER_LOG_LEVEL',`6')

Как вариант - ограничте количество одновременных коннектов, ограничте количество демонов на обруботку, поднимите уровень лога, может там что проскочит интересное.

[Altair]

Значиться так, сейчас, после очередного перезапуска милтера начинает опять расти кол-во открытых сокетов по
sockstat | grep spam ,
что со временем приведет к падению spamass-milter'a,
опытным путем я заметил, что почта со спамом начинает накапливаться в /var/spool/mqueue  
и /var/spool/clientmqueue,
уже сразу возникает вопрос, а почему ?,
ведь в скрипте запуска spamass-milter'a  прописано "-b мое@мыло.ком -г 5" , а в алиасах сендмыла указывается что рут - это мое мыло, т.е. по логике, куда бы мыло не форвадилось, или на рута или мне, оно должно попасть мне .......   вообщем уже чудеса,
на всяк случай добавил строчку в /etc/mail/virtusertable   рут@домен - мой почтовый ящик, тем не менее не помогло, накопления в сокетах и мылоожидании растут... НО
если убрать "-b мое@мыло.ком -г 5" , т.е. оставить только

/usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter.sock

то все работает на ура - ничего не разростается, вот только я не понял куда спамовые письма идут, есть подозрение, что они проходят далее к клиентам, с уведомлениями что они спамовые , а мне надо, что бы они все шли ко мне в мой ящик...... как быть ?

[Altair]

Вобщем так, в таком режиме сокеты растут

root     spamass-mi 1227  3  dgram  -> /var/run/logpriv
root     spamass-mi 1227  4  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  5  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  6  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  7  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  8  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  9  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  10 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  11 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  12 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  13 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  14 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  15 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  16 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  17 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  18 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  19 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  20 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  21 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  22 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  23 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  24 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  25 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  26 stream /var/run/spamass-milter.sock
root     spamass-mi 1227  27 stream /var/run/spamass-milter.sock
primetime# ps -axxw | grep spam
 551  ??  Ss     0:03.02 /usr/local/bin/spamd -d -u nobody (perl)
 590  ??  S      1:22.18 spamd child (perl)
 591  ??  S      0:08.90 spamd child (perl)
1227  ??  Ss     0:04.23 /usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter.sock -b holmes@primetime.com.ua -r 5
2268  p1  S+     0:00.00 grep spam


а таком нет


root     spamass-mi 1227  3  dgram  -> /var/run/logpriv
root     spamass-mi 1227  4  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  5  stream /var/run/spamass-milter.sock
root     spamass-mi 1227  6  stream /var/run/spamass-milter.sock
primetime# ps -axxw | grep spam
 551  ??  Ss     0:03.02 /usr/local/bin/spamd -d -u nobody (perl)
 590  ??  S      1:22.18 spamd child (perl)
 591  ??  S      0:08.90 spamd child (perl)
1227  ??  Ss     0:04.23 /usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter.sock
2268  p1  S+     0:00.00 grep spam

неустраивает то, что мыло хоть и помечаеться как спам, но пролетает далее к юзерам, конечно можно на их машинах прикрутить фильтры, или на серваке что-нибудь придумать, но хотелось бы компактно, средствами спамас-милтера

2Stranger03: Ваше предложение сделать F= имхо неприемлемо, т.к. в случае падения милтера спам будет проходить мимо, и тогда смысл ?
Все остальное тоже не играет "рояли" т.к. если спам незаворачивать на себя, то все работает и так хорошо....

[corvax]

Значиться так, сейчас, после очередного перезапуска милтера начинает опять расти кол-во открытых сокетов по
sockstat | grep spam ,
что со временем приведет к падению spamass-milter'a,
опытным путем я заметил, что почта со спамом начинает накапливаться в /var/spool/mqueue  
и /var/spool/clientmqueue,
уже сразу возникает вопрос, а почему ?,

-r с -b или -B плохо живут
кроме того, юзайте обязательно -i для своих сетей
по крайней мере, 127.0.0.1 должен быть там прописан

[Altair]

Хрен его знает, "кто с кем живет", а пока юзаю такую конструкцию

552  ??  Ss     0:02.83 /usr/local/bin/spamd -d -u nobody (perl)
 589  ??  S      0:59.24 spamd child (perl)
 590  ??  S      0:06.82 spamd child (perl)
1352  ??  Ss     0:00.74 /usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter.sock -b holmes@primetime.com.ua
1643  ??  S      0:00.01 /usr/local/bin/spamc

т.е. без -r 5 по большому счету, мне достаточно того, что бы то что считаеться спамом,(переваливает за 5 баллов)  сыпалось мне на ящик для контроля... завтра посмотрю сокеты

[corvax]

Хрен его знает, "кто с кем живет", а пока юзаю такую конструкцию

552  ??  Ss     0:02.83 /usr/local/bin/spamd -d -u nobody (perl)
 589  ??  S      0:59.24 spamd child (perl)
 590  ??  S      0:06.82 spamd child (perl)
1352  ??  Ss     0:00.74 /usr/local/sbin/spamass-milter -f -p /var/run/spamass-milter.sock -b holmes@primetime.com.ua
1643  ??  S      0:00.01 /usr/local/bin/spamc

т.е. без -r 5 по большому счету, мне достаточно того, что бы то что считаеться спамом,(переваливает за 5 баллов)  сыпалось мне на ящик для контроля... завтра посмотрю сокеты

я так понимаю, что совет на счет -i пошел по одному месту? как угодно...

[Altair]

2corvax: А зачем определять -i ? чтоб он свою локалку не проверял ?, дык вроде local.cf все определено...

2 ALL: Раз я тему поднял, попробую ее закрыть, сейчас работает все хорошо, чего и Вам желаю, милтер не раздувается, сокеты не растут, все тип топ..... А теперь общее мнение.......хм ну что сказать......
очевидно как и весь бесплатный софт, все имеет свои забубоны, т.е. как только мы начинаем отдаляться от базиса ФРИ (в моем случае), т.е. от стандартных файрвола, сквида, сендмыла, ната и пр. сразу начинаються надопонимания, что-то аналогичное у меня было когда я настраивал софт по учету траффика "нетамс", тоже, много глюков, много ньюансов, много несоответствий тому, что говорят в конфе и гуру, которые смогли настроить это чудо...вообщем как тогда неделя ушла на нетамс, так и сейчас на спамассасин ушло четыре дня.......  прошу понять меня правильно, огромное спасибо конечно Сетару и Странджеру03, но и в их конфигах имхо, много несоответствий, например F=T (настройки милтера в сендмаил.цф), Сетар рекомендует так, Странджер03 и разработчик - F=  , т.к. получилось, что есть глюк, когда в скрипте запуска участвует -r 5 (у кого может быть другое число, но -r (чего-то там) рекомендовали и Сетар и Странджер), то в результате, по крайней мере у меня спамовое мыло при ощутимой нагрузке задерживалось в clientmqueue, тем самым расли открытые сокеты и все в результате падало,  конечно F= есть полумера, которая не блокирует почту в принципе и при этом не перегружает милтер/не растут открытые сокеты, но имхо это только полумера, т.к. при этом часть спамовых писем проходит далее юзерам замечу, также что в скрипте запуска разработчика милтера опции -r -b отсутствуют напроч, но и это не выход, по крайней мере для меня, т.к. мне надо чтобы весь спам щел ко мне... ну и много прочих мелких ньюансов, например в письме выше Странджер03 рекомендует уменьшить кол-во одновременных коннектов, имхо, нет смысла, т.к. какя разница сендмейлу сколько сессий 15 или 30, все равно, только когда письмо полностью будет принято, оно будет передано милтерам на обработку, и в случае одновременной передачи хотябы двух потоков мыла на милтер при опции в скрипте запуска - r в моем случае наблюдался вышеописанный глюк.
2Странджер03 Вы выше рекомендовали мне ненужность строчки
define(`confMILTER_MACROS_CONNECT', `b, j, _, {daemon_name}, {if_name}, {if_addr}')
но она рекомндована разработчиками милтера, и т.п.

так что вот так везде по чуть чуть и рабочая неделя прошла хорошо , что хоть проблем не возникло с обучением СА и т.д.

И все равно ВСЕМ БОЛЬШОЕ СПАСИБО....

[corvax]

2corvax: А зачем определять -i ? чтоб он свою локалку не проверял ?, дык вроде local.cf все определено...

если для вас -i в параметрах spamass-milter тоже самое, что и trusted_networks в local.cf, то мне сказать нЕчего

[Stranger03]

-r с -b или -B плохо живут
кроме того, юзайте обязательно -i для своих сетей
по крайней мере, 127.0.0.1 должен быть там прописан

Погодите, как это плохо живут? Вот реальный рабочий конфиг:

Код: Выделить всё

#!/bin/sh

DAEMON=/usr/local/sbin/spamass-milter
SOCKET=/var/run/spamass-milter.sock
PIDFILE=/var/run/spamass-milter.pid
SPAMADRESS=spam@xxxxxx.com

case "$1" in
start)
        if [ -f "${DAEMON}" -a -x "${DAEMON}" ]
        then
                "${DAEMON}" -b "${SPAMADRESS}" -p "${SOCKET}" -f -r 15 &
                echo $! > "${PIDFILE}"
                sleep 1
                kill -HUP `head -1 /var/run/sendmail.pid`
                echo -n ' spamass-milter running'
        fi
;;
stop)
        if [ -f "${PIDFILE}" ]
        then
                read -r pid junk < "${PIDFILE}"
                kill ${pid}
                rm -f "${SOCKET}" "${PIDFILE}"
                sleep 1
                kill -HUP `head -1 /var/run/sendmail.pid`
                echo -n ' spamass-milter stopped'
        fi
;;
esac

Тьфу, все вроде работает, не падает.

[Stranger03]

2Stranger03: Ваше предложение сделать F= имхо неприемлемо, т.к. в случае падения милтера спам будет проходить мимо, и тогда смысл ?

Смысл в том, что почту с вирусами желательно конечно не пропускать. А спам, на что ж, это же для удобства, а не для защиты как таковой. Конечно это мое ИМХО, я не настаиваю.

[corvax]

-r с -b или -B плохо живут
кроме того, юзайте обязательно -i для своих сетей
по крайней мере, 127.0.0.1 должен быть там прописан

Погодите, как это плохо живут? Вот реальный рабочий конфиг:

Код: Выделить всё

skipped

Тьфу, все вроде работает, не падает.

да в этом же форуме поднимали вопрос о зацикливании писем, пересылаемых на адрес из -b (или -B)
я сам код милтера смотрел - там не было исключений для этого адреса. правда, это было до релиза 0.3.0

[corvax]

2Stranger03: Ваше предложение сделать F= имхо неприемлемо, т.к. в случае падения милтера спам будет проходить мимо, и тогда смысл ?

Смысл в том, что почту с вирусами желательно конечно не пропускать. А спам, на что ж, это же для удобства, а не для защиты как таковой. Конечно это мое ИМХО, я не настаиваю.

+1

борьба со спамом не должна становиться самоцелью