SpamAssassin не выдерживает нагрузки.

smacorp · Сообщение **smacorp** » 22 апр 2008, 13:48

Здравствуйте. Встречался ли кто-нибудь с подобной ситуацией?

FreeBSD+Sendmail+Spamass-Milter+SpamAssassin. Все замечательно работает пока, насколько я понимаю, количество спама не начинает зашкаливать.

В логи начинают сыпаться сообщения:

"server reached --max-children setting, consider raising it"
и
"connect to spamd on 127.0.0.1 failed, retrying: Operation timed out"
и
"Milter (spamassassin): to error state"

Ну и, как следствие, огромное количество пропущенного спама в почтовые ящики юзеров.

Проходит некоторое время, количество спама снижается, и Assassin снова начинает чудно справляться со своими обязанностями.

Что делать и как это побороть? Пробовал увеличивать количество потомков - 10, 15, 25 - все равно наступает момент когда в логи лезет "server reached --max-children setting".

Перешел на хранение Байеса в MySQL, отключил AutoWhiteList, увеличил количество максимальных соединений на потомка до 1000 (и 10000 пробовал, без разницы).

В общем, ничего сделать не удалось. Все равно 2-3 раза в день Assassin перестает справляться. И это на 3 ГГц процессоре при 100% загрузке. Ну не Xeon на 4 ядра же ставить, чтобы этот мусор фильтровать?!

Или это нормальное поведение и решения нет?

Сообщение **setar** » 24 апр 2008, 10:29

поведение не нормальное, у меня так было при очередном апдейте библиотек каких то - вот такое же поведение наблюдалось.
После пересборки всех зависимых пакетов всё пришло в норму.
Если в вашем случае дистрибутив цельный и установленный из пакетов то единственное что могу посоветовать - сделайте ожидание почты при недоступности спамассасина. Это весьма замедлит ходение почты в пиковые моменты, но не даст доставлять спам через переполнение

Сообщение **Stranger03** » 24 апр 2008, 10:32

setar писал(а):поведение не нормальное

Серг, это же БСД. Там как правило все собирается из портов.
В качестве хинта я бы сделал так: обновил все порты через СВУП, пересорбрал спамасс, мильтер, обновил почтовик + переобучил с новыми базами баес.

Сообщение **setar** » 24 апр 2008, 10:55

с БСД мало сталкивался, а там есть контроль зависимостей всяких либ когда пакет обновляешь ?

Сообщение **Stranger03** » 24 апр 2008, 11:00

setar писал(а): с БСД мало сталкивался, а там есть контроль зависимостей всяких либ когда пакет обновляешь ?

Если ставить из портов, то он сам вытаскивает нужные, компилит по ходу и ставит. Очень знаете ли удобно. Я много лет назад как-то с БСД на линукс попробовал переехать, меня так доставали эти зависимости пакетов. А на БСД зашел в порт - "мейк анд мейк инсталл" и все. Очень удобно.

Сообщение **setar** » 24 апр 2008, 12:23

Stranger03 писал(а):
setar писал(а): с БСД мало сталкивался, а там есть контроль зависимостей всяких либ когда пакет обновляешь ?
Если ставить из портов, то он сам вытаскивает нужные, компилит по ходу и ставит. Очень знаете ли удобно. Я много лет назад как-то с БСД на линукс попробовал переехать, меня так доставали эти зависимости пакетов. А на БСД зашел в порт - "мейк анд мейк инсталл" и все. Очень удобно.

ты мне Gentoo`шнику это не рассказывай, сам знаю как это удобно

squirL · Сообщение **squirL** » 06 май 2008, 18:12

а нет желания, сменить продукт написанный на Perl на продукт написанный на C? например на DSpam?

я, как perl разработчик, могу заявить - как бы вы не крутили и не тюнили - perl такой нагрузки не вытянет, рано или поздно упретесь...

Сообщение **Stranger03** » 07 май 2008, 07:30

squirL писал(а):а нет желания, сменить продукт написанный на Perl на продукт написанный на C? например на DSpam? я, как perl разработчик, могу заявить - как бы вы не крутили и не тюнили - perl такой нагрузки не вытянет, рано или поздно упретесь...

Ага, вы это Сетару расскажите, у которого почта от 50-ти доменов идет на один сервер. + вся корпоративная почта. Просто надо немного приложить мозги, чтобы правильно работало.

sivanov · Сообщение **sivanov** » 07 май 2008, 08:06

Если уместно, можно сильно уменьшить количество спама таки доходящего до SA использованием грейлистинга.
У нас около 1500 почтовых ящиков, стоит касперский анти-спам. Пару месяцев назад началось прямо-таки обострение, совсем фигово стало жить: по 25 порту трафик с и-нета порядка 25Гб в месяц. Касперский терзал проц нещадно.
Передалал настроики почтовика на работу с разными конфигами для корпоративной и внешней почты, внутренняя почта проходит только через антивирус, на прием внешней стоит greylisting policy daemon. Так вот, теперь спама доходящего до него, касперский анти-спам практически не регистрирует. Ну, только тот что постмастеру предназначается

Сообщение **Stranger03** » 07 май 2008, 08:31

sivanov писал(а):через антивирус, на прием внешней стоит greylisting policy daemon. Так вот, теперь спама доходящего до него, касперский анти-спам практически не регистрирует. Ну, только тот что постмастеру предназначается

Ну вообщем тоже вариант, правда грейлисты немного увеличивают задержки при прохождении почты. Сетар этим тоже пользуется насколько я знаю.

Сообщение **setar** » 07 май 2008, 10:29

сейчас грей листы отключены по пожеланиям сотрудников - ведётся отсечка практически всех бесплатных почтовых систем, они на повторную передачу письма не приходят. А жаль, механизм очень эффективный

squirL · Сообщение **squirL** » 07 май 2008, 14:07

Stranger03 писал(а): Ага, вы это Сетару расскажите, у которого почта от 50-ти доменов идет на один сервер. + вся корпоративная почта. Просто надо немного приложить мозги, чтобы правильно работало.

ну т. е. - у меня мозгов нету и spamassassin способен справиться с любой нагрузкой?

2 smacorp
попробуйте грейлистинг + попробуйте ограничивать количество писем с одного ip в единицу времени. таким образом можете разгрузить spamassassin

еще - хотелось бы глянуть на вывод диагностических утилит в момент перегрузок spamassassin. вывод top, к примеру

Сообщение **setar** » 07 май 2008, 17:41

2 squirL что за провакации?
Само собой любой обработчик написанный на перле или на си имеет свой предел потока запросов которые он способен обработать.
Другое дело есть механизмы уменьшающие этот поток, часть вы и сами назвали, я бы добавил ручные блек листы по анализам логов, блеклисты спамеров (reject_rbl_client), отсечение "торопливых почтовиков" начинающих общаться до приглашения системы (reject_unauth_pipelining) и другие профилактичесие меры (например проверка SPF)

squirL · Сообщение **squirL** » 08 май 2008, 09:30

никаких провокаций, упаси Бог. просто я хочу напомнить автору, что в определенных ситуациях - спасает только замена используемого решения.

я бы добавил ручные блек листы по анализам логов, блеклисты спамеров (reject_rbl_client), отсечение "торопливых почтовиков" начинающих общаться до приглашения системы (reject_unauth_pipelining) и другие профилактичесие меры (например проверка SPF)

вот тут +1. правда к rbl спискам я отношусь с опаской. вспомнить только недавнюю историю с ordb.org.

Ziggy Stardust

Greet pause + greylist довольно существенно урежут процент спама доходящего до ассассина.

Паралельно можно парсить лог почтовика и файерволить на какое-то время релеи, которые не соблюдают гритпаузу.

SpamAssassin не выдерживает нагрузки.

SpamAssassin не выдерживает нагрузки.

Кто сейчас на конференции