Mysql Cluster + Dbmail (аппаратные требования)

Вопросы программирования БД, их оптимизации, резервирования и восстановления данных.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 02 окт 2006, 10:37

Banan писал(а):два x306m для:

1. ns1 и ns2,
2. плюс CARP - на разшареном ипе exim, teapop, courier?(чоб был IMAP); данные авторизации для всех участвующих в работе почты - в мускуле, данные - Maildir. Мускульный кластер для этих двух машин.
Господи боже, и это все вы хотите водрузить на 4000 пользователей? Мда, коллега, работать это не будет. Ну разве что если из 4-х тысяч ящиков с почтой будет работать в лучшем случае пара десятков человек. Остальные будут курить бамбук, пока кто-то не освободит ресурс.
1. При таких задачай слово ФрииБСД надо забыть сразу и навсегда, при всей моей любви к этой ОС.
2. Минимум вам нужна достаточно сильная машина с 4-мя процессорами, чтобы разделить потоки обработки данных.
3. Вам нужна дисковая стойка, файберная, к этому серверу, чтобы успевала отдавать и принимать информацию.
То есть из всего вышесказанного вы можете либо заниматься самосбором на каком-нибудь интеловском или микровом сервере хотя бы с Редхатом или Suse. А по хорошему надо бы смотреть в сторону P5-го с Аиксом или Сановским спарком с Соляркой.
Предлагаю нам с вами встретиться и обсудить варианты, раз уж с одного 306-го сервера мы уже начали работать. По крайней мере мы вам сможем много рассказать в этом направлении.

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

а вот ничего подобного!

Сообщение Banan » 02 окт 2006, 20:51

какие-то странные теологические доводы...

Я имею опыт работы с нагружеными серверами; в то же время я не собираюсь делать мэйл ру. Поэтому я довольно адекватно представляю себе как, что и благодаря чему будет работать/грузить/падать. Аикс и солярка это прекрасно, но я их не умею. выбор IBM - не мой, но он мне по душе. Потому x306m, уже описаный в привате партнамбер, и 2 гига оперативы мне вполне выше крыши. Ждите заказа.

ПыСы. Дамп спасет отца русской демократии!

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: а вот ничего подобного!

Сообщение Stranger03 » 02 окт 2006, 21:04

Banan писал(а):какие-то странные теологические доводы...
Это не теологические выводы, а рассуждения, подкрепленные многолетней практикой.
Ну да ладно, вам виднее.

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 03 окт 2006, 10:03

Если кому интересно. Имею Lotus кластер из 3х машин - довольно средние сервера HP (DL320). Число пользователей как раз в районе 4х тыс. Вполне справляются. Шлюз, антивирус, антиспам сюда не входит. Есть тонкий момент - около 80% пользователей имеют ящики не более 50М. Никакого хранилища нет, но если размер ящиков будет поболее :), то практически во всем согласен со Stranger03.

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 03 окт 2006, 10:43

Andrew Sapronov писал(а):Если кому интересно. Имею Lotus кластер из 3х машин - довольно средние сервера HP (DL320). Число пользователей как раз в районе 4х тыс. Вполне справляются. Шлюз, антивирус, антиспам сюда не входит. Есть тонкий момент - около 80% пользователей имеют ящики не более 50М. Никакого хранилища нет, но если размер ящиков будет поболее :), то практически во всем согласен со Stranger03.
Вот в том-то и дело, что при pop3 нарот не держит письма на сервере - вот сейчас прямо смотрю вышеописаный селерон, обслуживающий уже давно за 4 тыщи узеров - выделен раздел, на разделе занято 916М. Антивирус и антиспам есь.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 03 окт 2006, 17:06

Banan писал(а):4 тыщи узеров - выделен раздел, на разделе занято 916М. Антивирус и антиспам есь.
Подумайте сами, предположим в офисе 1000 юзеров по 50МБ ящик, итог 50 гигов. Предположим 10% из них заняты почтой - 5ГБ. Предположим 100 юзеров в 8.00 пришли в офис и открыли почту, чтобы скачать 5-ю часть почты, итог 1ГБ. Уверяю вас, сервер встанет раком на какое-то время. Ну а если предположить, что в это время надо еще почтовику принять скажем 100 писем по 10КБ, обработать спамером, антивирусом и прочим г.. Ну-ну.
Думаю это бессмысленный спор, пора завязывать.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 03 окт 2006, 17:08

Andrew Sapronov писал(а):Если кому интересно. Имею Lotus кластер из 3х машин - довольно средние сервера HP (DL320). Число пользователей как раз в районе 4х тыс. Вполне справляются. Шлюз, антивирус, антиспам сюда не входит.
Ключевой момент: Lotus кластер из 3х машин и Шлюз, антивирус, антиспам сюда не входит.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 03 окт 2006, 17:13

To: "Banan" Коллега, не расцените эти ответы как наезд, это лишь наше мнение. Вы конечно же можете делать так, как вам удобнее. Мы же с Шатцем останемся при своем мнении, если позволите, :twisted:.

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 03 окт 2006, 17:40

Stranger03 писал(а): Ключевой момент: Lotus кластер из 3х машин и Шлюз, антивирус, антиспам сюда не входит.
Эээ ... ну я в общем не хотел сказать, что конфигурация тов. банана мне по душе, более того в софтовом плане, на мой взгляд, полный бред. Я хотел лишь присоветовать такой вариант. ИМХО на железе банана Лотусовый кластер с внешним шлюзом и фильтрацией вполне жизнеспособен на двух серверах такого класса при условии НЕ хранения всей почты на оных

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 03 окт 2006, 23:23

Поскольку массивные почтовые системы -- это основная тема моей монографии, я насобирал некоторые материалы за годы и могу с вами ими поделится:

1. Оригинальный документ с описанием правильной архитектуры:
http://www.vergenet.net/linux/mail_farm/

2. Knowles делает обзор этого и более ранних материалы по теме (2000 год):
Design and Implementation of Highly Scalable E-mail Systems
http://www.usenix.org/events/lisa00/inv ... nowles.pdf

В современных условиях надо вместо perdition использовать nginx (http://www.sysoev.ru/nginx/), а вместо всяких courier/qpopper - dovecot. Индексы dovecot выносить на быстрые диски. Если вдруг появится возможность, то разжиться battery-backed RAM диском (не знаю где взять в России) и держать на нём индексы вместе с "быстрой" очередью MTA. Те письма что не отправились за ~час, перемещать из быстрой очереди на отдельный fallback релей. На этот же диск можно засунуть лог файловой системы с собственно почтой. Мои эксперементы показывают что использование рам-диска для таких задач ускоряют доставку в десятки раз. Но без батарейки - стрёмно.

3. Как устроен outblaze (mail.com и пр.)
http://apcauce.mail.daum.net/meeting/me ... lboxes.pdf
4. Ситуация с IMAP, чем на практике она отлична от POP3:
http://www.shub-internet.org/brad/paper ... ISTPNI.pdf
5. Африканцев учат устраивать почту :
http://ws.edu.isoc.org/workshops/2005/p ... tering.htm
не уверен что хороший пример, но про FreeBSD ;)
6. Radicati: Taming the growth of email: An ROI analysis
http://h71028.www7.hp.com/ERC/downloads/5983-2385EN.pdf
приводят такие характеристики современного офисного мейла:

Один офисный работник отправляет/присылает в день 133 сообщений и объём его ящика увеличивается на 14.7MB в день

Мне кажется это они чересчур загнули (им всё-таки надо рекламировать продукт архивирования exchange), но страшилка хорошая ;)

Что касается dbmail - идея глупая от начала до конца. Реляционная БД  не мест для хранения больших блобов.

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 04 окт 2006, 01:36

Практически задавили интеллектом. Но я таки останусь при своем мнении. Кстати довекот - страшная обжираловка. Я када для приснопамятного селерона искал поппер, перепробовал весь /usr/ports/mail - teapop рулит. Что бредового в моей конфиге - не понимаю. Плясать от идей иксченжэв не желаю. И кстати. А когда не было таких многоголовых камней и прочего железа, люди как жили? Мне их жалко. Я тоже не наезжаю. Но то что я вижу у себя и то что говорите вы, это две большие разницы. Оттого и диспут.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 04 окт 2006, 17:39

Раз пошла такая пьянка, дайте и мне добавить свое ИМХО:

Первое что бросается в глаза в изначально предложенном проекте так это ценность такой почтовой системы для юзеров.   Напомним, что планируестя 10Мб ящик, доступ только по ПОП,  системы проверки на вирусы/спам  нет,  vocation/autoreply,  форводинга похоже тоже нет.    Актуально для 1999 года /me: смотрит на календарь ...   Я не знаю всех деталей конечно, но в общем случае при данном раскладе народ будет просто пользоваться маил.ру, джи-маил или яху вместо такой системы.    Тогда так можно и на 10К ящиков планировать. пользоваться никто не будет .

Далее, если вы пройдетесь по линкам, то увидте что во всех системах хранение/доступ к почте и
почтовый шлюз разделены, и это я вам настоятельно рекомендую сделать. Нагрузка разная на эти части – доступ/хранение требует мгновенного отклика  -- люди не любят ждать., в то время как шлюз может и отфутболить почту по таймауту  и ничего страшного не случится.

По поводу dovecot,  не знаю я не пользоваться, но думаю что  Cyrus для 4К системы будет получше – фич больше и производительность выше.

В заключении приведу пару ссылок:
Описание почтовой системы на ~20K юзеров (Англ.) http://www.linuxjournal.com/article/7323
Сравнение производительности IMAP серверов (Англ.) http://www.isode.com/whitepapers/mbox-benchmark.html

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 04 окт 2006, 17:45

apelsin писал(а):Раз пошла такая пьянка, дайте и мне добавить свое ИМХО:
Первое что бросается в глаза в изначально предложенном проекте так это ценность такой почтовой системы для юзеров.   Напомним, что планируестя 10Мб ящик, доступ только по ПОП,  системы проверки на вирусы/спам  нет,  vocation/autoreply,  форводинга похоже тоже нет.    Актуально для 1999 года /me: смотрит на календарь ...  
Ящики не будут 10 метров - я такого не писал. Ящики будут от 50. В смысле квоты такие. Доступ только по ПОП, ибо для имеющихся задач IMAP нужен только если ресурсов столько, что девать некуда.
По поводу календаря советую глянуть конфиг exim`а.

Что такое почтовый шлюз? Не понял.

Доступ это вебморда для клиентов? Она когда будет, будет на отдельной машине. Так что все пучком.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 04 окт 2006, 18:37

почтовый шлюз == mail relay ,вы бы ссылки посмотрели, тогда было бы ясно

10Mb цифра из вашего первого поста;  даже если и 50Мб квота -- сколько там  ноне у маил.ру? а у гмаил?  ...  вот я смотрю на календарь,   а юзрам вашим глобоко фиолетово какой у вас конфиг ексима,  т.к. они  и знать не знают шо це такэ.

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 04 окт 2006, 19:21

apelsin писал(а):а юзрам вашим глобоко фиолетово какой у вас конфиг ексима,  т.к. они  и знать не знают шо це такэ.
А если речь идет о корпоративной почте? Мне например фиолетово, что пользователи думают о mail.ru и gmail.com. Почта как была копроративной так и останется. Всякие там каталоги, права и прочее. Бекап в конце концов. Коммерческая и прочая тайна, ключи ... Кому нужно ограничить, у тех 50 М, а кому нужно у тех и за 4 Г переваливает.

Вот именно для корпоративной почты конфиг банана для негодится. Только для недопочты на недохостинге. Мне кажется для подобной цели подбирается железо. Там и фря сойдет.

Ответить

Вернуться в «Серверы - ПО, Базы Данных и их использование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей