Mysql Cluster + Dbmail (аппаратные требования)

Вопросы программирования БД, их оптимизации, резервирования и восстановления данных.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Mysql Cluster + Dbmail (аппаратные требования)

Сообщение Banan » 27 сен 2006, 14:26

сабж. смотрел вот это http://os.madmike.ru/68/
Use the following formula to work out the amount of RAM that you need on each storage node:
(Size of database * NumberofReplicas * 1.1) / Number of storage nodes

NumberofReplicas is set to two by default. You can change it in config.ini if you want. So for example to run a 4GB database you need just under 9GB of RAM on each storage node. For the SQL nodes and managment nodes you dont need much RAM at all.
Может кто сталкивался для начала с кластером? Почты надо на 4000 клиентов; будет Exim. Каков общий объем данных предположить сложно.. ну скажем исходя из 10 метров в среднем за счет клиентов которые ящики чистят.. получается 40 Gb.
Что скажете, специалисты? Ставить буду на FreeBSD.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 27 сен 2006, 15:21

Есть мнение, что не стоит ставить фрю на сервер для 4 тыс. клиентов. Хотя это субъективно :)
Про 10 МБайт/ящик - ээээ.... Даже на free мыльных хостингах давным-давно дают сильно больше :mrgreen:
Если у Вас это для работы (не free мыло, где требований никаких)  - считайте по гигу на пользователя, не ошибетесь :gigi:

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 27 сен 2006, 15:43

a_shats писал(а):Есть мнение, что не стоит ставить фрю на сервер для 4 тыс. клиентов. Хотя это субъективно :)
Про 10 МБайт/ящик - ээээ.... Даже на free мыльных хостингах давным-давно дают сильно больше :mrgreen:
Если у Вас это для работы (не free мыло, где требований никаких)  - считайте по гигу на пользователя, не ошибетесь :gigi:
субъективно субъективно :)
Я про 10 метров говорю потому что обычно узеры почту с сервера забирают, т.е. одновременный объем хранящийся почты будет максимум гигов 40. Вопрос в том сколько потребуется оперативы на каждого участника (сервера) mysql кластера.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 27 сен 2006, 15:52

Хотел предложить что-то из свежих супермикровских платформ на 5000Р - там до 64 ГБ в 1U 2-сокетник запихать можно, но там - сетевуха Intel 82563EB, и она, похоже, фрей не поддерживается :(
Ну зачем Вам эта фря :(

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 27 сен 2006, 15:59

a_shats писал(а):Хотел предложить что-то из свежих супермикровских платформ на 5000Р - там до 64 ГБ в 1U 2-сокетник запихать можно, но там - сетевуха Intel 82563EB, и она, похоже, фрей не поддерживается :(
Ну зачем Вам эта фря :(
фря - это наше всё! Т.е. походу Dbmail я могу забыть, ибо такие бабки мне еще не снились. Вероятно начальству тоже. Ну хорошо. А ПРОсто mysql кластер чоб в мускуле аккаунты держать, а почта нехай в maildir ах лежит? Хватит 2 гига на машину?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 27 сен 2006, 16:17

Нет, не хватит.
Под фрей будут работать токмо старые платформы под AMD, типа AS1020A-8, там до 16 ГБ запихать можно и до 4 процессорных ядер.
Типа
Supermicro AS1020A-8/2xOpteron 280/8x2GB DDRI-400 ECC Registered/LSI MegaRAID 320-1+BBU/3xU320 по вкусу, я не знаю, какая нагрузка на дисковую будет.

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 27 сен 2006, 16:40

a_shats писал(а):Нет, не хватит.
Под фрей будут работать токмо старые платформы под AMD, типа AS1020A-8, там до 16 ГБ запихать можно и до 4 процессорных ядер.
Типа
Supermicro AS1020A-8/2xOpteron 280/8x2GB DDRI-400 ECC Registered/LSI MegaRAID 320-1+BBU/3xU320 по вкусу, я не знаю, какая нагрузка на дисковую будет.
Погодите. Вот не верю я в то что это объективно! Что не хочется продать побольше обязательно. Сколько займет база на 4000 аккаунтов если одна запись это:
id
login
crypt
decrypt
homedir
vlan_id
вот мне кажется что мало. мегабайт от силы.
по вышепреведенной формуле это 2.2 гига оперативы в кластере на одну машину. Мало того. Я одной конторе делал на 400 селероне почтовик на 3000 узеров. Кряхтит, но работает до сих пор. Там было 128 оперативки. Ну неужто этот загадочный кластер способен выжирать такие объемы и кушать 4 проца!!? Не верю.
Кстати сервера будут IBM x306m. Меня в основном интересует сколько памяти к ним надо докупать. Т.е. 2Gb - это разумно, но только в том случае, если их не целиком будет кушать этот mysql кластер. Если целиком, то я за dump.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 27 сен 2006, 16:41

Не, я имел в виду именно под почтовик, не mysql :)

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 27 сен 2006, 16:50

a_shats писал(а):Не, я имел в виду именно под почтовик, не mysql :)
4 проца? и СТОЛЬКО оперативы? Да лана.. это наверно если под виндой в qemu запускать фрю, в ней в qemu запускать linux - тогда да, сожрет как пить дать. Exim он очень мало хочет. Teapop совсем мало. Вот антиспамы с антивирусами - это да, но серавно не такие объемы. В общем чую я, светит мне дамп и предварительное тестовое знакомство с кластером на предмет сколько он скушает после старта.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 27 сен 2006, 17:19

Было бы еще идеально, чтобы Вы как-нибудь хоть сымитировали работу почтовика с таким количеством клиентов ;)
Просто, видимо, имеет место взаимное недопонимание. Я так понял, что Вы хотите все отдаваемое зараз держать в ОЗУ (те самые 40 ГБайт). Вот я и написал, что есть такие платформы, куда можно установить столько и более ОЗУ, но они (точнее - их сетевухи) дров под фрю пока что не имеют. А те что имеют (AS1020A-8) - можно установить без напряга 16 ГБ, и с большим напрягом (придется подбирать модули, способные без проблем работать в такой конфигурации) - 32 ГБ.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 28 сен 2006, 19:40

Banan писал(а):одну машину. Мало того. Я одной конторе делал на 400 селероне почтовик на 3000 узеров. Кряхтит, но работает до сих пор. Там было 128 оперативки. Ну неужто этот загадочный кластер способен выжирать такие объемы и кушать 4 проца!!? Не верю.
Вынужден вмешаться. С очень большим натягом соглашусь только при одном условии, если кроме почтовика (собственно самого демона) на сервере не будет ничего. Достаточно к почтовику добавить проверку писем на антивирус и придет полный аншлаг, причем сразу.
Еще можно поверить в то, что данный почтовик будет принимать 1-но письмо в минуту, ну ладно, 60х24 = 1440 писем в сутки. Коллега, ни за что, не поверю, ни в жизнь, что сервер в 3000 пользователей будет принимать 1.5 штуки писем в сутки.
Идем далее, из собственного опыта, для нормального почтовика надо как минимум сделать небольшую проверку на вирусы, на спам. Это две дополнительные проверки. Коллега, ваш сервер сдохнет под такой нагрузкой, если только вы не будете делать кластерочек из нескольких машин.
Так что распишите ка лучше задачи для ваших 4000 штук пользователей, какой поток почты, какие проверки, для чего.

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 29 сен 2006, 11:02

Задачи. И как я себе это представляю.

два x306m для:

1. ns1 и ns2,
2. плюс CARP - на разшареном ипе exim, teapop, courier?(чоб был IMAP); данные авторизации для всех участвующих в работе почты - в мускуле, данные - Maildir. Мускульный кластер для этих двух машин.

один x306m для бекапа и управляющего кластером демона.

Это первый - недорогой и простой вариант.

Дорогой вариант - это, как я понимаю, DBMail. На вид с ним все удобней.

Ну и конечно антиспам и антивирус. Доменов наших на сервере будет .. кто знает.. ну может штук 100. по 15-40 аккаунтов на домен. Все остальное - зловещий безпарольный релэй. Т.е. несильная нагрузка.

И всего-то хочется иметь резервирование.

А екзим очень хорошая прога благодаря acl ам - много всего можно срезать на входе, не пуляя на антиспам и антивирус весь поток.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 29 сен 2006, 13:51

"courier?(чоб был IMAP)"  + "надо на 4000 клиентов"  => x306m    :blue:

"Непойдет" (с)

Аватара пользователя
Banan
Power member
Сообщения: 43
Зарегистрирован: 31 авг 2004, 23:00
Откуда: Петербург
Контактная информация:

Сообщение Banan » 29 сен 2006, 14:34

apelsin писал(а):"courier?(чоб был IMAP)"  + "надо на 4000 клиентов"  => x306m    :blue:

"Непойдет" (с)
Была такая мысль. Потому и вопросы задаю.
Хорошо. Будет без имапа.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 29 сен 2006, 15:24

Предполагаю что если даже 10% от всех 4000 юзеров полезут за почтой  одновременно (с утрeца  :roll:) по POP3 или ИМАП (не важно)  то сервер класса x306m просто ляжет.

Вообще, в системах на ~4000 аккаунтов всегда разделяется:
а) хранение почты
б) доступ к почте  (IMAP/POP/WWW)
в) почтовый шлюз   (прием/отправка почты + фильтрация)
г) хранение учетный записей ( как правило отдельно от почтовой системы)

+ системя бэкапа!!!

хранение  требует приличного  IO и много места
доступ к почте требует CPU
почтовый шлюз требует много CPU и быстрого IO, места много не надо
хранение 4000 записей ресурсов требует очень мало.

на двух машинах я себе это представляю с трудом, если и возможно то без дублирования, соответственно downtime в случае выхода из строя.  

Если на двух машинах:

- Одна большая машина 4~8 ядра  + куча быстрых дисков под хранение и доступ к почте, +  возможно под sql базы для  учетных записей и данных спаморезки
- Одна машина поменьше  2~4 ядра  +   4~5 быстрых дисков  под почтовый шлюз.

ФриБСД: забудьте  это страшное слово

Ответить

Вернуться в «Серверы - ПО, Базы Данных и их использование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей