Почтовик, дисковая система, характеристики

ss9812 · Сообщение **ss9812** » 16 мар 2008, 21:27

Прошу помочь определиться с конфигурацией почтового сервера, который справится с нагрузками и будет иметь возможность дальнейшего расширения с минимальными финансовыми потерями и будет иметь минимальное время простоя.

Почтовый сервер для почтовой системы относительно небольшого масштаба.

Почтовые ящики пользователей хранятся в виде файлов в соответствующих папках пользователей.
Пользователи имеют доступ к почте через веб-интерефейс и pop3\smtp\imap
ОС: Debian Linux, ПО почтового сервера: Exim, язык веб-интерфейса php, СУБД MySQL, AntiSPAM и Антивирус Касперского (KAS, KAV).
Ожидаемое количество почтовых ящиков В ПЕРСПЕКТИВЕ: 50-70 тыс. ящиков
Ящик объёмом 200 Мб. (понятно что у абсолютного большинства пользователей ящик не будет заполнен на 100%)
Поток входящих писем ориентировочно 200-300 тысяч в день, в пики: 1000 писем\мин
Ожидаемое МАКСИМАЛЬНОЕ количество единовременных подключений к ящикам пользователями в пик 40-50 подключений (веб-интерфейс\pop3) (пользователь открывает письмо)

Как вариант планировалось решение:
RAID 1 для ОС+АнтиСПАМ+Антивирус (контроллер интегрированный на мат. плате) c дисками SATA 80GB и RAID 5 для почтовых данных (аппаратный SAS-контроллер PCI-Express x16 или x8)

Ясно что основная нагрузка ляжет на дисковую систему. Поэтому данный вопрос особо приоритетен. Что выбрать SAS, SATA (обороты, кэш, объём, производитель) (понятно что SAS лучше, но оправдан ли выбор за счет потери ёмкости и разницы цены)

Какой RAID-контроллер будет идеальным решением?

Для старта достаточно дисков объёма 300GB доступного места для пользовательских данных и 80 Гб для ОС, логов и пр. Хотелось бы в дальнейшем добавлять диски, по завершению места для дисках в кейсе, купить отдельный Storage и подключить к нему сервер и использовать так же его.

Есть отдельный сервер (3Ггц, 1Гб, SATA) можно использовать для WWW. Для бэкапа имеется PC с достаточным объёмом дисков SATA и 1Гб LAN.

Какие остальные комплектующие оптимальны (мат. плата, CPU, RAM, кейс)?

Желательно уложиться в бюджет 4000 $,

Благодарю!

Сообщение **Stranger03** » 17 мар 2008, 06:55

1. я не очень представляю, как мы будем поставлять сервера в другую страну. Если только здесь кто-то за вас купит и вам переправит
2. на 50-70 тысяч почтовых ящиков надо бы делать кластер из нескольких серверов (хотя бы).
3. в 21-м веке уже никто не выделяет винт под систему, просто отрезается ЛУН под систему, остатки под базу. Но на линуксе даже это не принципиально.
4. в качестве ноды под кластер серверов я бы посоветовал нечто вроде: 5015M-U, CPU, 2GB, Adaptec 3405, 4xSAS = RAID10
5. а вот сколько этих нод понадобиться, все будет зависеть от загрузки.
З.Ы. есть ли у вас счетчики по нагрузке?

Andrey N. Oktyabrski

Почтовые ящики пользователей хранятся в виде файлов в соответствующих папках пользователей.

Благодяря этому совершенно точно не sata.

Сообщение **Stranger03** » 18 мар 2008, 10:37

Andrey N. Oktyabrski писал(а):Благодяря этому совершенно точно не sata.

Ну вообщем-то я и предложил под ноду на 4-х САС дисках. Про САТА итак понятно, что стоит забыть как страшный сон.

Andrey N. Oktyabrski

Как ни странно, я на собственном опыте убедился, что не для всех почтовых хранилищ обязательны быстрые диски. Работает у нас вот такое:
http://axigen.com/
Диски не грузит совершенно при ~10т. ящиков с размером от нуля байт до более гига. Рекомендовать это чудо не решусь, поскольку оно всё-в-одном, причём вредного больше чем полезного (групварь и т.п.) и абсолютно уродливый webmail. Опять же, реакция разработчиков на багрепорты и запросы новых фич мне не нравится (два года они учили его отвечать "450 over quota" вместо "550 over quota" - далеко не единственный пример). Однако, само хранилище работает очень шустро.

P.S. Правда, это не заставило меня полюбить sata как часть сервера :-)

Сообщение **exLH** » 18 мар 2008, 12:39

Andrey N. Oktyabrski
Хранить почту - не проблема, да MTA (в базовом функционале) работает очень быстро. Проблемы, как правило, возникают при использовании web-мэйла, IMAP, антивируса и антиспама.

Andrey N. Oktyabrski

Я не про МТА. И не про антивирус/антиспам, которые к ящикам тоже не имеют отношения.

Я как раз про webmail/imap/pop3 доступ юзеров к ящикам. Только в этом контексте понятие "скорость работы" имеет смысл для хранилища почтовых ящиков. Так вот, когда оное хранилище представляет из себя mailbox/maildir, нагрузка на диски очень большая.

ss9812 · Сообщение **ss9812** » 22 мар 2008, 13:40

Stranger03 писал(а):1. я не очень представляю, как мы будем поставлять сервера в другую страну. Если только здесь кто-то за вас купит и вам переправит
2. на 50-70 тысяч почтовых ящиков надо бы делать кластер из нескольких серверов (хотя бы).
3. в 21-м веке уже никто не выделяет винт под систему, просто отрезается ЛУН под систему, остатки под базу. Но на линуксе даже это не принципиально.
4. в качестве ноды под кластер серверов я бы посоветовал нечто вроде: 5015M-U, CPU, 2GB, Adaptec 3405, 4xSAS = RAID10
5. а вот сколько этих нод понадобиться, все будет зависеть от загрузки.
З.Ы. есть ли у вас счетчики по нагрузке?

Спасибо за предложения.

1. Если условия будут выгодные то это не проблема.
2. С использованием внешней стойки?
3. Т.е. не суть важно что главная цель отдельных винтов под ос и прочее - это отделить логи и прочее от ОС, Антиспам и Антивирус систем от дисков-хранилищь почты?
4.5015M-U - несколько маловато разъёмов под HDD. Я бы хотел что-то типа CSE-825TQ-R700LPV (или, если будут фин. возможности - SC836E1/E2). Мне кажется они оптимальней по цена\место для hdd. Я не прав?

5.

ss9812 · Сообщение **ss9812** » 22 мар 2008, 13:49

Сегодня система крутится на PC:
INTEL 865, P4 3 ГГц, 3Gb, 120 SATA 7200 8Mb, софтовый RAID 1

Дисковая тормозит.

Вот данные sar -A

Выбрал самые пиковые показатели:

06:58:25 PM pgpgin/s pgpgout/s fault/s majflt/s
06:59:25 PM 531.73 1072.53 7188.42 0.00

06:58:25 PM pswpin/s pswpout/s
06:59:25 PM 0.00 0.00

06:58:25 PM tps rtps wtps bread/s bwrtn/s
06:59:25 PM 716.98 89.95 627.03 3190.40 8506.13

06:58:25 PM frmpg/s bufpg/s campg/s
06:59:25 PM 31.63 15.22 87.28

06:58:25 PM TTY rcvin/s xmtin/s framerr/s prtyerr/s brk/s ovrun/s
06:59:25 PM 0 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM CPU i000/s i001/s i007/s i008/s i009/s i012/s i016/s i017/s i018/s i019/s i020/s i021/s
06:59:25 PM 0 0.00 0.00 0.00 0.00 0.00 0.00 136.83 0.02 56.27 0.00 0.00 0.00
06:59:25 PM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
06:59:25 PM lo 49.40 49.40 9221.70 9221.70 0.00 0.00 0.00
06:59:25 PM eth0 28.55 31.82 4424.27 8102.45 0.00 0.00 0.00

06:58:25 PM IFACE rxerr/s txerr/s coll/s rxdrop/s txdrop/s txcarr/s rxfram/s rxfifo/s txfifo/s
06:59:25 PM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
06:59:25 PM eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
06:59:25 PM dev8-0 65.13 670.80 2145.07 43.23 0.48 7.44 2.39 15.59
06:59:25 PM dev8-16 63.48 392.67 2145.07 39.97 0.48 7.56 2.30 14.61
06:59:25 PM dev9-0 294.18 1063.47 2108.00 10.78 0.00 0.00 0.00 0.00
06:59:25 PM dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
06:59:25 PM dev253-1 5.85 0.00 46.80 8.00 0.07 11.78 1.01 0.59
06:59:25 PM dev253-2 278.12 1063.47 1979.47 10.94 1.62 5.81 0.76 21.21
06:59:25 PM dev253-3 9.15 0.00 73.20 8.00 0.06 6.56 0.66 0.61
06:59:25 PM dev253-4 1.07 0.00 8.53 8.00 0.00 1.94 0.88 0.09
06:59:25 PM dev253-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM call/s retrans/s read/s write/s access/s getatt/s
06:59:25 PM 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM scall/s badcall/s packet/s udp/s tcp/s hit/s miss/s sread/s swrite/s saccess/s sgetatt/s
06:59:25 PM 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

06:58:25 PM kbmemfree kbmemused %memused kbbuffers kbcached kbswpfree kbswpused %swpused kbswpcad
06:59:25 PM 104312 3010916 96.65 340088 2084216 3145672 48 0.00 0

06:58:25 PM dentunusd file-sz inode-sz super-sz %super-sz dquot-sz %dquot-sz rtsig-sz %rtsig-sz
06:59:25 PM 176386 3136 89970 0 0.00 0 0.00 0 0.00

06:58:25 PM totsck tcpsck udpsck rawsck ip-frag
06:59:25 PM 359 96 58 0 0

06:58:25 PM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
06:59:25 PM 38 295 36.64 36.01 33.00

06:59:25 PM proc/s
07:00:25 PM 9.10

06:59:25 PM cswch/s
07:00:25 PM 583.43

06:59:25 PM CPU %user %nice %system %iowait %steal %idle
07:00:25 PM all 65.92 0.82 33.26 0.00 0.00 0.00
07:00:25 PM 0 66.87 0.55 32.58 0.00 0.00 0.00
07:00:25 PM 1 64.99 1.07 33.94 0.00 0.00 0.00

06:59:25 PM INTR intr/s
07:00:25 PM sum 149.78

06:59:25 PM INTR intr/s
07:00:25 PM 0 0.00
07:00:25 PM 1 0.00
07:00:25 PM 2 0.00
07:00:25 PM 3 0.00
07:00:25 PM 4 0.00
07:00:25 PM 5 0.00
07:00:25 PM 6 0.00
07:00:25 PM 7 0.00
07:00:25 PM 8 0.00
07:00:25 PM 9 0.00
07:00:25 PM 10 0.00
07:00:25 PM 11 0.00
07:00:25 PM 12 0.00
07:00:25 PM 13 0.00
07:00:25 PM 14 0.00
07:00:25 PM 15 0.00
07:00:25 PM 16 108.72
07:00:25 PM 17 0.02
07:00:25 PM 18 41.05
07:00:25 PM 19 0.00
07:00:25 PM 20 0.00
07:00:25 PM 21 0.00
07:00:25 PM 22 0.00
....
07:00:25 PM 50 0.00

Пока не могу понять каким образом достигается такое количество tps = 716.98. Может ли это быть очередь?

Что ещё важно. Сегодня файловая система настроена не так хотелось бы, и мы можем её настроить более производительно, получив меньшее количество iops.[/code]

Сообщение **Stranger03** » 24 мар 2008, 08:07

ss9812 писал(а):2. С использованием внешней стойки?

Не обязательно, раскидайте ящики по нескольким нодам. Другое дело внешняя стойка резко уменьшит время простоя в случае сбоя одной из нод.

3. Т.е. не суть важно что главная цель отдельных винтов под ос и прочее - это отделить логи и прочее от ОС, Антиспам и Антивирус систем от дисков-хранилищь почты?

Не суть, это же возможности аппаратного контроллера. Ему по большому счету все равно чем заниматься. А рейд-группа хоть как-то защищает от выхода из строя диска. На кой хрен тогда бы сдался аппаратный рейд-контроллер.

4.5015M-U - несколько маловато разъёмов под HDD. Я бы хотел что-то типа CSE-825TQ-R700LPV (или, если будут фин. возможности - SC836E1/E2). Мне кажется они оптимальней по цена\место для hdd. Я не прав?

5015 - платформа для кластера серверов оптимальная по цене/производительности. 825, 836-е кузова, как уже написал Андрей, будет зависеть от нагрузки. Но опять же ИМХО на 5-7 тысяч ящиков лучше иметь парочку серверов хотя бы.

Сообщение **Stranger03** » 24 мар 2008, 08:17

Код: Выделить всё

06:58:25 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util 
06:59:25 PM    dev8-0     65.13    670.80   2145.07     43.23      0.48      7.44      2.39     15.59 
06:59:25 PM   dev8-16     63.48    392.67   2145.07     39.97      0.48      7.56      2.30     14.61 
06:59:25 PM    dev9-0    294.18   1063.47   2108.00     10.78      0.00      0.00      0.00      0.00 
06:59:25 PM  dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00 
06:59:25 PM  dev253-1      5.85      0.00     46.80      8.00      0.07     11.78      1.01      0.59 
06:59:25 PM  dev253-2    278.12   1063.47   1979.47     10.94      1.62      5.81      0.76     21.21

Я не очень понял. У вас софтовое зеркало разбито на 9-ть слайсов? avgrq-sz - это средняя очередь чтения к дискам?

ss9812 · Сообщение **ss9812** » 24 мар 2008, 10:22

У вас софтовое зеркало разбито на 9-ть слайсов?

Разбито на 5.

avgrq-sz - это средняя очередь чтения к дискам?

avgrq-sz - The average size (in sectors) of the requests that were issued to the device.

ss9812 · Сообщение **ss9812** » 24 мар 2008, 10:57

Могли бы вы предложить решение на базе корпуса -

1. SC825TQ-R700LPV / SC825TQ-R700LPB
http://www.supermicro.com/products/chas ... 700LPV.cfm

и

2. Supermicro SC836E1/E2

Вопрос, который на который я пока не смог получить ответ:
Как внешняя хранилище данных подключается к серверу? Особенно Интересует через какое устройство на стороне сервера? Где в этом случае установлен RAID? Я так понимаю что в стойке, если так, то куда подключается конец провод в сервер (для SAS, FC)?

Есть ли потери скорости при использовании экспандеров?

Спасибо.

Сообщение **Stranger03** » 24 мар 2008, 12:11

ss9812 писал(а):Могли бы вы предложить решение на базе корпуса

Можно было бы предложить, только вот Беларусь - другая страна. Как поставлять вам, я не имею ни малейшего понятия. Да и с гарантией как быть тоже.

Почтовик, дисковая система, характеристики

Почтовик, дисковая система, характеристики

Re: Почтовик, дисковая система, характеристики

Re: Почтовик, дисковая система, характеристики

Re: Почтовик, дисковая система, характеристики

Кто сейчас на конференции