Конфигурация для серверов отчетов и живой базы (Oracle 11)

[gs]

Размер кэша принципиального рояля не играет. Важно лишь его наличие и BBU.

[Black-Dragon]

gs
Ваша помощь неоценима.
Спасибо.

[Black-Dragon]

Народ, спасите от взрыва мозга.
Получил предложение на Nehalem. Оптимальным является вот этот вариант:
2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (6x RAID0 + 2x HS)
LSI 1078 256mb + BBU

В то же время, по этой же цене могу взять:
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (8x RAID0 + 2x HS)
LSI 1078 256mb + BBU

Я щас с ума сойду, уже целый день думаю, перечитал кучу тестов. Уже стал склоняться к Nehalem, а потом заметил, что в тестах чуть ли не всю базу целиком кешировали в ОЗУ и только потом замеряли производительность (и первый прогон теста в расчет не принимали). Т.е. это далеко от реальной жизни. При этом Nehalem X5570 данными снабжал 3 channel DDR3 1333mhz, а E5470 (на который я ориентировался, за неимением лучшего) - 2 channel DDR2 667!!
IMHO, очевидно, что в одинаковых условиях E5470 выступил бы не сильно хуже. В общем, тесты получились в определенном смысле синтетическими.

Теперь вот не могу никак определиться, что лучше два Nehalem E5530, но с 24gb RAM (зато 3x way DDR3 1066) и 6-ю дисками в RAID0, али два E5420, зато с 32gb RAM (пусть и DDR2 667) и 8-ю дисками в RAID0!?

Помогите, мне уже реально плохо .

[gs]

Я что-то не понял насчет рэйд0. Может таки рэйд10?
Мне лениво смотреть доки делла, но может быть контроллер поддерживает рэйд1Е? Тогда плюс один диск.

В тестах память в линейке 54хх была четырехканальная, так что там все честно.

Память в машине на 55хх лучше поставить планками по 4ГБ ДДР3-1333 - это шустрее при тех же 24ГБ.

Ксеон 5530 будет сильно шустрее, чем 5420, если не будет упора в диски. А вот соотношение ОЗУ-ХДД - это Вам виднее, от задачи зависит.

[Black-Dragon]

Ошибся, конечно, контроллеры ведь те же, RAID10 в обоих случаях.

Память в машине на 55хх лучше поставить планками по 4ГБ ДДР3-1333 - это шустрее при тех же 24ГБ.

Да, так и предлагают.

Я понимаю, что зависит от задач, но вы должны мне помочь , задача - Oracle 11g, размер баз до десятков (может в дальнейшем до пары сотен) гигабайт. Одновременных пользователей до ~ 200.

Что брать?

[gs]

Ну откуда я знаю размер хотспота Вашей БД?

Неужели так свет клином сошелся на равенстве цены? В новую машину Вы всегда сможете добавить памяти - база же не сразу вырастет? Насчет дисков - не знаю параметры сервера.

[gs]

В конце концов, если база раздуется в разы, разница между 8 и 10 дисков будет косметической и потребуется внешний сторадж.

[Black-Dragon]

gs
Не серчайте, пожалуйста. Я просто зашел в тупик выбирая лучшее из двух очень хороших вариантов.

Насчет дисков - не знаю параметры сервера.

Каких параметров? Я указывал конфигурации парой постов ниже. Или вы о чём-то другом?

Ок. Пусть это ненаучно, но всё-таки, если выбирается сервер под Oracle 11, с размером базы от 20 до 50gb (это в ближайшие пару лет) для 200 одновременных клиентов, которые будут много "писать" (т.е. подходит RAID10), то что бы вы предпочли за примерно одинаковую цену:

1. 2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU

или

2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?


P.S. Сегодня с утра вновь запустил счетчики на среднюю очередь к дискам и CPU time на моём текущем сервере живой БД:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU.

Этот сервер и будет заменён новым, сам пойдёт в филиал (в итоге решил сделать так, все 5 новых серверов беру в одинаковой конфигурации и 4-ре забираю себе, а вместо двух для филиала отдам свои старые).
Попробую понять, где больше потенциальных проблем: в дисковой или CPU.
Грядут перемены, и нагрузка на данный сервер возрастёт до двух с лишним раз, потому и меняю...

[Black-Dragon]

Совсем забыл спросить, в былые времена, кратность частоты процессора частоте памяти давала дополнительные преимущества. Например, 266мгц ЦПУ с 133мгц SDRAM давал дополнительную прибавку.
Актуально ли это сейчас?

Почему спрашиваю, за ~500$ прибавку за каждый сервер можно два E5420 (2.5ghz) поменять на E5430 (2.66ghz), при этом CPU FSB = 1333mhz, а Memory Bus Fr. = (2x way) 667mhz. Т.о. получаем 2667\1333\2х667.
Оно того стоит?

[Black-Dragon]

Кажется, я понял, что ответ на последний вопрос - нет.
IMHO, важна кратность частоты CPU FSB частоте памяти. И раньше частота ЦПУ и являлась частотой его FSB, потому это было важно. А сейчас, CPU FSB тактуется отдельно, потому кратность частоты ядра ЦПУ частоте памяти особой роли не играет.
А у E5420 FSB тоже равно 1333mhz.

[Black-Dragon]

Итак, вот что показали счетчики производительности на сервере "живой" базы за вчерашний рабочий день, нагрузка на сервер отчетов была ещё ниже, так что её не привожу. (Всё сказанное ранее я относил на счет сервера "живой" базы.)

Сервер живой базы:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU
Размер базы = 30gb, количество одновременных пользователей ~ 70.
Стоит Windows ES SP2 32bit (параметр AWE не установлен), Oracle 8.14

Дисковая подсистема:
Avg. Disk Read Queue Length = 0.111
Avg. Disk Write Queue Length = 0.364
Avg. Disk Queue Length = 0.475

Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759

Т.о. средние величины в норме, есть не очень нормальные максимальные всплески, причем большей частью во время записи.

Загрузка ЦПУ:
Avg. %Processor Time = 10.383
Max %Processor Time = 40.443

Вроде также неплохо.
Стоит заметить, что, конечно же, от установленных 8gb ОЗУ особого проку нет из-за W2k3 32bit.


Теперь, попробуем представить, что размер базы вырастает раза в 2, Oracle заменяется на Oracle 11g 64bit, Windows - на W2k3 SS SP2 64bit, количество одновременных пользователей вырастает в три раза - до 200.

Как я понимаю глядя на цифры PerfMon-а,
1. производительности двух ЦПУ E5420 хватит с очень большим запасом и надолго, и нет смысла брать Nehalem

2. с 4x HDD RAID10 имеет смысл перейти на 8x HDD RAID10, а не 6x HDD RAID10. Хотя очереди на диск не особо велики, но нагрузка возрастет, и здесь (в отличие от ситуации с ЦПУ) лучше перестраховаться. Тем более, что больше потенциальных проблем с дисковой записью.

3. Т.к. размер базы превосходит 20gb, лучше взять сервер с 32gb ОЗУ, а не 24 пусть и с более мощным ЦПУ (мощь которого, IMHO, останется невостребована).

4. и, наконец, замена ОС на 64бит позволит сохранить очередь к диску на примерно прежнем уровне, а возможно, что за счёт намного большего ОЗУ, доступного Oracle, даже несколько снизить её.
При этом, учитывая, что сейчас нет особых проблем с дисковой, я не ожидаю, что за счёт укрепления дисковой и оптимизации использования ОЗУ нагрузка на ЦПУ может возрасти на порядок и более. Но 100% не уверен.


gs
Если не лениво столько прочитать, дайте свой вердикт, пожалуйста. Я привёл почти максимум данных, которые мог привести. Что выбрать в этих условиях:
1. 2x Xeon E55230 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU

или

2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?

Спасибо за терпение.

[Stranger03]

Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759

У вас случайно "Врайт Тру" режим не включен? Очень похоже на то. ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4

[Stranger03]

"Black-Dragon"
У Делла не нашел серверов на 10-16 дисков в полке, только с внешней СХД.

[Black-Dragon]

ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4

Спасибо большое за мнение! По СХД подумаю в следующий раз.
Тут даже blade предлагали от IBM с отдельным СХД, очень интересное предложение. Но не готовы мы к этому ещё. Чувствую, уже пора почитать про "новые" веяния, и особенно виртуализацию.
А пока постепенно склоняюсь к Dell PE III с двумя E5420, 32GB RAM и 10-ю дисками. Если только gs не выскажет опять что-нибудь многозначительное и отправит меня ещё на пару дней в "полный штиль".

У вас случайно "Врайт Тру" режим не включен?

.
Нет, батарейка есть, а настройки в своё время проводил под инструктажем gs (вот только не помню, здесь или на ixbt). Так что с этим всё (должно быть) в порядке.

Скорее всего, в моменты всплеска производятся специфические операции, например, копия базы в конце рабочего дня (это по чтению, по записи ничего сходу придумать не могу).

А что, при указанных средних, такие максимумы принципиальны?

[hitower]

Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759

У вас случайно "Врайт Тру" режим не включен? Очень похоже на то. ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4

Это бывает с ораклом, много мелких запросов на запись выставляет - например, когда обновляются индексы. Пик такой обычно длиной в 3-5 сек.

Black-Dragon
У Вас оракл сейчас какой стоит? Намного нагляднее помониторить его вместо perfmon операционки через Enterprise Manager (встроенный в 10й или отдельно установленный EM Grid Conntrol - если 9й), посмотреть по wait events, чем занимаются отдельные процессы в инстансе.