Конфигурация для серверов отчетов и живой базы (Oracle 11)
Модераторы: Trinity admin`s, Free-lance moderator`s
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Размер кэша принципиального рояля не играет. Важно лишь его наличие и BBU.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
gs
Ваша помощь неоценима.
Спасибо.
Ваша помощь неоценима.
Спасибо.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Народ, спасите от взрыва мозга.
Получил предложение на Nehalem. Оптимальным является вот этот вариант:
2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (6x RAID0 + 2x HS)
LSI 1078 256mb + BBU
В то же время, по этой же цене могу взять:
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (8x RAID0 + 2x HS)
LSI 1078 256mb + BBU
Я щас с ума сойду, уже целый день думаю, перечитал кучу тестов. Уже стал склоняться к Nehalem, а потом заметил, что в тестах чуть ли не всю базу целиком кешировали в ОЗУ и только потом замеряли производительность (и первый прогон теста в расчет не принимали). Т.е. это далеко от реальной жизни. При этом Nehalem X5570 данными снабжал 3 channel DDR3 1333mhz, а E5470 (на который я ориентировался, за неимением лучшего) - 2 channel DDR2 667!!
IMHO, очевидно, что в одинаковых условиях E5470 выступил бы не сильно хуже. В общем, тесты получились в определенном смысле синтетическими.
Теперь вот не могу никак определиться, что лучше два Nehalem E5530, но с 24gb RAM (зато 3x way DDR3 1066) и 6-ю дисками в RAID0, али два E5420, зато с 32gb RAM (пусть и DDR2 667) и 8-ю дисками в RAID0!?
Помогите, мне уже реально плохо .
Получил предложение на Nehalem. Оптимальным является вот этот вариант:
2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (6x RAID0 + 2x HS)
LSI 1078 256mb + BBU
В то же время, по этой же цене могу взять:
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (8x RAID0 + 2x HS)
LSI 1078 256mb + BBU
Я щас с ума сойду, уже целый день думаю, перечитал кучу тестов. Уже стал склоняться к Nehalem, а потом заметил, что в тестах чуть ли не всю базу целиком кешировали в ОЗУ и только потом замеряли производительность (и первый прогон теста в расчет не принимали). Т.е. это далеко от реальной жизни. При этом Nehalem X5570 данными снабжал 3 channel DDR3 1333mhz, а E5470 (на который я ориентировался, за неимением лучшего) - 2 channel DDR2 667!!
IMHO, очевидно, что в одинаковых условиях E5470 выступил бы не сильно хуже. В общем, тесты получились в определенном смысле синтетическими.
Теперь вот не могу никак определиться, что лучше два Nehalem E5530, но с 24gb RAM (зато 3x way DDR3 1066) и 6-ю дисками в RAID0, али два E5420, зато с 32gb RAM (пусть и DDR2 667) и 8-ю дисками в RAID0!?
Помогите, мне уже реально плохо .
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Я что-то не понял насчет рэйд0. Может таки рэйд10?
Мне лениво смотреть доки делла, но может быть контроллер поддерживает рэйд1Е? Тогда плюс один диск.
В тестах память в линейке 54хх была четырехканальная, так что там все честно.
Память в машине на 55хх лучше поставить планками по 4ГБ ДДР3-1333 - это шустрее при тех же 24ГБ.
Ксеон 5530 будет сильно шустрее, чем 5420, если не будет упора в диски. А вот соотношение ОЗУ-ХДД - это Вам виднее, от задачи зависит.
Мне лениво смотреть доки делла, но может быть контроллер поддерживает рэйд1Е? Тогда плюс один диск.
В тестах память в линейке 54хх была четырехканальная, так что там все честно.
Память в машине на 55хх лучше поставить планками по 4ГБ ДДР3-1333 - это шустрее при тех же 24ГБ.
Ксеон 5530 будет сильно шустрее, чем 5420, если не будет упора в диски. А вот соотношение ОЗУ-ХДД - это Вам виднее, от задачи зависит.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Ошибся, конечно, контроллеры ведь те же, RAID10 в обоих случаях.
Я понимаю, что зависит от задач, но вы должны мне помочь , задача - Oracle 11g, размер баз до десятков (может в дальнейшем до пары сотен) гигабайт. Одновременных пользователей до ~ 200.
Что брать?
Да, так и предлагают.gs писал(а):Память в машине на 55хх лучше поставить планками по 4ГБ ДДР3-1333 - это шустрее при тех же 24ГБ.
Я понимаю, что зависит от задач, но вы должны мне помочь , задача - Oracle 11g, размер баз до десятков (может в дальнейшем до пары сотен) гигабайт. Одновременных пользователей до ~ 200.
Что брать?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Ну откуда я знаю размер хотспота Вашей БД?
Неужели так свет клином сошелся на равенстве цены? В новую машину Вы всегда сможете добавить памяти - база же не сразу вырастет? Насчет дисков - не знаю параметры сервера.
Неужели так свет клином сошелся на равенстве цены? В новую машину Вы всегда сможете добавить памяти - база же не сразу вырастет? Насчет дисков - не знаю параметры сервера.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
В конце концов, если база раздуется в разы, разница между 8 и 10 дисков будет косметической и потребуется внешний сторадж.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
gs
Не серчайте, пожалуйста. Я просто зашел в тупик выбирая лучшее из двух очень хороших вариантов.
Ок. Пусть это ненаучно, но всё-таки, если выбирается сервер под Oracle 11, с размером базы от 20 до 50gb (это в ближайшие пару лет) для 200 одновременных клиентов, которые будут много "писать" (т.е. подходит RAID10), то что бы вы предпочли за примерно одинаковую цену:
1. 2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU
или
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?
P.S. Сегодня с утра вновь запустил счетчики на среднюю очередь к дискам и CPU time на моём текущем сервере живой БД:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU.
Этот сервер и будет заменён новым, сам пойдёт в филиал (в итоге решил сделать так, все 5 новых серверов беру в одинаковой конфигурации и 4-ре забираю себе, а вместо двух для филиала отдам свои старые).
Попробую понять, где больше потенциальных проблем: в дисковой или CPU.
Грядут перемены, и нагрузка на данный сервер возрастёт до двух с лишним раз, потому и меняю...
Не серчайте, пожалуйста. Я просто зашел в тупик выбирая лучшее из двух очень хороших вариантов.
Каких параметров? Я указывал конфигурации парой постов ниже. Или вы о чём-то другом?gs писал(а):Насчет дисков - не знаю параметры сервера.
Ок. Пусть это ненаучно, но всё-таки, если выбирается сервер под Oracle 11, с размером базы от 20 до 50gb (это в ближайшие пару лет) для 200 одновременных клиентов, которые будут много "писать" (т.е. подходит RAID10), то что бы вы предпочли за примерно одинаковую цену:
1. 2x Xeon E5530 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU
или
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?
P.S. Сегодня с утра вновь запустил счетчики на среднюю очередь к дискам и CPU time на моём текущем сервере живой БД:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU.
Этот сервер и будет заменён новым, сам пойдёт в филиал (в итоге решил сделать так, все 5 новых серверов беру в одинаковой конфигурации и 4-ре забираю себе, а вместо двух для филиала отдам свои старые).
Попробую понять, где больше потенциальных проблем: в дисковой или CPU.
Грядут перемены, и нагрузка на данный сервер возрастёт до двух с лишним раз, потому и меняю...
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Совсем забыл спросить, в былые времена, кратность частоты процессора частоте памяти давала дополнительные преимущества. Например, 266мгц ЦПУ с 133мгц SDRAM давал дополнительную прибавку.
Актуально ли это сейчас?
Почему спрашиваю, за ~500$ прибавку за каждый сервер можно два E5420 (2.5ghz) поменять на E5430 (2.66ghz), при этом CPU FSB = 1333mhz, а Memory Bus Fr. = (2x way) 667mhz. Т.о. получаем 2667\1333\2х667.
Оно того стоит?
Актуально ли это сейчас?
Почему спрашиваю, за ~500$ прибавку за каждый сервер можно два E5420 (2.5ghz) поменять на E5430 (2.66ghz), при этом CPU FSB = 1333mhz, а Memory Bus Fr. = (2x way) 667mhz. Т.о. получаем 2667\1333\2х667.
Оно того стоит?
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Кажется, я понял, что ответ на последний вопрос - нет.
IMHO, важна кратность частоты CPU FSB частоте памяти. И раньше частота ЦПУ и являлась частотой его FSB, потому это было важно. А сейчас, CPU FSB тактуется отдельно, потому кратность частоты ядра ЦПУ частоте памяти особой роли не играет.
А у E5420 FSB тоже равно 1333mhz.
IMHO, важна кратность частоты CPU FSB частоте памяти. И раньше частота ЦПУ и являлась частотой его FSB, потому это было важно. А сейчас, CPU FSB тактуется отдельно, потому кратность частоты ядра ЦПУ частоте памяти особой роли не играет.
А у E5420 FSB тоже равно 1333mhz.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Итак, вот что показали счетчики производительности на сервере "живой" базы за вчерашний рабочий день, нагрузка на сервер отчетов была ещё ниже, так что её не привожу. (Всё сказанное ранее я относил на счет сервера "живой" базы.)
Сервер живой базы:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU
Размер базы = 30gb, количество одновременных пользователей ~ 70.
Стоит Windows ES SP2 32bit (параметр AWE не установлен), Oracle 8.14
Дисковая подсистема:
Avg. Disk Read Queue Length = 0.111
Avg. Disk Write Queue Length = 0.364
Avg. Disk Queue Length = 0.475
Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759
Т.о. средние величины в норме, есть не очень нормальные максимальные всплески, причем большей частью во время записи.
Загрузка ЦПУ:
Avg. %Processor Time = 10.383
Max %Processor Time = 40.443
Вроде также неплохо.
Стоит заметить, что, конечно же, от установленных 8gb ОЗУ особого проку нет из-за W2k3 32bit.
Теперь, попробуем представить, что размер базы вырастает раза в 2, Oracle заменяется на Oracle 11g 64bit, Windows - на W2k3 SS SP2 64bit, количество одновременных пользователей вырастает в три раза - до 200.
Как я понимаю глядя на цифры PerfMon-а,
1. производительности двух ЦПУ E5420 хватит с очень большим запасом и надолго, и нет смысла брать Nehalem
2. с 4x HDD RAID10 имеет смысл перейти на 8x HDD RAID10, а не 6x HDD RAID10. Хотя очереди на диск не особо велики, но нагрузка возрастет, и здесь (в отличие от ситуации с ЦПУ) лучше перестраховаться. Тем более, что больше потенциальных проблем с дисковой записью.
3. Т.к. размер базы превосходит 20gb, лучше взять сервер с 32gb ОЗУ, а не 24 пусть и с более мощным ЦПУ (мощь которого, IMHO, останется невостребована).
4. и, наконец, замена ОС на 64бит позволит сохранить очередь к диску на примерно прежнем уровне, а возможно, что за счёт намного большего ОЗУ, доступного Oracle, даже несколько снизить её.
При этом, учитывая, что сейчас нет особых проблем с дисковой, я не ожидаю, что за счёт укрепления дисковой и оптимизации использования ОЗУ нагрузка на ЦПУ может возрасти на порядок и более. Но 100% не уверен.
gs
Если не лениво столько прочитать, дайте свой вердикт, пожалуйста. Я привёл почти максимум данных, которые мог привести. Что выбрать в этих условиях:
1. 2x Xeon E55230 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU
или
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?
Спасибо за терпение.
Сервер живой базы:
Xeon E5420\ 8gb\ 4x 15krpm SAS RAID10\ LSI 1078 256mb with BBU
Размер базы = 30gb, количество одновременных пользователей ~ 70.
Стоит Windows ES SP2 32bit (параметр AWE не установлен), Oracle 8.14
Дисковая подсистема:
Avg. Disk Read Queue Length = 0.111
Avg. Disk Write Queue Length = 0.364
Avg. Disk Queue Length = 0.475
Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759
Т.о. средние величины в норме, есть не очень нормальные максимальные всплески, причем большей частью во время записи.
Загрузка ЦПУ:
Avg. %Processor Time = 10.383
Max %Processor Time = 40.443
Вроде также неплохо.
Стоит заметить, что, конечно же, от установленных 8gb ОЗУ особого проку нет из-за W2k3 32bit.
Теперь, попробуем представить, что размер базы вырастает раза в 2, Oracle заменяется на Oracle 11g 64bit, Windows - на W2k3 SS SP2 64bit, количество одновременных пользователей вырастает в три раза - до 200.
Как я понимаю глядя на цифры PerfMon-а,
1. производительности двух ЦПУ E5420 хватит с очень большим запасом и надолго, и нет смысла брать Nehalem
2. с 4x HDD RAID10 имеет смысл перейти на 8x HDD RAID10, а не 6x HDD RAID10. Хотя очереди на диск не особо велики, но нагрузка возрастет, и здесь (в отличие от ситуации с ЦПУ) лучше перестраховаться. Тем более, что больше потенциальных проблем с дисковой записью.
3. Т.к. размер базы превосходит 20gb, лучше взять сервер с 32gb ОЗУ, а не 24 пусть и с более мощным ЦПУ (мощь которого, IMHO, останется невостребована).
4. и, наконец, замена ОС на 64бит позволит сохранить очередь к диску на примерно прежнем уровне, а возможно, что за счёт намного большего ОЗУ, доступного Oracle, даже несколько снизить её.
При этом, учитывая, что сейчас нет особых проблем с дисковой, я не ожидаю, что за счёт укрепления дисковой и оптимизации использования ОЗУ нагрузка на ЦПУ может возрасти на порядок и более. Но 100% не уверен.
gs
Если не лениво столько прочитать, дайте свой вердикт, пожалуйста. Я привёл почти максимум данных, которые мог привести. Что выбрать в этих условиях:
1. 2x Xeon E55230 (2.4ghz, 8mb L3C, 5.86GT/s, Turbo Boost, HT)
24gb DDR3 1066
8x 146gb 15krpm SAS (из коих 6x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU
или
2x Xeon E5420 (2.5ghz, 8mb L2C, 1333mhz FSB)
32gb FB DDR2 667
10x 146gb 15krpm SAS (из коих 8x пойдут в RAID0 + 2x HS)
LSI 1078 256mb + BBU?
Спасибо за терпение.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
У вас случайно "Врайт Тру" режим не включен? Очень похоже на то. ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4Black-Dragon писал(а):Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
"Black-Dragon"
У Делла не нашел серверов на 10-16 дисков в полке, только с внешней СХД.
У Делла не нашел серверов на 10-16 дисков в полке, только с внешней СХД.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Stranger03 писал(а):ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4
Спасибо большое за мнение! По СХД подумаю в следующий раз.
Тут даже blade предлагали от IBM с отдельным СХД, очень интересное предложение. Но не готовы мы к этому ещё. Чувствую, уже пора почитать про "новые" веяния, и особенно виртуализацию.
А пока постепенно склоняюсь к Dell PE III с двумя E5420, 32GB RAM и 10-ю дисками. Если только gs не выскажет опять что-нибудь многозначительное и отправит меня ещё на пару дней в "полный штиль".
.Stranger03 писал(а):У вас случайно "Врайт Тру" режим не включен?
Нет, батарейка есть, а настройки в своё время проводил под инструктажем gs (вот только не помню, здесь или на ixbt). Так что с этим всё (должно быть) в порядке.
Скорее всего, в моменты всплеска производятся специфические операции, например, копия базы в конце рабочего дня (это по чтению, по записи ничего сходу придумать не могу).
А что, при указанных средних, такие максимумы принципиальны?
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: Конфигурация для серверов отчетов и живой базы (Oracle 11)
Это бывает с ораклом, много мелких запросов на запись выставляет - например, когда обновляются индексы. Пик такой обычно длиной в 3-5 сек.Stranger03 писал(а):У вас случайно "Врайт Тру" режим не включен? Очень похоже на то. ИМХО я бы дисков взял побольше, когда база будет расти, нечто вроде: 2х5420 (5506), 16 (24) ГБ, Адаптек 5405 + ББУ, 16х146ГБ САС. Это есть не требуется круглосуточная работа. В противном случае сервер + СХД типа Заратекс 5412, ИБМ ДС3400, ЕМС АХ4Black-Dragon писал(а):Max Disk Read Queue Length = 4.985
Max Disk Write Queue Length = 253.619
Max Disk Queue Length = 253.759
Black-Dragon
У Вас оракл сейчас какой стоит? Намного нагляднее помониторить его вместо perfmon операционки через Enterprise Manager (встроенный в 10й или отдельно установленный EM Grid Conntrol - если 9й), посмотреть по wait events, чем занимаются отдельные процессы в инстансе.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 9 гостей