Что выбрать: спец. СХД или на базе выд. сервера?
Модераторы: Trinity admin`s, Free-lance moderator`s
Что выбрать: спец. СХД или на базе выд. сервера?
Компания - РА.
Серверный парк: 4 сервера
Роли распределенные между серверами: 2 контроллера AD, 2 сервера БД MS SQL (1 - тяжелонагруженный, самописная БД, 60 пользователей, объем базы 8 ГБ, 1 слабонагруженный, БД маркетинга - 5 пользователей), файл-серверная БД 1С - 4 пользователя, файл-сервер - объем данных 2,6 ТБ (~80 пользователей),антивирусный сервер, бэкап(кросс-бэкап - сод. одного сервера льется на другой ночью), и т.д.
В настоящий момент ( в этот год) планируем сменить 2 сервера ( устаревших - срок службы 5 лет и 7 лет)
Планируется бюджет на 2 сервера (замена в этом году) - ~360 тыс. руб.(только на железо)
Есть мысль адаптировать нужды предприятия с использованием платформы виртуализации (VMWare) - миграция постепенно. Для этого выделены все текущие функции серверов и разложены в 6 VM.
1) Разумная система как видится:
а) СХД достаточного объема и производительности подключенная с помощью Fibre Channel к серверам ESXi...
б) два сервера ESXi (для отказоусточивости) в приблизительной конфигурации ( X5660 (2.8Ghz x 6 ядер), >=32Gb, матери на i5520, простой RAID+2 SAS(RAID1) для загрузки ESXi, Fibre Channel для связи с СХД)
в) сервер под vSphere - планируем использовать существующий сервер (3,5 года эксплуатации) после переноса
его ролей в VM
г) NAS для бэкапа
В первый год:
построение СХД и поднятие 1-го сервера ESXi с переводом в VM ролей существующих серверов (миграция),
вынос роли бэкапа на отдельный NAS
Во второй год:
второй сервер ESXi- для отказоусточивости VM, соединение с СХД - FibreChannel арбитрируемая петля,
если будет бюджет - через коммутатор FibreChannel
Почему так долго - бюджет не резиновый, на все получить - только в 2 года можем рассчитывать
Вопрос по построению СХД:
Имеется 2 варианта:
1) Можем снять часть ролей и перевести существующий сервер( E5430(2.66Ghz*4ядра),8GB) под СХД
с установкой: дисковая система RAID50 емкостью 6TB ( 8*1Гб WD RE4 в корзинах + 2 на запас )
под LSI 9265+ CacheCade2+ зеркало на OCZ Vertex 3 Max IOPS - под кеш
прогнозируемая производительность в шаблонах Database Pattern такого массива:
пессиместично ожидается 2400-4800 IOPs ( размер всех БД 13 ГБ с ростом до 2 раз - должны
влезть в кеш), производительности для ф-с тем паче хватит с избытком
двухканальный FibreChannel
2) не напрягаться: что-то типа IBM DS3400 + диски
однако производительность хранилища по прогнозам не превысит 1200 IOPS в шаблонах Database Pattern
для достижения сопоставимой производительности стоимость дисковой системы вырастет в ~2 раза -
как следствие кол-во шпинделей тоже будет на 60 %. Что увеличивает вероятность отказа.
Что лучше?
И доп. вопрос:
раньше собственно во всех серверах использовался RAID(1,10) - если что (тьфу-тьфу не разу не было)
восстановить зеркала не проблема, в случае серьезного отказа(сервера) можно было перебросить роли
не прерывая работу(более-менее). В случае с СХД ( несмотря на бэкап на NAS) все яйца в одном месте.
Это несколько напрягает. Вообще какая вероятность отказа специализированной СХД ( не дисков - а самой железки ) и насколько вариант с СХД на основе сервера менее надежен по сравнению с специализированной СХД.
Две СХД (для реплицирования) не потянем....никак
Серверный парк: 4 сервера
Роли распределенные между серверами: 2 контроллера AD, 2 сервера БД MS SQL (1 - тяжелонагруженный, самописная БД, 60 пользователей, объем базы 8 ГБ, 1 слабонагруженный, БД маркетинга - 5 пользователей), файл-серверная БД 1С - 4 пользователя, файл-сервер - объем данных 2,6 ТБ (~80 пользователей),антивирусный сервер, бэкап(кросс-бэкап - сод. одного сервера льется на другой ночью), и т.д.
В настоящий момент ( в этот год) планируем сменить 2 сервера ( устаревших - срок службы 5 лет и 7 лет)
Планируется бюджет на 2 сервера (замена в этом году) - ~360 тыс. руб.(только на железо)
Есть мысль адаптировать нужды предприятия с использованием платформы виртуализации (VMWare) - миграция постепенно. Для этого выделены все текущие функции серверов и разложены в 6 VM.
1) Разумная система как видится:
а) СХД достаточного объема и производительности подключенная с помощью Fibre Channel к серверам ESXi...
б) два сервера ESXi (для отказоусточивости) в приблизительной конфигурации ( X5660 (2.8Ghz x 6 ядер), >=32Gb, матери на i5520, простой RAID+2 SAS(RAID1) для загрузки ESXi, Fibre Channel для связи с СХД)
в) сервер под vSphere - планируем использовать существующий сервер (3,5 года эксплуатации) после переноса
его ролей в VM
г) NAS для бэкапа
В первый год:
построение СХД и поднятие 1-го сервера ESXi с переводом в VM ролей существующих серверов (миграция),
вынос роли бэкапа на отдельный NAS
Во второй год:
второй сервер ESXi- для отказоусточивости VM, соединение с СХД - FibreChannel арбитрируемая петля,
если будет бюджет - через коммутатор FibreChannel
Почему так долго - бюджет не резиновый, на все получить - только в 2 года можем рассчитывать
Вопрос по построению СХД:
Имеется 2 варианта:
1) Можем снять часть ролей и перевести существующий сервер( E5430(2.66Ghz*4ядра),8GB) под СХД
с установкой: дисковая система RAID50 емкостью 6TB ( 8*1Гб WD RE4 в корзинах + 2 на запас )
под LSI 9265+ CacheCade2+ зеркало на OCZ Vertex 3 Max IOPS - под кеш
прогнозируемая производительность в шаблонах Database Pattern такого массива:
пессиместично ожидается 2400-4800 IOPs ( размер всех БД 13 ГБ с ростом до 2 раз - должны
влезть в кеш), производительности для ф-с тем паче хватит с избытком
двухканальный FibreChannel
2) не напрягаться: что-то типа IBM DS3400 + диски
однако производительность хранилища по прогнозам не превысит 1200 IOPS в шаблонах Database Pattern
для достижения сопоставимой производительности стоимость дисковой системы вырастет в ~2 раза -
как следствие кол-во шпинделей тоже будет на 60 %. Что увеличивает вероятность отказа.
Что лучше?
И доп. вопрос:
раньше собственно во всех серверах использовался RAID(1,10) - если что (тьфу-тьфу не разу не было)
восстановить зеркала не проблема, в случае серьезного отказа(сервера) можно было перебросить роли
не прерывая работу(более-менее). В случае с СХД ( несмотря на бэкап на NAS) все яйца в одном месте.
Это несколько напрягает. Вообще какая вероятность отказа специализированной СХД ( не дисков - а самой железки ) и насколько вариант с СХД на основе сервера менее надежен по сравнению с специализированной СХД.
Две СХД (для реплицирования) не потянем....никак
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Что выбрать: спец. СХД или на базе выд. сервера?
У Вас бюджета хватит либо на пару средней паршивости серверов, либо на сторадж (да и то с большой натяжкой) - уточните плиз...
Re: Что выбрать: спец. СХД или на базе выд. сервера?
Что есть-то есть. Все расчеты черновые пока(по железу):У Вас бюджета хватит...
Вариант апгрейда существующего сервера под СХД:
Диск. система:
LSI 9265 +CacheCade2 = ~30000 р.
10(8 в RAID50, 2 лежат в резерве)* WD RE4 1 TB=~70000 р.
зеркало на OCZ Vertex 3 Max IOPS(120Gbx2) =~ 15000 р.
Экспандер Chenbro = ~ 15000 р.
Сам сервер: E5430 (2.66*4ядра),8GB - есть
Qlogic QLE2462-CK = ~ 46000 р.
Итого: 176000р
Сервер под ESXi *(X5660,32GB, простейшее зеркало для загрузки ESXi,QLE2460) ~ 180000 р
Результат: основа системы виртуализации - ESXi и СХД (на основе сервера)
Вариант 2:
IBM DS3400 - ~ 140000р
Дисковая система ~70000р
Сервер под ESXi (X5660,32GB, простейшее зеркало для загрузки ESXi,QLE2460) ~ 180000 р
Подороже ~ 390000 р.
Результат: основа системы виртуализации - ESXi и СХД (на основе специализированного СХД)
После перевода ролей еще один приличный сервер(E5345,8ГБ) становится сервером vSphere ( выделенным)
В следующий год покупается еще один сервер подобный * - резервный сервер ESXi - соединяются с СХД
и если бюджет удастся выбить - через коммутатор Fibre Channel
Итого в результате:
Некая СХД емкостью 6ТБ (какой вариант - еще непонятно той или иной производительностью)
2 сервера ESXi
сервер vSphere для управления
Ну как то так прикидываю. Я понимаю что денег не богато - но мне еще учесть приходится лицензии. Так что режу по живому. Уж не обессудьте.
P.S. Бюджет на железо(!) 1-ый год: ~360000 р. 2-й год: ~ 300000 р.
-
- Advanced member
- Сообщения: 484
- Зарегистрирован: 05 май 2010, 13:56
- Откуда: Москва
- Контактная информация:
Re: Что выбрать: спец. СХД или на базе выд. сервера?
СХД - как раз та железка в которой дублированы все жизненно важные компоненты (контроллеры, питание, охлаждение), диски обеспечены массивами с избыточностью (тут всё стандартно). Убить её ненамеренно достаточно сложно. На сколько сервер менее надёжен? Он не надёжен т.к. вероятность его отказа равна сумме вероятностей отказа каждого не дублированного компонента.mrzet писал(а):Вообще какая вероятность отказа специализированной СХД ( не дисков - а самой железки ) и насколько вариант с СХД на основе сервера менее надежен по сравнению с специализированной СХД.
Вкладывать деньги в негарантийное и потенциально проблемное железо - тупиковый путь развития.mrzet писал(а):Вариант апгрейда существующего сервера под СХД:
Относительно финансов. Давайте посчитаем. Есть ли возможность перераспределить бюджет между этапами в пользу первого (СХД+сервер №1)?
C уважением, Антон
a.utkin@trinitygroup.ru
a.utkin@trinitygroup.ru
Re: Что выбрать: спец. СХД или на базе выд. сервера?
Затруднительно. Сумма в 360-390т это предел на этот год. И это еще предстоит выгрызть. А еще лицензии. Сервер конечно можно облегчить - но очень слегка. А что вариант 2: IBM DS3400 укомплектованная как нужно - это слабо? Скажем я смогу поставить в нее отдельный массив как зеркало на 2 SSD - нужно для БД( тогда ночью и выходные - бэкап БД)? Ибо для остальных задач производительности массива хватит. Собственно вариант СХД на основе сервера я рассматривал только со стороны увеличения производительности массива и адаптации его под требования скорости к массиву со стороны БД, ибо контроллеры такого уровня в специализированную СХД не поставляются.Давайте посчитаем. Есть ли возможность перераспределить бюджет между этапами в пользу первого (СХД+сервер №1)?
-
- Advanced member
- Сообщения: 484
- Зарегистрирован: 05 май 2010, 13:56
- Откуда: Москва
- Контактная информация:
Re: Что выбрать: спец. СХД или на базе выд. сервера?
DS3400 система устаревшая, на данный момент распродаются остатки. SSD она не поддерживает.
Лучше смотреть в сторону DS3500, SSD там есть но они порвут ваш бюджет.
Давайте разберёмся с требуемой производительностью. Как сконфигурирован ваш сервер БД? Логи перфмона выложить можете?
В реалиях вашего бюджета правильнее разделить покупки на 2 этапа:
1. 2 сервера
2. СХД
Ну или поменять их местами как вам нравится. СХД и сервер в один этап не влезут.
Лучше смотреть в сторону DS3500, SSD там есть но они порвут ваш бюджет.
Давайте разберёмся с требуемой производительностью. Как сконфигурирован ваш сервер БД? Логи перфмона выложить можете?
В реалиях вашего бюджета правильнее разделить покупки на 2 этапа:
1. 2 сервера
2. СХД
Ну или поменять их местами как вам нравится. СХД и сервер в один этап не влезут.
C уважением, Антон
a.utkin@trinitygroup.ru
a.utkin@trinitygroup.ru
- kim_aa
- Advanced member
- Сообщения: 118
- Зарегистрирован: 24 ноя 2011, 16:30
- Откуда: Санкт-Петербург
- Контактная информация:
Re: Что выбрать: спец. СХД или на базе выд. сервера?
При данных раскладах я бы прикидывал следующую конфигурацию:
1) Тяжелонагруженный сервер не виртуализируется.
Смысла в виртуализации тяжелонагруженных (особенно по вводу/выводу) серверов на x86 платформе нет, особенно при отсутсвии денег.
2) Слабонагруженные сервера виртуализуются.
- Не совсем понятно как вы в отсутсвии денег будете реализовывать HA, но это ваше дело. Вобще если денег на покупку лицензий нет, то выгоднее использовать XenServer, т.к. vCenter платен, а XenCenter нет.
- По бедности, можно использовать не серверную платформу (хотя это конечно не правильно, но тут уж не до жиру). В этом случае рекомендую устаревший 1366 сокет, что позволит набить 24 ГБ памяти в хост (При виртуализации память главное). При стоимости хоста до 2000$ вы легко соберете 3 однотипных хоста, даже если один сдохнет за время эксплуатации - и бог с ним.
- Лично я собирал для макетирования/тестирования хосты на AMD Phenom, это позволяет выйграть по ядрам, но увы проигрывает по памяти.
3) Для файлохранилища и хранения образов виртуалок я бы использовал универсальную хранилку с CIFS, NFS, iSCSI.
При наличии 10G Ethernet разница с FC не принципиальна (она конечно есть по задержкам, но это актуально только для "тяжелых" серверов).
"Легкие" же сервера часто не могут выбрать 80 МБ/с Gigabit Ethernet.
Агрегированного канал в 4х1000Base-T для вас будет более чем достаточно.
По вендорам:
для ценителей - NetApp;
для бедных - NetGear.
4) В дальнейшем из двух дешевых хранилок и бесплатного Storage Foundation Basic можно собрать полностью отказоустойчивое зеркало для "тяжелого" сервера.
1) Тяжелонагруженный сервер не виртуализируется.
Смысла в виртуализации тяжелонагруженных (особенно по вводу/выводу) серверов на x86 платформе нет, особенно при отсутсвии денег.
2) Слабонагруженные сервера виртуализуются.
- Не совсем понятно как вы в отсутсвии денег будете реализовывать HA, но это ваше дело. Вобще если денег на покупку лицензий нет, то выгоднее использовать XenServer, т.к. vCenter платен, а XenCenter нет.
- По бедности, можно использовать не серверную платформу (хотя это конечно не правильно, но тут уж не до жиру). В этом случае рекомендую устаревший 1366 сокет, что позволит набить 24 ГБ памяти в хост (При виртуализации память главное). При стоимости хоста до 2000$ вы легко соберете 3 однотипных хоста, даже если один сдохнет за время эксплуатации - и бог с ним.
- Лично я собирал для макетирования/тестирования хосты на AMD Phenom, это позволяет выйграть по ядрам, но увы проигрывает по памяти.
3) Для файлохранилища и хранения образов виртуалок я бы использовал универсальную хранилку с CIFS, NFS, iSCSI.
При наличии 10G Ethernet разница с FC не принципиальна (она конечно есть по задержкам, но это актуально только для "тяжелых" серверов).
"Легкие" же сервера часто не могут выбрать 80 МБ/с Gigabit Ethernet.
Агрегированного канал в 4х1000Base-T для вас будет более чем достаточно.
По вендорам:
для ценителей - NetApp;
для бедных - NetGear.
4) В дальнейшем из двух дешевых хранилок и бесплатного Storage Foundation Basic можно собрать полностью отказоустойчивое зеркало для "тяжелого" сервера.
Re: Что выбрать: спец. СХД или на базе выд. сервера?
E5345, 8ГБ, AAR-2420SA, RAID10 4xWD Raptor - только БДКак сконфигурирован ваш сервер БД?
На текущий момент:
БД данных - 7.8Гб, БД структуры-47.7Mb, 192 польз. процедуры, в клиенте используется 1374 метода на 215 интерф. объектов, 7 ролей( участков работы),данные опер. деятельности предприятия за 8 лет
33 пользователя в базе,оценка загруженности( в текущий момент)- низко-средняя
Batch request/sec
max: 58 ave: 5.293
Total operations/sec
max: 1497 ave: 161.800
Buffer Cache Hit Ratio
max: 100 ave: 100
Cache Hit Ratio:Procedure Plans:
max: 73.459 ave: 73.459
Cache Hit Ratio:Trigger Plans:
max: 99.309 ave: 99.309
% Processor Time:
max: 68.140% ave: 18.425%
* при превышении ave более 48% - сервер отзывается с большим лагом - из наблюдения
Interrupts/sec:
max: 7994 ave: 1324 min: 284
% Disk Time
max: 281.660% ave: 16.790%
Disk Read Bytes/sec
max: 10.294Mb/sec ave: 545Kb/sec
Disk Write Bytes/sec
max: 11.018Mb/sec ave: 187Kb/sec
Average Disk Read Queue Length
max: 7.097 ave: 0.139
Average Disk Write Queue Length
max: 7.433 ave: 0.119
Основная проблема в том что пиковые нагрузки зависят от того сколько человек и как работают одновременно,
ну и есть участки где делают большие отчеты ( в момент наблюдения активность этих пользователей небольшая).
Так вот латентность сильно вырастает. Заряжал синтетический тест из БД - на SSD все летает, т.е. основная проблема - задержки дисковой системы(особенно на отчетах). И сейчас время менять сервера - хотелось поиметь билет в другой класс, жаль что средствов маловато. Спасибо за мысли - будем думать.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 57 гостей