Отказоустойчивый кластер с 1 СХД

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

OptiX
Junior member
Сообщения: 11
Зарегистрирован: 13 ноя 2010, 11:06
Откуда: Киев

Отказоустойчивый кластер с 1 СХД

Сообщение OptiX » 13 ноя 2010, 11:17

Всем Привет. Нужно построить отказоустойчивый кластер с 2мя серверами и 1 СХД.

Вообщем бюджет выделяется примерно в размере 35-40к уе
Планирую:
Router+Switch l2 – VPN Server IPSec+PPTP+4 Vlans(Office, VOIP, NAT Vlan,
Guest Free WiFi Vlan)
Железный: 1 сервер - 1st DC– Win 2k8 64: AD
Виртуальные:
2 сервер – 2nd DC - Win 2k8 64: AD+DHC+DNS
3 сервер – File Server+Terminal Server+Print Spooler+Liga+1C 8.1 Сервер приложений
4 сервер – Win 2k8 64: SQL(1C 8.1)
5 сервер – FreeBSD: Qmail(pop3, smtp)+SQUID(инет ч\з проксю)+www
6 сервер - Debian: Asterisk (VoIP)
Все сервера хочется разместить на Free XEN 5,6 или ESXi

Сейчас 7 пользователей. Находимся во временном офисе. Новый на ремонте с общим числом пользователей 26 чел. Есть один «филиал» (6 чел). Все работают в 1С. Максимум сколько может быть около 10 таких «филиалов»
Сейчас все работают на временном удалённом сервере ч\з ВПН. Эту базу 1С 8.1 нужно будет разместить у нас.
Инет у нас офисный (10 world\100 UA-IX)

Вот подобрал конфигурацию:

2 одинаковых сервера DL360G7/DL380G7 E5640 (2CPU\16Gb\без винтов)
579240-421 HP DL360G7 E5640 Base EU Svr шт. 2
588068-B21 HP E5640 DL360G7 Kit шт. 2
500656-B21 HP 2GB 2Rx8 PC3-10600R-9 Kit шт. 10
614988-B21 HP SCO8e 6 Gb SAS HBA шт. 2
503296-B21 HP 460W HE 12V Hotplg AC Pwr Supply Kit шт. 2

Система хранения данных
AW593A HP P2000 G3 SAS MSA Dual Cntrl LFF Array шт. 1
AP859A HP P2000 450GB 6G SAS 15K 3.5in ENT HDD шт. 6
407339-B21 HP Ext Mini SAS 2m Cable шт. 4

Коммутаторы
J9138A HP E2520-24-PoE свитч шт. 1
HP E2510-24G Switch J9279A свитч шт. 1

Маршрутизатор
CISCO2921-SEC/K9 маршрутизатор шт. 1
ИБП
APC SmartUPC 1500 шт. 2

ПО Microsoft
P72-04216 Лицензия WinSvrEnt 2008R2 RUS OLP NL шт. 1
6VC-01146 Лицензия WinRmtDsktpSrvcsCAL 2008 RUS OLP NL UsrCAL шт. 8
359-05350 Лицензия SQLCAL 2008R2 RUS OLP NL UsrCAL шт. 8
228-09418 Лицензия SQLSvrStd 2008R2 RUS OLP NL шт. 1

Возникли такие вопросы.
Смогу ли я при выходе из строя стораджа вытащить винчестеры с виртуальными машинами и данными и запустить их на одном из серверов? Как я смогу поднять систему в случае выхода стораджа. Предлагают вариант с 2мя одинаковыми серверами (один основной- все основные виртуальные ОС на нём, и второй - меньше винтов, 1н процессор - для необязательных ОС. для файлопомойки). Здесь если вылетает основной я в течении 45мин переставляю проц, добавляю память и переставляю винты и подымаю всё что было на основном сервера на вторичном так сказать.
В сервера винчестеры не берутся. Гипервайзоры думаю ставить на флешку. Или всё же стоит поставить по 2 простеньких сата винчестера в рэйд 1?
Хватит ли [AP859A HP P2000 450GB 6G SAS 15K 3.5in ENT HDD шт.6] в RAID 10 для 5 гостевых серверов и раздела с базой 1С? Пользователей 1С в ближайший год-два будет человек 25-30
Как бы вообще дисковую систему в сторадже построить правильно?
Может что взять хуже, а что лучше

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 13 ноя 2010, 11:58

OptiX писал(а):Смогу ли я при выходе из строя стораджа вытащить винчестеры с виртуальными машинами и данными и запустить их на одном из серверов?
Нет, но вероятность выхода из строя двухконтроллерной СХД настолько мала, что об этом редко кто задумывается вне контекста построения территориально-разнесенной катастрофоустойчивой системы.
OptiX писал(а):Как я смогу поднять систему в случае выхода стораджа.
Есть три пути: 1. Купить контракт с максимально коротким временем восстановления и в DRP-RTO плясать от этого времени. 2. Купить две СХД и зеркалировать данные. 3. В один из серверов поставить рейд-контроллер, натолкать дисков и в случае чего разворачиваться на него из бэкапа.
OptiX писал(а):Предлагают вариант с 2мя одинаковыми серверами (один основной- все основные виртуальные ОС на нём, и второй - меньше винтов, 1н процессор - для необязательных ОС. для файлопомойки). Здесь если вылетает основной я в течении 45мин переставляю проц, добавляю память и переставляю винты и подымаю всё что было на основном сервера на вторичном так сказать.
Даже если оставить за скобками вопрос совместимости массивов, я всегда очень против идей с перестановкой комлектующих во время катастрофы. Банально потому, что существует вероятность сломать резервный сервер во время такой перестановки, особенно учитывая психологический настрой администратора и всю прелесть ситуации.
OptiX писал(а):Гипервайзоры думаю ставить на флешку. Или всё же стоит поставить по 2 простеньких сата винчестера в рэйд 1?
Я бы рекомендовал или ставить на флэшку, или грузить с СХД. Это касаемо VMware, за Xen не скажу.
Хватит ли [AP859A HP P2000 450GB 6G SAS 15K 3.5in ENT HDD шт.6] в RAID 10 для 5 гостевых серверов и раздела с базой 1С? Пользователей 1С в ближайший год-два будет человек 25-30
На 7 человек - точно хватит. К полной завязке, возможно, начнет нехватать - добавите винтов.
OptiX писал(а):Как бы вообще дисковую систему в сторадже построить правильно?
В соответствии с рекомендациями производителя. У IBM во всяком случае есть достаточно подробный документ по настройке под разные задачи, в т.ч. под виртуализацию. В HP не силен, могу дать совет общего характера: сделайте из всех один массив в r10.

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 13 ноя 2010, 14:16

Еще три момента:
1. Вы забыли задублировать коммутатор "ядра".
2. Непонятно, куда будете делають резервные копии (в т.ч. не увидел в списке софта ПО для РК).
3. Вы выбрали плохой ИБП :)
Последний раз редактировалось diz 13 ноя 2010, 14:16, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Отказоустойчивый кластер с 1 СХД

Сообщение gs » 13 ноя 2010, 14:17

Если память не изменяет, вида энтерпрайзная лицензирует четыре инстанса виртуалок, если в качестве гипервизора используется гипер-ви. Если планируете другой, то купите нужное количество стандартов.

Насчет перестановки винтов - не ищите приключений. У Вас есть возможность построить правильную систему со стораджем и двумя серверами и иметь все прелести виртуализации и отказоустойчивости. На случай отказа стораджа поспрошайте поставщиков на предмет карепака с восстановлением работоспособности в течении суток (если Вас такое устроит - впрочем, двухконтроллерные стораджи очень редко падают). Или поставьте в один сервер рэйд контроллер и несколько винтов для аварийного переезда - как сказал коллега.

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 13 ноя 2010, 14:18

gs писал(а):Если память не изменяет, вида энтерпрайзная лицензирует четыре инстанса виртуалок, если в качестве гипервизора используется гипер-ви. Если планируете другой, то купите нужное количество стандартов.
Это под любой виртуализацией. Однако потребуется минимум две ent лицензии, т.к. лицензирование осуществляется на хост. Т.е. в любой момент времени на хосте не может быть запущено более (4х запущеных VM)*(количество ent лицензий, привязанных к хосту).
Последний раз редактировалось diz 13 ноя 2010, 14:23, всего редактировалось 3 раза.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Отказоустойчивый кластер с 1 СХД

Сообщение gs » 13 ноя 2010, 14:19

Точно?

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 13 ноя 2010, 14:22

100%

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Отказоустойчивый кластер с 1 СХД

Сообщение gs » 13 ноя 2010, 14:26

Сорри, я дурак. Но коллеги уже подсказали, что тогда все инстансы должны быть на одной физической железке. Миграция возможна, но только файловерная и только на OLP лицензиях.

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 13 ноя 2010, 14:28

OptiX Еще мне не нравится, что в Вашей конфиге память набивается планками по 2 гига. Не знаю, как у HP,а у IBM это даже финансово не выгодно, не говоря уже о перспективности. Более того, недавно скинули цены на 8и гиговые планки так что я бы собирал теперь только на них.
Еще почему-то заказано всего две SAS HBA`шки..

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Отказоустойчивый кластер с 1 СХД

Сообщение exLH » 13 ноя 2010, 14:34

Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

OptiX
Junior member
Сообщения: 11
Зарегистрирован: 13 ноя 2010, 11:06
Откуда: Киев

Re: Отказоустойчивый кластер с 1 СХД

Сообщение OptiX » 15 ноя 2010, 11:40

2diz & all:

Второй вариант отпадает т.к. дорого. КореПак пакет планировался 6 часовой. Вот думаю может в взять РЭЙД0 2х300Гб 15к и держать их на одном из серверов в случае падения стораджа. Контроллера встроеного хватит? Тогда думаю можно и отказаться от этого пакета восстановления стораджа?

Бекапы(VMы и 1С SQL база) буду делать на ЮСБ веник подключеный к стораджу. Софт который идёт со стораджем или средствами Виртуализационного ПО. Замечу что Платить за Гипарвайзер не планируется т.к. нет нужды в 100% HA. Допускается простой в 30мин.

Дублировать комутаторы не вижу смысла, если что вручную перекинуть кабеля с одного HP E2510-24G Switch J9279A на другой J9138A HP E2520-24-PoE свитч. Позже когда расширимся возьму HP E2510-24G Switch J9279A для дублирования

Какой ИБП посоветуете в такой нагрузке? 30-40 мин без питания

Одного Ентерпрайз 2008 хватит т.к. все MS виртуалки планируются крутиться на одном хосте, и Если сбой на этом сервере - все дружно мигрируют на другой.

2Гб планками набиваются потому что там уже стоит 3х2Гб. Т.е. для совместимости полной и двухканального режима.

PS: Забыл добавить что планирую забрать самособорный сервер, который стоит сейчас на однои из филиалов с Квадом\8Гб\Рэйд1 из сата винтов.... На нём будет контроллер домена (+ к виртуальному), ДНС, ДШЦП. Вприницпе можно если чё и на нём поднять базу 1С в случае падения.... как думаете? Может докупить к нему винтов для рэйда...?

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 15 ноя 2010, 13:58

Как в старой Русской сказке: чем дальше, тем страшнее...
Вот думаю может в взять РЭЙД0 2х300Гб 15к и держать их на одном из серверов в случае падения стораджа.
Не надо так делать.
2Гб планками набиваются потому что там уже стоит 3х2Гб. Т.е. для совместимости полной и двухканального режима.
Это не влияет.
Допускается простой в 30мин.
Предлагаемые Вами решения не обеспечат простой в 30 мин. Ни как.
Какой ИБП посоветуете в такой нагрузке? 30-40 мин без питания
APC SURT3000 с доп. батарейным блоком

OptiX
Junior member
Сообщения: 11
Зарегистрирован: 13 ноя 2010, 11:06
Откуда: Киев

Re: Отказоустойчивый кластер с 1 СХД

Сообщение OptiX » 15 ноя 2010, 14:39

Вот думаю может в взять РЭЙД0 2х300Гб 15к и держать их на одном из серверов в случае падения стораджа.
Не надо так делать.
В рэйд1? Не подбирать же такую же дисковую систему как на сторадже... 6х450 15к... Всё равно это только на случай падения стораджа...пусть и будут тормоза, но работать сутки-двое сможет...

Может всё таки действительно по поводу отдельного железного сервера, что я написал который будет контроллером домена. Его как бекап... Т.е. на нём будут готовые службы 1С и в случае падения стораджа из вненего усба веника вытягиваем базу 1С и запускаем на нём...

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: Отказоустойчивый кластер с 1 СХД

Сообщение diz » 15 ноя 2010, 14:45

Опишите еще раз целиком решение, которое хотите внедрить. Отдельно опишите сценарий восстановления в случае сбоя.

OptiX
Junior member
Сообщения: 11
Зарегистрирован: 13 ноя 2010, 11:06
Откуда: Киев

Re: Отказоустойчивый кластер с 1 СХД

Сообщение OptiX » 15 ноя 2010, 15:31

На усб внешний винчестер 2Тб подключённый к стораджу будут делаться бекапы Виртуальных машин и дата разделов(раздел с 1С SQL базой).

1вариант:
Как вы написали:
В один из серверов поставить рейд-контроллер, натолкать дисков и в случае чего разворачиваться на него из бэкапа.
Использовать встроенный контроллер. Установить 2 диска 300Гб 15к в RAID1. И держать его пустым, не используемым.
В случае падения стораджа залить из бекапа(усб винт) на этот рэйд необходимые VM'ы и файл базы данных. Этот рэйд примонтировать как репозитарий к гипервизору и юзать.

2вариант: Будет 3ья железная машина самосбор(коре квад проц\8Гб ОЗУ\Рэйд1 из сата винтов) с Контроллером Домена(+ к виртуальному) и DHCP с ДНС. Там можно развернуть терминал, 1С сервер приложений с SQL, но не юзать. В случае падения стораджа залить из бекапа(усб винт) файл базы данных и пустить всех юзеров сюда. Для этого я думаю нужно добавить ещё пару веников для 10 рэйда для скорости.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей