оборудование для Кластера повышенной доступности

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
vin
Junior member
Сообщения: 4
Зарегистрирован: 12 янв 2004, 17:09
Откуда: Дальний Восток

оборудование для Кластера повышенной доступности

Сообщение vin » 12 янв 2004, 17:53

Назрела необходимость создать Кластер повышенной доступности (High-availability Cluster).
Проще говоря, необходимо построить такую схему, чтобы в случае отказа одного из серверов его функции передаются другому серверу, причем это происходит незаметно для клиента и без потери функциональности. (режим 24х7х365)

Текущая Работающая сейчас схема состоит из трех серверов

1. Сервер Интернет Хостинга (web, mail, FTP)
Корпус Intel SC5000, Мать Intel STL2, 1Gb RAM, 2xPIII-1000, IDE RAID, OS - Linux RH9

2. MSSQL сервер
Корпус Supermicro, Мать Supermicro 370DLE, 1Gb RAM, 2xPIII-1000, IDE RAID, OS - W2k AS

3. Oracle сервер
Корпус Supermicro, Мать Мать Intel STL2, 1Gb RAM, 2xPIII-1000, IDE RAID, OS - Linux RH9


Проектируемая схема:
Изображение

Описание схемы:
Каждая пара серверов (основной и резервный) подключаются к одному внешнему дисковому массиву с RAID контроллером, с возможностью горячей замены дисков. В случае отказа основного сервера управление автоматически будет передано резервному. Благодаря внешнему дисковому хранилищу резервный сервер будет работать с теми же данными, что и основной.

Во внешнем массиве для каждой пары серверов организуется свой дисковый массив из пары дисков - RAID1 (зеркалирование). В случае выхода из строя одного из дисков массива Raid 1, его можно будет
заменить не прерывая работы серверов.

Для резервирования данных (защита от человеческих ошибок или ошибок софта) дополнительно ставится сервер резервного копирования - это, я так думаю, не шибко производительная машина с большим дисковым массивом. Территориально будет располагаться в другом здании (защита от катастроф). Резервирование будет происходить через LAN.

Я предполагаю пойти по Fibre Channel технологии. В связи с этим список докупаемого оборудования,я думаю будет такой (все должно встраиваться в 19" стойку):
1. FC SAN дисковый массив - 1 шт
2. SCSI HDD 73 Гб для массива - 12 шт
3. FC switch 8 ports - 1 шт
4. FC адаптер - 6 шт
5. FC пачкорды - 7 (+запас)
6. сервер в корпусе 2U , dual Xeon 2400 Mhz, 2-4 Gb RAM, 1 SCSI HDD 36 Gb - 3 шт. серверов. Корпуса 2U - чтоб меньше места занимали :)
7. сервер резервирования в корпусе 4U с кучей дисков.

Теперь вопросы: (необходимо решение без дорогих излишеств, но так, чтобы схема масштабировалась в будущем.)
1. какой FC SAN дисковый массив выбрать? Подойдет ли Xyratex RR-1422-LVD-FC-1C ?

2. какой FC switch выбрать, какие FC адаптеры, чтобы были совместимы друг с другом и протоколами, с массивом и имели драйвера как для Linux, так и для W2k, а также помещались в корпус 2U (желательно) ?

3. что выбрать для FC пачкордов - оптику или медь (все оборудование с FC будет в одной комнате)? - соответственно чтоб были учтены различные нюансы: соответствующие разъемы, длина и т.п.

4. какой корпус и материнку выбрать для того, чтобы в корпусе 2U поместили в себе FC адаптер, три 100 Mbit Nic (можно 2- встроеннх, 1 отдельной платой или варианты с отдельными многопортовыми), имели встоенный SCSI контроллер. Raid контроллеры и корзина не нужны.

5. какие недостатки Вы видете в этой схеме?

Спасибо, Дмитрий.

Аватара пользователя
CyberDrake
free-lance moderator
Сообщения: 338
Зарегистрирован: 23 авг 2002, 10:39
Откуда: Санкт-Петербург
Контактная информация:

Сообщение CyberDrake » 12 янв 2004, 18:28

В принципе, на мой взгляд, все правильно. Теперь постараюсь дать ответы на поставленные вопросы:

1. Какой FC SAN дисковый массив выбрать? Подойдет ли Xyratex RR-1422-LVD-FC-1C ?
Подойдет, но я бы задумался о дисковом массиве с двумя RAID контроллерами и дисками FC, например RIVA RAID от того же Chaparral (такие модели обладают значительно более высокой производительностью и масштабируемостью). Хотя если бюджет ограничен, то вполне можно обойтись и этой моделью.

2. Какой FC switch выбрать, какие FC адаптеры, чтобы были совместимы друг с другом и протоколами, с массивом и имели драйвера как для Linux, так и для W2k, а также помещались в корпус 2U (желательно) ?
FC switch я бы поставил 16 портовый - всяко придется подключать в будущем еще какие-либо серверы - тот же Backup server можно подключить по оптике напрямую к дисковому массиву. Из FC свичей могу порекомендовать QLogic SANBox2. В качестве адаптеров Qlogic 2340 (есть и low profile), хотя к 2U серверу supermicro можно прикупить елку и заднюю панель для установки полнопрофильных карт. Дрова для него есть как для Linux, так и для Windows. При работе нерешаемых проблем не возникало.

3. Что выбрать для FC пачкордов - оптику или медь (все оборудование с FC будет в одной комнате)? - соответственно чтоб были учтены различные нюансы: соответствующие разъемы, длина и т.п.
На текущий момент, я бы однозначно выбрал оптику. В настоящее время более популярны разъемы LC.

4. Какой корпус и материнку выбрать для того, чтобы в корпусе 2U поместили в себе FC адаптер, три 100 Mbit Nic (можно 2- встроеннх, 1 отдельной платой или варианты с отдельными многопортовыми), имели встоенный SCSI контроллер. Raid контроллеры и корзина не нужны.
Посмотрите на http://www.supermicro.com/Product_page/product-s.htm 2-х юнитовые платформы.

5. Какие недостатки Вы видете в этой схеме?
А что будет, если сгорит дисковый массив. Неплохо было бы его задублировать, но это несколько другие деньги...

vin
Junior member
Сообщения: 4
Зарегистрирован: 12 янв 2004, 17:09
Откуда: Дальний Восток

Сообщение vin » 12 янв 2004, 20:18

FC switch я бы поставил 16 портовый - всяко придется подключать в будущем еще какие-либо серверы
16 портовый QLogic SANbox2 получается в 3 раза дороже чем 8 портовый. :( А нельзя ли, при необходимости рассширения, каскадно поставить второй 8 портовый?
На текущий момент, я бы однозначно выбрал оптику. В настоящее время более популярны разъемы LC.
Понял. Я выбираю оптику. А оптику и разъемы LC поддердвают QLogic SANbox2 и Xyratex RR-1422-LVD-FC-1C? Я боюсь, чтоб не получилось в разнобой.

Для меня непонятно: если использовать и отику и медь одновременно, как с этим справляется Fabric Switch QLogic SANbox2? Он поддерживает и то и то :?:

S&L
Advanced member
Сообщения: 113
Зарегистрирован: 30 ноя 2003, 13:06

Сообщение S&L » 13 янв 2004, 00:12

Привет, красивая схема.
Только как указал cyberdrake, есть единая точка отказа (SPOF),
надо бы и свичи к тому же дублировать.
Да и как бы производительность SAN не оказалась неприятным
сюрпризом, надо бы нагрузку оценить.

vin
Junior member
Сообщения: 4
Зарегистрирован: 12 янв 2004, 17:09
Откуда: Дальний Восток

Сообщение vin » 13 янв 2004, 09:35

Да, в схеме есть забелы, но для для организации без единой точки отказа пока не хватает денег :(

У меня еще один вопрос
1. Какая спецификация оборудования, находящегося между FC коммутатором и FC адаптерами, и между FC коммутатором и FC портом на SAN storage RR-1422-LVD-FC-1C ? проще говоря Это будут только оптические кабели с разъемы LC на концах, или потребуется еще и какие-то переходники. Какой марки кабель должен быть? Я не селен в FC, поэтому прошу помочь.

Аватара пользователя
CyberDrake
free-lance moderator
Сообщения: 338
Зарегистрирован: 23 авг 2002, 10:39
Откуда: Санкт-Петербург
Контактная информация:

Сообщение CyberDrake » 13 янв 2004, 11:12

16 портовый QLogic SANbox2 получается в 3 раза дороже чем 8 портовый. А нельзя ли, при необходимости рассширения, каскадно поставить второй 8 портовый?
Да, конечно можно. И это будет дешевле.

А оптику и разъемы LC поддерживают QLogic SANbox2 и Xyratex RR-1422-LVD-FC-1C?
В настоящее время большинство продуктов используют GBIC (Gigabit Interface Connector), которые вставляются в интерфейсные модули. Они могут быть как медные, так и оптические. SANBox2 и RR-1422 поддерживают и те и другие, как и большинство всего остального оборудования SAN.

Что касается нагрузки, думаю здесь узким местом может быть производительность дискового массива.

Оптика нужна многомодовая 50мкм

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 13 янв 2004, 14:06

vin писал(а):5. какие недостатки Вы видете в этой схеме?
Один firewall, один коммутатор LAN.
Web-сервер физически не вынесен в DMZ.

Аватара пользователя
art
free-lance moderator
Сообщения: 653
Зарегистрирован: 15 май 2003, 11:25
Откуда: SPb

Сообщение art » 13 янв 2004, 18:59

ВТБ! писал(а):
vin писал(а):5. какие недостатки Вы видете в этой схеме?
Один firewall, один коммутатор LAN.
Web-сервер физически не вынесен в DMZ.
угу, ещё бы иметь свою автономную систему, поднять OSPF, два оптоволокна... -))

S&L
Advanced member
Сообщения: 113
Зарегистрирован: 30 ноя 2003, 13:06

Сообщение S&L » 13 янв 2004, 23:04

Как я предполагаю, вы не отягощены формальными отношениями
с ораклом (РН9 официально не поддерживается), так почему
вместо fail-over кластера не использовать parallel database cluster,
то бишь RAC. Получится active-active в случае с ораклом.

ВТБ!
free-lance moderator
Сообщения: 213
Зарегистрирован: 06 ноя 2002, 11:00
Контактная информация:

Сообщение ВТБ! » 14 янв 2004, 09:19

art писал(а):ещё бы иметь свою автономную систему, поднять OSPF, два оптоволокна... -))
Волокон и так, вероятно, несколько. :roll:
Ещё бы знать цену простоя...

vin
Junior member
Сообщения: 4
Зарегистрирован: 12 янв 2004, 17:09
Откуда: Дальний Восток

Сообщение vin » 14 янв 2004, 15:09

S&L писал(а):Как я предполагаю, вы не отягощены формальными отношениями
с ораклом (РН9 официально не поддерживается), так почему
вместо fail-over кластера не использовать parallel database cluster,
то бишь RAC. Получится active-active в случае с ораклом.
Да, что бы его поставить на RH9 надо повозиться с библиотеками.
Сразу говорю, что про RAC знаю мало. У меня вопрос.
1. При RAC сервера использует общие табличные пространства или хранят локальные копии?
2. При падении одного из серверов доступ к данным не пострадает? Второй возьмет на себя функции первого?

Ответить

Вернуться в «Кластеры, Аппаратная часть»