Кластер 2 узла, 2 хранилища

p rj · Сообщение **p rj** » 06 июн 2005, 18:13

Вот так бывает, начали с мыслей о самосборном DASe, а дело дошло до территориально распределенного кластера 2*2 причем с фирменными хранилищами - шеф сказал дамбабла. В общем ситуация такая. Есть две серверные, между ними оптоволоконный кабель (~300 м, волокон много, сейчас используются только 2 - гигабитная сетка м/у 3com-ми свичами и еще одна пара приварена для резерва). Есть 2 сервера ~одинаковые (2*Xeon 2.66 RAM 5Гб и 2*Хеоn 2.4 RAM 4Гб). W2k3. Приложение - MS SQL Server - тянет живую тяжелую базу (1С). Далее соображения такие: покупаем 2 коробки FC-to-SCSI и 2 внутренних 2-х канальных FC-RAID контроллера для серверов. Силами внутр. контроллеров создаем зеркала (БД и ЖТ) по коробкам. Внешние контроллеры в коробках - страйпы для БД и JBOD для ЖТ (итого по-началу по 3 винта в каждой коробке, а в "сумме" территориально разнесенные RAID 0+1 для БД и RAID 1 для ЖТ). В связи с этим прошу ума, в особенности послед. вопоросам.
1. Обязательно ли для кластера нужны совершенно одинаковые по железу сервера, или достаточно совместимости на уровне устройств отвечающих за доступ к хранилищам?
2. Теряет ли активный узел кластера сколь-нибудь существенную часть производительности в связи с тем, что надо что-то там синхронизировать с пассивным узлом?
3. Если как следует нагружать пассивный узел другими задачами, может ли это негативно повлиять на производительность активного?
4. А могут ли выполняемые на пассивном узле кластера другие задачи, ну скажем так, не в "кластерном режиме" (грубо говоря юзать внутренние винты пассивного узла)
5. Какое-нибудь FC оборудование, кроме хранилищ и внутр. контроллеров еще нужно?
6. А может быть все "это фантастика"?

Сообщение **exLH** » 06 июн 2005, 18:45

2 внутренних 2-х канальных FC-RAID контроллера
Так строить не надо. Это ни к чему хорошему не приведет. См. вопрос №6

Что нужно: если бюджетно, то два массива FC-FC (модель определяется нагрузкой), два сервера с двумя FC-HBA в каждом, Veritas Storage Foundation + Cluster Option for MSCS.
Это позволит зеркалировать данные между двумя массивами и поднять MSCS на паре серверов.
Если "дамбабла" имеет более серьезный объем, то имеет смысл обратить внимание на дисковые системы, в которой уже реализован механизм зеркалирования на уровне контроллеров.
По вопросам:
1. нет
2. нет
3. нет
4. да

p rj · Сообщение **p rj** » 06 июн 2005, 19:07

Спасибо! Тем более что ответы на вопросы 1-4 - ну прям то, что хотелось услышать

Раз волокон много, то каких-либо коммутаторов мне не надо, я правильно понял? А зеркалить хранилища, получается программно (ЦП сервера), верно? Оно может и к лучшему, внутренний контроллер с FC наружу, надо думать, куда подороже чем пара FC-HBA. Хотя боюсь потери производительности. А в принципе, почему не принципиально не взлетит с внутренними контроллерами? Для чего их тогда производят (лично находил в инете модеть от HP)...
"Дамбала" у нас понятие довольно резиновное. Например 20 т. у.е. уже положительно. А где 20 там, глядишь, и 25, в общем если не в разы и я обосную - прокатит
З.Ы. Прошу прощения за поверхностные знания в области, которою обсуждаю. Я не админ, а тупой 1С-к и, что еще хуже, начальник.

OlegP@ · Сообщение **OlegP@** » 07 июн 2005, 07:23

3. Да. Если нагрузить как следует, то как "пожизненная гарантия". Пока проблем нет, все нормально.

$20k под эти задачи - смех.

p rj · Сообщение **p rj** » 07 июн 2005, 10:13

Т.е. 20k$ мало... Итак, сервера в наличии, оптика между серверными уже проложена. Это только на хранилища (например, НР MSA 1000 ~ 2*6k$=12k$ или поискать среди Inforterend), FC-HBA (например, HP AB232A 2 Gb PCI-X Fibre Channel HBA for Windows ~ 4*1.5k$=6k$), винты (например, Seagate ST 336753 LC 36Гб 15 krpm ~ 6*330=2k$), ну там коннекторы какие, софт и т.п. пусть будет еще +5-10% суммы, итого в 20-25 должно уложиться. Или еще что-то надо купить, чего я не знаю? Тогда, поправьте меня, пж.

Сообщение **exLH** » 07 июн 2005, 10:16

OlegP@
3. Да.
Олег, зачем додумывать вопрос?

На производительность "активного" узла нагрузка "пассивного" никак не отразится. Даже если произойдет failover (пассивный узел станет активным, со всеми вытекающими изменениями в терминологии). Да, нагружать пассивный узел так, чтобы основное приложение на нем после фэйловера "еле ползало" не есть хорошо, с этим никто не спорит. Но вопрос был не про это

Про 20k$ согласен на все 100%

p rj · Сообщение **p rj** » 07 июн 2005, 11:02

Или, может быть, оборудование, которое я перечислил, не позволяет организовать то, что нам хочется, и нужно другое, гораздо более дорогое?

Сообщение **Stranger03** » 07 июн 2005, 11:15

p rj писал(а):Или, может быть, оборудование, которое я перечислил, не позволяет организовать то, что нам хочется, и нужно другое, гораздо более дорогое?

А насколько тяжелая 1С база? Про 20К действительно сильно маловато, однако если у вас между зданиями оптика, можно для начала пробовать и одной дисковой стойкой.

p rj · Сообщение **p rj** » 07 июн 2005, 11:41

Базе 1С 10Гб (mdf), ей идет 4-й год. ~90 юзв, ~5000 строкодокументов в день. SQL-сервер пока не является узким местом (внутри него тоже сейчас аппаратный рейд10 из 4-х 15000rpm для БД, ЖТ просто на одиночном винте 15-ке, темпы на страйпе из 2-х 15-к). Все мероприятие затеяно ради надежности (так хочет владелец), а падения производительности я все-таки не ожидаю, ведь количество винтов в страйпах не уменьшится, а умные контроллеры хранилищ, да еще с батарейками (кеш записи включим) по идее должны даже прибавить. У того же MSA1000 до 14 дисков - должно хватить на несколько лет растить страйпы по мере необходимости увеличивать скорость i/o.
... А все-таки интересно, почему стремно зеркалить два внешних массива внутренним контроллером сервера...

Сообщение **exLH** » 07 июн 2005, 11:47

p rj
Во-первых, софт будет стоить несколько больше: примерно 5500$ в расчете на оба сервера (SF, Cluster option for MSCS, support).
Во вторых, абсолютно неразумно ставить по 3 диска в дисковую систему. Ваша задача - минимизировать вероятность отказа, а для этого надо как-то защищать данные, хранящиеся на массиве: делать в каждом массиве RAD10 из 6-ти дисков + еще иметь один диск в качестве hot-spare в каждом массиве. Поэтому минимально разумным вариантом выглядит такой: два массива (например IBM DS400 или вышеупомянутый MSA1000), в каждом из которых по 7 дисков, а уже все это подключается к серверам. А еще лучше массивы брать двухконтроллерные и использовать коммутаторы. Фэйловер на кластере штука хорошая, но еще лучше когда он не случается по каждому чиху, поэтому 20k$ на такую систему выглядит весьма скромно.

Сообщение **exLH** » 07 июн 2005, 11:52

p rj
... А все-таки интересно, почему стремно зеркалить два внешних массива внутренним контроллером сервера...
Мне известен только один такой контроллер: ICP Vortex GDT8622RZ. Я не помню есть ли у него возможность использовать BBU (вроде как нет). Сам контроллер уже не молодой. (хотя и не думаю, что сильно старше MSA1000).

p rj · Сообщение **p rj** » 07 июн 2005, 12:25

Ну что ж, вот я и выясняю то, что еще стоит денег. Софт 5500$, про резервный винт забыл (+330$ лежать на полке, думаю, его и одного достаточно на оба массива, ведь MSA1000 и DS400 c hot swap корзинами) - ладно путь 26-27k$. Что касается зеркалить контроллеры, и создавать избыточность винчестеров в каждом хранилище - а надо ли это, если сами массивы (как вирт. драйвы) уже собраны в зеркало (пусть программное)? Хотя, конечно, именно по винтам хочется хотя бы мин. избыточности ... Я еще отмечу и следующее. Главное начать с необходимого минимума. А потом суммы уже далеко не те, и на уровне "шеф, а давай еще парочку винтов подкупим..." (база, там, растет, скорость повысим, или первый раз действительно в одной из коробок откажет винт и т.п) можно идти дальше.
З.Ы. А вот такой контроллер от HP:
FCA2404DC 2GB Dual Channel PCI-X for Win ( http://www.deacom.ru/category_c1058187- ... _b583.aspx ) $2600. 2 FC у него "на улицу" и 2*2.6k$<4*1.5k$+5.5k$.

Сообщение **exLH** » 07 июн 2005, 13:07

p rj
создавать избыточность винчестеров в каждом хранилище - а надо ли это, если сами массивы (как вирт. драйвы) уже собраны в зеркало
Это необходимо!
Для чего Вы делаете дублирование дисковых систем? Для повышения надежности.
а) Если использовать одну систему с RAID10 + hot-spare:
при выходе из строя одного из дисков, запустится rebuild и отказоустойчивость системы будет восстановлена.
б) если использовать две системы с программным зеркалированием без hot-spare:
при выходе из строя одного из дисков, дисковая подсистема полностью потреяет отказоустойчивость. Но отказоустойчивость будет потеряна не только у дисковой подсистемы, но еще возникнет опасность, что, напрмер, проблемы с питанием на площадке с работающим массивом "положат" всю систему.
Какой тогда смысл использовать две ненадежных системы?

З.Ы. А вот такой контроллер от HP: FCA2404DC 2GB Dual Channel PCI-X for Win
Это просто обычный FC HBA.

Сообщение gs » 07 июн 2005, 13:33

Зеркалировать внешние массивы внутренним аппаратным контроллером скорее всего просто не получится. Я в свое время пытался так экспериментировать - не работало (контроллеры уже не помню). Прикол в том, что внутренние рэйды умеют работать с физическими драйвами. А если в их качестве выступают внешние системы, то это вещь никем недокументированная - просто никому из разработчиков в голову не приходила такая связка.
Так что внемлите совету exLH - две файберные системы, зеркалированные веритасом. Это точно будет работать.

p rj · Сообщение **p rj** » 07 июн 2005, 14:01

Я предполагал примерно так. При выходе из строя одного диска в одном из массивов мы достаем его из корзины и заменяем на резервный. Если это винт из страйпа - пересоздаем страйп заново (сделает контроллер массива). После этого rebuild зеркала из массивов - это сделает внутр. контроллер, как мы думали вначале, или софт (или он не умеет?). Чтобы за это время и во втором массиве что-либо накрылось... В принципе мы исходили из чего. Имеем 1 DAS (SCSI-to-SCSI), где все зазезервировано (2 raid-контроллера, raid10 из 4-х и зеркало) и это нас устраивает по надежности. Не выполняется одно важное желание шефа, а именно территориальное разделение (типа, накрылась одна серверная - потоп, пожар, конкуренты с базуками и т.п.). Поэтому избыточность по внешним контроллерам и винтам массивов изначально закладывается в СУММЕ той же. А винтов можно подкупить и чуть позже (не в рамках этого проекта).

Это просто обычный FC HBA.
Увы, так и есть. Повелся было на то, что по первой ссылке в заголовке он гордо обозван как FC raid контроллер, оказалось ошибка.

Кластер 2 узла, 2 хранилища

Кластер 2 узла, 2 хранилища

Кто сейчас на конференции