посоветуйте железо для кластера

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 07 дек 2005, 16:20

Дублирование контроллеров - нормальная фича внешних массивов среднего класса. Но их цена, боюсь, Вас смутит.

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 07 дек 2005, 16:36

как я и подозревал.
Так в результате, есть ли у Вас дисковый массив с двумя каналами по цене в районе $3k?   :wink:

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 07 дек 2005, 17:21

Вот, вижу есть такая система хранения:

Infortrend  A08U-C2412-M2
SCSI-to-SATA II RAID subsystem, 8-bay Cube, Single Controller, dual SCSI-320 host (in-out ports each CH), 256MB SDRAM, Dual PSUs & Fans

Может ли она подойти как решение внешнего хранилища?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 07 дек 2005, 17:27

Если Вас устраивают сата винты, то это вполне приличная штучка.

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 08 дек 2005, 03:00

99.9% готовности это говоря проще:
24(часа)*7(дней)*4.5(недели)*(100%-99.9%) = 75 часов простоя в месяц. 99.99% соответвенно 7.5 часов в месяц. Целый рабочий день. Даже на windows такое можно обеспечить с лёгкостью. Если это обычная организация, работающая пн-пт, с 10 до 19, то это ещё больше времени на обслуживание.

Дальше, RHCS не поддерживает двух серверов на одной SCSI-шине.
http://www.redhat.com/docs/manuals/csgf ... uster.html

Так что тебе надо либо 2х портовый рейд-контроллер (тот же eonstor) либо нормальную и цивилиованную систему на FiberChannel. (внешние подключение по scsi - г*вно энивей, огромные толстые провода, вечно пропадающая куда-то терминация и все остальные бонусы двадцатилетнетнего наследия параллельной передачи)

Но, если ты считаешь каждые тысячи, то FC явно в твой бюджет не уложатся: 30 тыс за дисковый массив, 4-6k$ за 4 HBA, по два в каждый сервер и 4 LCLC патчкорда по $50.

iSCSI тоже опция, но там цены пока сравнимы FC. У некоторых вендоров даже дороже, хыхы.

Я тебе советую не возится с кластерами -- хорошо ты всёравно в бюджет не уложишься, а плохой кластер это гораздло лучше чем без кластера вообще. Сломаться может очень интересно.

Возьми один хороший сервер с разумной гарантией, с двумя блоками питания, подключи его к двум разным UPS и 6 внутренними дисками SCSI U320 в RAID10.  Такая конфиграция выдержит твои полторы тысячи пользователей с лёгкостью и обеспечит необходимый запас надёжности.  Если останутся деньги, то потрать их на хороший стриммер и обучение администраторов на курсах.

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 08 дек 2005, 11:21

[quote="CrazyFrog"]99.9% готовности это говоря проще:
75 часов простоя в месяц. 99.99% соответвенно 7.5 часов в месяц. [/quota]

в 2 ночи моя  математика совсем плоха, извините.
99.9% это 40 мин простоя в месяц,  99.99 - несколько минут.

Хватит чтоб поставить секурити патч и ребутнутся.

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 08 дек 2005, 11:40

Такая конфиграция выдержит твои полторы тысячи пользователей с лёгкостью и обеспечит необходимый запас надёжности.
Вот тут мне как-то не совсем понятно: повсюду говорится об улучшении надежности за счет уменьшения единичных точек отказа, а тут получается полный букет таковых.
Так что тебе надо либо 2х портовый рейд-контроллер (тот же eonstor) либо нормальную и цивилиованную систему на FiberChannel
Ну дык, Infortrend  A08U-C2412-M2, вроде бы как имеет как раз dual SCSI-320, или это не то?

ps: тут нашел в описании RHCS, что нужны (опционально) переключатели питания - либо аппаратный PCI, либо сетевой. Пошарил по предложениям и ничего такого не нашел. Они у нас водятся вообще, или называются по другому, или в России считаются вообще не нужными?  :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 08 дек 2005, 15:25

Если речь идет о массиве с двумя независимыми скази портами, то никакие переключатели питания не нужны - каждый сервер сидит на своем индивидуальном канале и все, что происходит на втором, ему по барабану.

Но мораль сей басни в том, что в кластере точкой отказа является массив. Он конечно надежнее PCI рэйдов в серверах, но уж если сломается, то это кранты. Поэтому чтобы обезопаситься, используются двухконтроллерные массивы. Но это совсем другие дэнги. В общем, если Вы не готовы тратиться на двухконтроллерный массив, то примерно так - или относительно частые поломки обычных серверов с достаточно быстрым временем восстановления или очень редкие, но катастрофические поломки внешнего массива. Правда инфортренды у нас еще ни разу не ломались, но таки все когда-то бывает в первый раз...

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 08 дек 2005, 15:45

каждый сервер сидит на своем индивидуальном канале и все, что происходит на втором, ему по барабану
То есть как это по-барабану? В случае "активный/пассивный", когда ведущий сервак повиснет, второй должен его перегрузить или отключить, перенять сервисы на себя. В противном случае данные могут быть искажены.
Переключатели питания позволяют одной кластерной системе отключить питание другой, до запуска её служб во время переноса. Возможность удаленного отключения/включения питания системы гарантирует сохранение целостности данных при сбой в любых условиях. Рекомендуется при реализации кластеров в производственной среде использовать переключатели питания или сторожевые таймеры. Только в среде разработки (тестовой) допускается использование конфигурации без переключателей питания (тип "Отсутствует"). Обратитесь к разделу Выбор типа переключателя питания за описанием различных типов переключателей питания. Заметьте, в этом разделе понятие "переключатель питания" включает в себя также сторожевые таймеры.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 08 дек 2005, 16:04

Сорри, возможно я не о том говорил. Я имел в виду сказевые дела.
Не спец по линуксовому кластеру, но довольно странное требование. По крайней мере микрософтовский кластер прекрасно обходится без подобных прибамбасов. А веритасовский, afaik, вообще умеет переводить на другую ноду приложение, например потерявшее линк к дисковому ресурсу на данной машине.
Возможно это один из способов избежать бардак при потере кластерного интерконнекта - единственное что в голову приходит. Правда его задублировать можно...

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 08 дек 2005, 16:17

Написано, что можно и без них обойтись, или настроить программный сторожевой таймер, но это не рекомендуется по причине низкой надежности. Ну а какие вообще у нас используются?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 08 дек 2005, 16:21

Вообще-то в кластерах от МС, Веритас, Новелл используется банальный сетевой обмен пакетами "я жив". Причем этот сетевой линк можно дублировать - в случае его падения кластер становится раком. Зачем еще какие-то прибамбасы - не знаю. Возможно страхуются от всего.

_AHTOH_
Junior member
Сообщения: 16
Зарегистрирован: 06 дек 2005, 17:11
Откуда: Protvino
Контактная информация:

Сообщение _AHTOH_ » 08 дек 2005, 16:44

В RHCS тоже предлагают использовать HeartBeat - один по сети, а второй по нуль-модемному соединению.
 А переключатели питания, как я понял, используются когда один из серверов перестал сообщать "я жив", и тогда, оставшийся в живых сервер, должен отрубить "мертвеца" от питания и запустить на себе сервисы, при этом используя данные на внешнем хранилище. Идея такая.

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 09 дек 2005, 02:29

Вот тут мне как-то не совсем понятно: повсюду говорится об улучшении надежности за счет уменьшения единичных точек отказа, а тут получается полный букет таковых.
В моём предложении все самые ненадёжные элементы -- жёсткие диски, электропитание и охлаждение -- продублированы  и заменяются на ходу.

Вообще, считается (и моя практика это подтверждает) что доступность страдает в основном от трёх вещей:

1. Ошибки администраторов.
2. Отказ электропитания
3. Заканчивается место на файловой системе

п.1 решается тренингом персонала, подготовкой документации о действии в сложных ситуациях, упрощением системы и мониторингом.

п.2 это резервирование UPS и опять же мониторинг.  

п.3 это снова мониторинг ;)

В общем, если систему не оставлять без присмотра, то большинство аспектов проблемы доступности можно устранить до звука грома. А  историями про то как адмиистраторы проспали выход из строя диска в RAID/переключения кластера/отказ одного из CPU/etc, а потом всё навернулось Интернет полон.
Ну дык, Infortrend  A08U-C2412-M2, вроде бы как имеет как раз dual SCSI-320, или это не то?
Это не то, я имел ввиду двухконтроллерные массивы (два ночи, хохо). Отказ контроллера у тебя приводит к отказу инсталляции. А контроллер этот в общем-то обычный фон-неймановский компьютер, с процессором, памятью, ПО и всем таким.   Для меня совершенно не очивидно что его уровень доступности будет выше.  

Системы среднего уровня FibreChannel устроены по другому: там  два контроллера,  жёсткие диски и серверы подключены по двум путям к обоим контроллерам.  То есть, в массиве нету единой точки отказа, кроме коробки с пассивной соединительной панелю.
ps: тут нашел в описании RHCS, что нужны (опционально) переключатели питания
Нужны, если ты используешь один диск на двух серверах. Тогда
при потере отклика резервный узел отключает основной от разделяемой системы хранения.  Это надо чтобы не испортить данные на диске. Называется fencing, STONITH. Если вдруг оба узла становятся активными, такое в иностранной литературе называется split-brain.

Сетевые выключатели -- это один из вариантов. К ним приходишь по snmp (или CLI/HTTP) и говоришь "выключить розетку номер N" и он выключает. В России видел APC, p/n AP7920, сам не использовал. Я в своих инсталляциях отключал порт на FC-свиче или менял правила LUN Masking на массиве.

Если у тебя совсем нет денег (в рамках кластеризации это значит нету полста тасяч $$), то посмотри на Linux'овый drbd:

http://gazette.lrn.ru/rus/articles/clusters.html

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 09 дек 2005, 13:50

На самом деле Инфортрендовые массивы, даже одноконтроллерные, имхо надежнее и стабильнее PCI рэйдов - почему, не знаю - скорее всего просто из-за более серьезных требований при проектировании-производстве. У нас и по тем и по тем статистика весьма нехилая. Но конечно о серьезной отказоустойчивости можно говорить только в случае двухконтроллерных железок - ну да я уже писал...

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 8 гостей