Две ноды и СХД.

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Две ноды и СХД.

Сообщение RUVanillaBear » 31 окт 2013, 18:01

Добрый день, прошу помощи в выборе железа для двух серверов виртуализации и СХД к ним.

Виртуализировать думаю на kvm.
Гостевые системы будут - 1с сервер с sql и терминальными доступом на 50 человек, консультант.
Отдельный WSUS сервер.
Два файловых сервера на linux и вторичный почтовый сервер.

Идея такая - иметь общее отказоустойчивое хранилище, а на одной ноде крутить 1с, а на другой все остальное. В случае сбоя же, просто запустить виртуальную машину на выжившей ноде.

По дискам должно хватить
RAID10 из 4 SAS дисков под 1с и прочее, все остальное держать на тех же SATA WD RAID Edition.

Железо под ноду примерно такое
1x Intel R1304GZ4GC (Rack-Mountable <S2011>, DDR3 1333MHz/1600MHz, VGA, 4xLAN, 6xSATA, 2 x PSU, Heatsink, Rails, 1U)
2x Intel Xeon E5-2620 (2.00GHz) 15MB 6Cores 7,20GT/s FCLGA2011 OEM <SR0KW>
2x SAS 300Gb Seagate Cheetah 15.K7 <ST3300657SS> (SAS 2.0 6.0Gb/s, 15 000 rpm, 16mb буфер,3.4 мс,3.5")
4x SAMSUNG DDR-III DIMM 16Gb <PC3-12800> ECC Registered+PLL

Изначально думал про iSCSI 10GB, но почитал что будут проблемы с упиранием в IOPS.
Сейчас почитал и думаю, что хорошо подойдет SAS подключение к СХД, но остался вопрос - как будет система видеть хранилище при использовании SAS.
Кто что посоветует?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Две ноды и СХД.

Сообщение Stranger03 » 01 ноя 2013, 13:51

RUVanillaBear писал(а):Кто что посоветует?
В серверах диски можно не ставить, грузится с флешки, с СХД подтаскивать виртуальные машины. Достаточно будет поставить по паре САС ХБА + внешний массив на САС. Цена вопроса порядка 10-15К на массив + 3-5К на каждый сервер в зависимости от набивки. Если решение дорого, то вариант попроще: http://blog.trinitygroup.ru/2013/10/lsi-syncro.html. Что считаем?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Re: Две ноды и СХД.

Сообщение RUVanillaBear » 01 ноя 2013, 16:10

давайте считать внешний массив на SAS.
Правильно ли я понимаю что это что-то похожее на связку HP P2000 SAS с двумя двухпортовыми SAS HBA и двух серверов с парой SAS HBA?
Тогда вопрос, как эти сервера будут видеть диски? Идентичный набор блочных устройств на каждом сервере или нет?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Две ноды и СХД.

Сообщение Stranger03 » 01 ноя 2013, 16:20

RUVanillaBear писал(а):давайте считать внешний массив на SAS.
предпочтения по вендорам есть?
Правильно ли я понимаю что это что-то похожее на связку HP P2000 SAS с двумя двухпортовыми SAS HBA и двух серверов с парой SAS HBA?
правильно
Тогда вопрос, как эти сервера будут видеть диски? Идентичный набор блочных устройств на каждом сервере или нет?
Зависит от того, что вы хотите получить. Если будете собирать кластер с автоматическим переносом томов, то оба сервера должны иметь доступ к лунам. Если ручками, то каждый сервер видит свой лун. КВМ не знаю, умеет ли она делать файл-овер кластер или нет. На Вмвари достаточно прозрачно.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Re: Две ноды и СХД.

Сообщение RUVanillaBear » 01 ноя 2013, 16:39

Сейчас используются HP, нареканий нет, кроме как привередливость к дискам, если можно что-то придумать и с этим, то хорошо.
Читал что у P2000 есть IBM-овский аналог, то и на нем можно прикинуть.

Да, управление виртуальными машинами будет ручным. простой в 5 минут на запуск виртуального экземпляра позволителен.
Вопрос несколько в другом, если на P2000 создать допустим 5 LUN, то все 5 будут видны и на первом сервере и на втором?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Две ноды и СХД.

Сообщение Stranger03 » 01 ноя 2013, 16:46

RUVanillaBear писал(а):Сейчас используются HP, нареканий нет, кроме как привередливость к дискам, если можно что-то придумать и с этим, то хорошо.
Читал что у P2000 есть IBM-овский аналог, то и на нем можно прикинуть.
Storwise V3700
Вопрос несколько в другом, если на P2000 создать допустим 5 LUN, то все 5 будут видны и на первом сервере и на втором?
Это зависит от того, как настроите. Но, если оба сервера будут иметь доступ к одному луну, то для разрешения конфликтов доступа надо будет поднимать кластер. Иначе рискуете получить кашу на диске.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Две ноды и СХД.

Сообщение Stranger03 » 01 ноя 2013, 16:46

Отписал в профильную почту.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Две ноды и СХД.

Сообщение gs » 01 ноя 2013, 16:49

Аналогов у ИБМ нет, есть просто аппараты аналогичного класса.
Привередливость к дискам - неотъемлемое свойство любой брэндовой техники. Если хотите диски "из ларька", то из мира СХД разве что Инфортренд (с вытекающими проблемами с сервисом).

Вообще-то, можно обойтись и без СХД - репликацией дисковых ресурсов или VM между машинами (я правда не уверен, что КВМ это умеет). Для микрософта и вмвари средства есть.

Если же внешний сторадж, то из НР это сейчас MSA2040: http://blog.trinitygroup.ru/2013/07/hp- ... orage.html
IBM аналогичного класса - это V3700, более мощный и фичастый: http://blog.trinitygroup.ru/search/label/V3700

Луны будут видня на обоих серверах (но можно и ограничить, если надо). Только в каком контексте этот вопрос?

RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Re: Две ноды и СХД.

Сообщение RUVanillaBear » 01 ноя 2013, 17:15

gs писал(а): Луны будут видня на обоих серверах (но можно и ограничить, если надо). Только в каком контексте этот вопрос?
Этот вопрос к тому, что при ручном управлении виртуальными машинами, проще будет клонировать конфигурационные файлы ВМ.
В них соответственно хранится информация о подключаемых дисках. И указываются они как конкретное блочное устройство.
К этому и вопрос, если происходит подключение по SAS, то будет ли список блочных устройств идентичным на обоих машинах (при идентичной настройке и конфигурации конечно).

MAV
Advanced member
Сообщения: 68
Зарегистрирован: 30 окт 2013, 17:07
Откуда: Москва
Контактная информация:

Re: Две ноды и СХД.

Сообщение MAV » 05 ноя 2013, 14:31

RUVanillaBear писал(а):
gs писал(а): Луны будут видня на обоих серверах (но можно и ограничить, если надо). Только в каком контексте этот вопрос?
Этот вопрос к тому, что при ручном управлении виртуальными машинами, проще будет клонировать конфигурационные файлы ВМ.
В них соответственно хранится информация о подключаемых дисках. И указываются они как конкретное блочное устройство.
К этому и вопрос, если происходит подключение по SAS, то будет ли список блочных устройств идентичным на обоих машинах (при идентичной настройке и конфигурации конечно).
Если есть желание действительно виртуализовать все сервисы, включая SQL, а на хостах оставить только гипервизор, то вполне нормальный вариант кластер из Hyper-V Server 2012.
Без кластера на HV3 как минимум можно использовать репликацию VM.
В обоих случаях переключение будет прозрачно для пользователей ВМ.
Хочу заметить, что для сценария с репликацией ВМ, в случае блочного доступа к коллекции дисков ВМ расположенных на СХД, придется для каждого хоста HV иметь свой лун на сторадже, со своими дисками ВМ, а это трата дискового пространства сторажда.

В общем если планируете использовать СХД, то собирайте HV кластер и ничего клонировать не надо. Раскидаете по узлам свои виртуалки и в случае падения узла, все само будет перебираться на другой узел.
Если СХД не планируется, то настраиваете реплику между хостами и все так же переключится автоматом, только будет разница между репликой и активной ВМ на время последней репликации.
Да, и на загрузку хостов поглядывайте, а то после падения узла/хоста, как переползут все ВМ на другой хост и ляжет тогда вообще все))

Хотел узнать, а почему файл-сервера под linux?

RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Re: Две ноды и СХД.

Сообщение RUVanillaBear » 13 дек 2013, 19:29

MAV писал(а): Хотел узнать, а почему файл-сервера под linux?
Собственно исторически так сложилось, а при отсутствии домена хватает и samb'ы в linux.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Две ноды и СХД.

Сообщение Stranger03 » 16 дек 2013, 09:42

RUVanillaBear писал(а):Вопрос несколько в другом, если на P2000 создать допустим 5 LUN, то все 5 будут видны и на первом сервере и на втором?
Да, уточнение, если две ноды имеют доступ на запись и чтение к одному луну, но шанс потерять все данные равен 100%. В классическом варианте кластера из двух нод первый имеет доступ, второй ждет своей очереди, когда рухнет первая нода. Если же хочется, чтобы key был виден обоим нодам, надо ставить спец.файловую систему, которая будет разруливать конфликты доступа. Но это накладывает до -30% от производительности.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

RUVanillaBear
Junior member
Сообщения: 8
Зарегистрирован: 31 окт 2013, 17:34
Откуда: Екатеринбург

Re: Две ноды и СХД.

Сообщение RUVanillaBear » 21 дек 2013, 19:13

этот факт безусловно понятен, но монтирование ФС не будет происходить одновременно с двух нод.
нужно лишь иметь одинаковый набор дисков, предоставленный системе, чтоб работала живая миграция ВМ и прочее.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 9 гостей