Supermicro и Infiniband

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
nstorm
Junior member
Сообщения: 3
Зарегистрирован: 04 авг 2014, 22:25
Откуда: Ростов-на-Дону
Контактная информация:

Supermicro и Infiniband

Сообщение nstorm » 05 авг 2014, 16:51

Добрый день.

Готовится новый офис, куда планируется на первом этапе немного нового оборудования. В частности микро кластер с виртуальными машинами. 3 ноды для Win Serv и 3 ноды для Linux. Плюс ко всему этому SAN.
Это всё только на первый этап, дальше надо будет расширяться. Рост пока точно не понятно как будет происходит - либо будут старые сервера перевозится туда и подключаться отдельно (на первом этапе к ним будет удаленный доступ), либо будет расширяться микрокластер, описанный выше.
Серверы приемлем только Supermicro. Из ОС как понятно работаем и с вин и с линуксом. С серверами всё просто. Самая большая неопределенность с SAN пока тут. Нужно будет где-то 8 Тб места (с запасом уже на ближайшее время посчитали).
Высматривая сервера, наткнулись на Twin платформы, по типу 2027PR-HC0FR. Там уже есть 56gE FDR Infiniband. Плюс интересная платформа для стораджа у них - SuperSBB 2027B-DE2R24L. Но это только железка, про софт сказано "некоторые партнеры имеют решения по софтовой части".
Вот и возникла мысля взять сервера и SAN с Infiniband и пару коммутаторов Mellanox SX6012 с Ethernet Gateway. Вроде как решение с виду выглядит перспективно - огромная скорость, конвергентность, простое подключение к коммутаторам доступа серверов через кабели QSFP->4xSFP+ и т.п. Но дела с Infiniband пока не имели.

1. Стоит ли закладываться в сетку Infiniband с учетом на перспективу? Вроде как пока понравилось - стоит не сильно дороже FC, возможностей много.
2. Как быть с софтом? Вроде как у Mellanox раньше была какая-то софтина VSA, но сейчас не нахожу у них на сайте. Теоретически конечно можно и "вручную" настроить Linux на базе LIO с поддержкой всех плюшек вроде iSER. Но как быть с резервированием, репликацией (асинхронно для отказоустойчивости) и самое главное фенсингом этой двойной системы? Короче желательно готовое решение под это дело.

Что вообще по данному вопросу предложит Тринити? Мы открыты как к коммерческим предложениям, так и к публичному обсуждению вариантов.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Supermicro и Infiniband

Сообщение Stranger03 » 06 авг 2014, 08:53

nstorm писал(а):Что вообще по данному вопросу предложит Тринити? Мы открыты как к коммерческим предложениям, так и к публичному обсуждению вариантов.
Все как бы замечательно, особенно если речь идет про линукс. Поддержка Меланоксом линукса давняя, проблем с различным софтом и драйверами быть не должно. Другое дело в обеспечении отказоустойчивости. То, что вы смотрите - при сбое файлового сервера у вас будет отказ в доступе ко всем ресурсам. Ибо вы хотите тот самый файловый ресурс построить на базе сервера. Отсюда вопрос простой, как вы собираетесь его резервировать?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Supermicro и Infiniband

Сообщение Stranger03 » 06 авг 2014, 08:58

nstorm писал(а):Плюс интересная платформа для стораджа у них - SuperSBB 2027B-DE2R24L.
http://www.supermicro.com/products/syst ... E2R24L.cfm
Это просто твиновая двухнодовая платформа с двумя матплатами. Под СХД конечно можно пользовать, но внутри нет никакого резервирования кроме разве БП.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

nstorm
Junior member
Сообщения: 3
Зарегистрирован: 04 авг 2014, 22:25
Откуда: Ростов-на-Дону
Контактная информация:

Re: Supermicro и Infiniband

Сообщение nstorm » 06 авг 2014, 11:01

Там ведь всё дублируется, кроме дисков. Еще в планах сервер для бэкапов имеется, куда тоже можно репликацию настроить. Там правда на быстрые САТА диски планируются и без IB. Но как резерв на экстремальный случай можно и с ним работать.
Забыл еще сказать, на всех серверах планируется минимум пару дисков (или SSD) для локального зеркала, где будет ОС установлена. На СХД будут храниться данные виртуальных машин уже.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Supermicro и Infiniband

Сообщение Stranger03 » 06 авг 2014, 13:51

nstorm писал(а):Там ведь всё дублируется, кроме дисков.
Там ничего не дублируется кроме блоков питания, :). Это считайте два сервера в одном корпусе, :).
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Supermicro и Infiniband

Сообщение Stranger03 » 06 авг 2014, 13:54

nstorm писал(а):На СХД будут храниться данные виртуальных машин уже.
то, что вы привели, это два сервера в одном корпусе. Ничего более. Если к примеру вы из него сделаете файловый сервер, то при его сбое вы рискуете потерять все. Вариантов два:
1. полноценная СХД
2. репликация данных между нодами друг на друга средствами системы виртуализации (варь или гиперви или еще что)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

nstorm
Junior member
Сообщения: 3
Зарегистрирован: 04 авг 2014, 22:25
Откуда: Ростов-на-Дону
Контактная информация:

Re: Supermicro и Infiniband

Сообщение nstorm » 06 авг 2014, 16:57

Так сами же говорите, что сервера два. Вот и дублируется. Если скажем память или процессор откажут на одном - начнет работать второй. Серверы модульные, можно один отдельно вытащить и заменить, пока второй будет обслуживать. Как раз таки единственное что там не дублируется - диски. Т.е. отказ целиком возможен по дискам сразу, либо коробку целиком если как-то уничтожит. По сути аналогично ситуации, когда стоит 2 сервера рядом и отдельно полка JBOD под них общая.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Supermicro и Infiniband

Сообщение Stranger03 » 08 авг 2014, 10:18

nstorm писал(а):Так сами же говорите, что сервера два. Вот и дублируется. Если скажем память или процессор откажут на одном - начнет работать второй. Серверы модульные, можно один отдельно вытащить и заменить, пока второй будет обслуживать. Как раз таки единственное что там не дублируется - диски. Т.е. отказ целиком возможен по дискам сразу, либо коробку целиком если как-то уничтожит.
Э не, :). Это два ОТДЕЛЬНЫХ сервера, никак друг с другом не пересекаются. Про блейды слышали? Ну это тоже самое. В лучшем случае между ними придется делать кластер из двух нод средствами ОС.
По сути аналогично ситуации, когда стоит 2 сервера рядом и отдельно полка JBOD под них общая.
Ну чем-то похоже, но это не двухконтроллерная СХД. Это два ОТДЕЛЬНЫХ сервера между собой могущих быть связанными посредством построения кластера на ОСи. Мало того, в приведенном вами варианте джибод не выдает диски двум серверам сразу, лишь по отдельности. И перемонтирование только ручками.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 13 гостей