Supermicro и Infiniband
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Junior member
- Сообщения: 3
- Зарегистрирован: 04 авг 2014, 22:25
- Откуда: Ростов-на-Дону
- Контактная информация:
Supermicro и Infiniband
Добрый день.
Готовится новый офис, куда планируется на первом этапе немного нового оборудования. В частности микро кластер с виртуальными машинами. 3 ноды для Win Serv и 3 ноды для Linux. Плюс ко всему этому SAN.
Это всё только на первый этап, дальше надо будет расширяться. Рост пока точно не понятно как будет происходит - либо будут старые сервера перевозится туда и подключаться отдельно (на первом этапе к ним будет удаленный доступ), либо будет расширяться микрокластер, описанный выше.
Серверы приемлем только Supermicro. Из ОС как понятно работаем и с вин и с линуксом. С серверами всё просто. Самая большая неопределенность с SAN пока тут. Нужно будет где-то 8 Тб места (с запасом уже на ближайшее время посчитали).
Высматривая сервера, наткнулись на Twin платформы, по типу 2027PR-HC0FR. Там уже есть 56gE FDR Infiniband. Плюс интересная платформа для стораджа у них - SuperSBB 2027B-DE2R24L. Но это только железка, про софт сказано "некоторые партнеры имеют решения по софтовой части".
Вот и возникла мысля взять сервера и SAN с Infiniband и пару коммутаторов Mellanox SX6012 с Ethernet Gateway. Вроде как решение с виду выглядит перспективно - огромная скорость, конвергентность, простое подключение к коммутаторам доступа серверов через кабели QSFP->4xSFP+ и т.п. Но дела с Infiniband пока не имели.
1. Стоит ли закладываться в сетку Infiniband с учетом на перспективу? Вроде как пока понравилось - стоит не сильно дороже FC, возможностей много.
2. Как быть с софтом? Вроде как у Mellanox раньше была какая-то софтина VSA, но сейчас не нахожу у них на сайте. Теоретически конечно можно и "вручную" настроить Linux на базе LIO с поддержкой всех плюшек вроде iSER. Но как быть с резервированием, репликацией (асинхронно для отказоустойчивости) и самое главное фенсингом этой двойной системы? Короче желательно готовое решение под это дело.
Что вообще по данному вопросу предложит Тринити? Мы открыты как к коммерческим предложениям, так и к публичному обсуждению вариантов.
Готовится новый офис, куда планируется на первом этапе немного нового оборудования. В частности микро кластер с виртуальными машинами. 3 ноды для Win Serv и 3 ноды для Linux. Плюс ко всему этому SAN.
Это всё только на первый этап, дальше надо будет расширяться. Рост пока точно не понятно как будет происходит - либо будут старые сервера перевозится туда и подключаться отдельно (на первом этапе к ним будет удаленный доступ), либо будет расширяться микрокластер, описанный выше.
Серверы приемлем только Supermicro. Из ОС как понятно работаем и с вин и с линуксом. С серверами всё просто. Самая большая неопределенность с SAN пока тут. Нужно будет где-то 8 Тб места (с запасом уже на ближайшее время посчитали).
Высматривая сервера, наткнулись на Twin платформы, по типу 2027PR-HC0FR. Там уже есть 56gE FDR Infiniband. Плюс интересная платформа для стораджа у них - SuperSBB 2027B-DE2R24L. Но это только железка, про софт сказано "некоторые партнеры имеют решения по софтовой части".
Вот и возникла мысля взять сервера и SAN с Infiniband и пару коммутаторов Mellanox SX6012 с Ethernet Gateway. Вроде как решение с виду выглядит перспективно - огромная скорость, конвергентность, простое подключение к коммутаторам доступа серверов через кабели QSFP->4xSFP+ и т.п. Но дела с Infiniband пока не имели.
1. Стоит ли закладываться в сетку Infiniband с учетом на перспективу? Вроде как пока понравилось - стоит не сильно дороже FC, возможностей много.
2. Как быть с софтом? Вроде как у Mellanox раньше была какая-то софтина VSA, но сейчас не нахожу у них на сайте. Теоретически конечно можно и "вручную" настроить Linux на базе LIO с поддержкой всех плюшек вроде iSER. Но как быть с резервированием, репликацией (асинхронно для отказоустойчивости) и самое главное фенсингом этой двойной системы? Короче желательно готовое решение под это дело.
Что вообще по данному вопросу предложит Тринити? Мы открыты как к коммерческим предложениям, так и к публичному обсуждению вариантов.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Supermicro и Infiniband
Все как бы замечательно, особенно если речь идет про линукс. Поддержка Меланоксом линукса давняя, проблем с различным софтом и драйверами быть не должно. Другое дело в обеспечении отказоустойчивости. То, что вы смотрите - при сбое файлового сервера у вас будет отказ в доступе ко всем ресурсам. Ибо вы хотите тот самый файловый ресурс построить на базе сервера. Отсюда вопрос простой, как вы собираетесь его резервировать?nstorm писал(а):Что вообще по данному вопросу предложит Тринити? Мы открыты как к коммерческим предложениям, так и к публичному обсуждению вариантов.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Supermicro и Infiniband
http://www.supermicro.com/products/syst ... E2R24L.cfmnstorm писал(а):Плюс интересная платформа для стораджа у них - SuperSBB 2027B-DE2R24L.
Это просто твиновая двухнодовая платформа с двумя матплатами. Под СХД конечно можно пользовать, но внутри нет никакого резервирования кроме разве БП.
-
- Junior member
- Сообщения: 3
- Зарегистрирован: 04 авг 2014, 22:25
- Откуда: Ростов-на-Дону
- Контактная информация:
Re: Supermicro и Infiniband
Там ведь всё дублируется, кроме дисков. Еще в планах сервер для бэкапов имеется, куда тоже можно репликацию настроить. Там правда на быстрые САТА диски планируются и без IB. Но как резерв на экстремальный случай можно и с ним работать.
Забыл еще сказать, на всех серверах планируется минимум пару дисков (или SSD) для локального зеркала, где будет ОС установлена. На СХД будут храниться данные виртуальных машин уже.
Забыл еще сказать, на всех серверах планируется минимум пару дисков (или SSD) для локального зеркала, где будет ОС установлена. На СХД будут храниться данные виртуальных машин уже.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Supermicro и Infiniband
Там ничего не дублируется кроме блоков питания, . Это считайте два сервера в одном корпусе, .nstorm писал(а):Там ведь всё дублируется, кроме дисков.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Supermicro и Infiniband
то, что вы привели, это два сервера в одном корпусе. Ничего более. Если к примеру вы из него сделаете файловый сервер, то при его сбое вы рискуете потерять все. Вариантов два:nstorm писал(а):На СХД будут храниться данные виртуальных машин уже.
1. полноценная СХД
2. репликация данных между нодами друг на друга средствами системы виртуализации (варь или гиперви или еще что)
-
- Junior member
- Сообщения: 3
- Зарегистрирован: 04 авг 2014, 22:25
- Откуда: Ростов-на-Дону
- Контактная информация:
Re: Supermicro и Infiniband
Так сами же говорите, что сервера два. Вот и дублируется. Если скажем память или процессор откажут на одном - начнет работать второй. Серверы модульные, можно один отдельно вытащить и заменить, пока второй будет обслуживать. Как раз таки единственное что там не дублируется - диски. Т.е. отказ целиком возможен по дискам сразу, либо коробку целиком если как-то уничтожит. По сути аналогично ситуации, когда стоит 2 сервера рядом и отдельно полка JBOD под них общая.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Supermicro и Infiniband
Э не, . Это два ОТДЕЛЬНЫХ сервера, никак друг с другом не пересекаются. Про блейды слышали? Ну это тоже самое. В лучшем случае между ними придется делать кластер из двух нод средствами ОС.nstorm писал(а):Так сами же говорите, что сервера два. Вот и дублируется. Если скажем память или процессор откажут на одном - начнет работать второй. Серверы модульные, можно один отдельно вытащить и заменить, пока второй будет обслуживать. Как раз таки единственное что там не дублируется - диски. Т.е. отказ целиком возможен по дискам сразу, либо коробку целиком если как-то уничтожит.
Ну чем-то похоже, но это не двухконтроллерная СХД. Это два ОТДЕЛЬНЫХ сервера между собой могущих быть связанными посредством построения кластера на ОСи. Мало того, в приведенном вами варианте джибод не выдает диски двум серверам сразу, лишь по отдельности. И перемонтирование только ручками.По сути аналогично ситуации, когда стоит 2 сервера рядом и отдельно полка JBOD под них общая.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей