Современные технологии iSER, RoCEv2 и т.д. Сегодня - завтра.

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 13 июн 2017, 13:36

gs писал(а):Что мешает пользовать банальный 10Г айскази?
Неужто аж на 6 серверов не хватит? :)
Игорь, изначально было:
- начально 3 сервера
- для старта 3-х серверов достаточно классики
- для 3-4 серверов дешевле будет классика
- для для правильной 10Г айскази тупого 10Г Длинка не хватит. Нужен управляемый, с транками, а это не так уж и дешево
:)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение gs » 13 июн 2017, 14:04

Ну на новые инфортренды GS4000 можно 16 серверов без свича навешать. На DS4000 - 8 серверов.
В общем, фигня это все. Было бы что считать, а решение найдется. Просто не стоит подбирать цвет халата под перамутр пуговиц...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 13 июн 2017, 15:09

gs писал(а):Ну на новые инфортренды GS4000 можно 16 серверов без свича навешать.
- SAS до 8-ми портов на систему
- FC до 24-х портов на систему, 8-мь на голову и 16-ть дополнительно карточками, но 8Гбит. 16-ти ГБ-ные карты по 4-е порта на карту.

Чет я не понял, как редудантно подцепить 16-ть серверов к ней, :). А так конечно зачетная железка.

http://www.infortrend.com/global/produc ... GS%204024B
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

oleg
Junior member
Сообщения: 17
Зарегистрирован: 19 апр 2017, 20:16

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение oleg » 13 июн 2017, 15:23

gs писал(а):Ну на новые инфортренды GS4000 можно 16 серверов без свича навешать. На DS4000 - 8 серверов.
В общем, фигня это все. Было бы что считать, а решение найдется. Просто не стоит подбирать цвет халата под перамутр пуговиц...
Извиняюсь, а тип подключения какой будет?

oleg
Junior member
Сообщения: 17
Зарегистрирован: 19 апр 2017, 20:16

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение oleg » 13 июн 2017, 15:38

Цитата из статьи: "Преимущества iSER — высокая производительность (пропускная способность, IOPS и малая задержка), низкая нагрузка на процессор, использование средств управления iSCSI...................iSER хорошо подходит для поддержки баз данных, виртуальных сред, облачных сервисов и Web-приложений.................С RDMA «переезд» ВМ с одного сервера на другой происходит в 10 раз быстрее и не требует ресурсов процессора"
Неужели все эти преимущества являются перламутровыми пуговицами? Если да, то к какому халату это вяжется?

Предсказать изменения в инфраструктуре с точностью на 3-5 лет нет возможности. Вчера не было VDI, а сегодня есть и это влечет другие требования и нагрузки. Вчера приложения ели сотни Мб памяти, а сейчас Гбайтами. Что делать завтра, чтобы инфраструктура успевала в след за нагрузками? Даже сейчас Ethernet 10Г является одним из самых узких мест в производительности виртуальной среды.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 13 июн 2017, 15:56

oleg писал(а):Извиняюсь, а тип подключения какой будет?
Я же дал ссылку на железку. Там все написано, какие варианты возможны. Выбирайте, вариантов масса.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 13 июн 2017, 16:02

oleg писал(а):Предсказать изменения в инфраструктуре с точностью на 3-5 лет нет возможности.
Через 5-ть лет СХД надо будет уже менять. Тут два путя:
1. подбирать под задачу и бюджет
2. брать под вырост, но тогда готовить много денег на СХД в ущерб начальной емкости.

Как пример:
1. взять бюджетно ЕМС Юнити 300 с 48-ю дисками по 900ГБ
2. взять дорого ЕМС Юнити 500 с 12-ю дисками по 900ГБ

Не факт, что 2-й вариант выйдет в те же деньги, что первый, но зато с огромным запасом по расширению.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение gs » 13 июн 2017, 16:04

У инфортренда GS4000 вся задница в конвергентных портах. 8шт на каждом контроллере в базе, плюс две карты расширения по 4 порта. Ну и второй контроллер такой же.
Порты любые SFPшные - FC, iSCSI, FCoE.

Но это я просто к слову сказал. В энтрилевеле есть куча вариантов с вполне адекватными ценниками и разным функционалом.
Не говоря уже о всяких SDS - халявный нютаникс, старвинд, микрософт...

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16622
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение gs » 13 июн 2017, 16:07

С какого перепугу 10Г "даже сейчас является одним из узких мест"?
Не говорите это вмвари с ее виртуалсаном, нетаппу и т.д. и т.п.
Чтобы тремя (и даже пятью, да) серверами забить каналы, нужна очень специфическая задача. Офис из сотни рыл к ней не относится.

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Tert » 13 июн 2017, 20:01

oleg
Сейчас на рынке сас коммутатор LSI 6160 чуть ли не единственный.
Это устаревшая информация. Есть решения и на 12 Гб.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 365
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 14 июн 2017, 01:03

Stranger03 писал(а): - для для правильной 10Г айскази тупого 10Г Длинка не хватит. Нужен управляемый, с транками, а это не так уж и дешево
:)
Спорно. Очень спорно.

- неясна коннотация термина "правильной" - в чём должна состоять "правильность"?

- противопоставление "тупой-управляемый": сейчас практически нет "совершенно неуправляемых" свитчей, так что степень "управляемости" тоже нуждается в расшифровке

- "с транками"... что Вы подразумеваете тут под "транками"?
цЫсковский изврат про тегированные vlan`ы или классическую L2-мультилинковость (LA/LACP)?

если первое, то полезнее иметь выделенные коммутаторы с 10G, нежели пытаться изобразить изоляцию iscsi-портов на общем свитче... ну а если второе, то и это требование представляется мне избыточным, бо мультипасу той же Вари любые L2-агрегации линков ну просто в пупок дышат в плане работы.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 14 июн 2017, 09:09

Umlyaut писал(а):- "с транками"... что Вы подразумеваете тут под "транками"?
Пропускной способности одного линка в 10Г при подключении пачки серверов может не хватить. Здесь возможно понадобится агрегация линков для увеличения пропускной способности. Для этого может не хватить возможностей настройки СХД и понадобится настройки на коммутаторах. Ну а Циской мир не закончился. В мире полно других решений. Екстрим Нетворкс, Джунипер енд етс, :)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Bormoto » 14 июн 2017, 11:35

У прямого подключения (SAS в первую очередь) хостов к хранилищам то преимущество, что нет необходимости рассматривать ситуацию отказа коммутирующего устройства. Если есть промежуточная коммутация, то всё - нужно закладываться в резервирование.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 365
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Umlyaut » 14 июн 2017, 15:26

Stranger03 писал(а):
Umlyaut писал(а):- "с транками"... что Вы подразумеваете тут под "транками"?
Пропускной способности одного линка в 10Г при подключении пачки серверов может не хватить.
Ну а кто говорит об "одном линке"-то???
Из соображений редундантности два линка - это "минимум миниморум". А это, на минуточку, под ДВА гигаБАЙТА в секунду в одну сторону - не всякая дисковая система (хранилка) утилизирует такой трафик.
Я вот максимум сустейнед трафика (при релокации дисков виртуалок) между ssd-группами получал под 900МБайт/сек., т.е. более чем двукратный запас в этом месте наличествует у двух линков по 10G.
Stranger03 писал(а):Здесь возможно понадобится агрегация линков для увеличения пропускной способности. Для этого может не хватить возможностей настройки СХД и понадобится настройки на коммутаторах.
Да на здоровье!
Как я писАл выше (и ранее упоминал там-сям), пара редундантных линков в 10G заодно почти линейно масштабирует и трафик.
Вот только в этом контексте эти Ваши "транки" суть есть L2-агрегация по LA(CP) - тогда как мультипас по L3 кроет L2-агрегацию как бык овцу и без всякой поддержки со стороны коммутаторов: вышеупомянутый пример с ~900MB/s по паре 10G "размазывался" Вариным мультипасом более чем равномерно, с разбегом в десятки, максимум сотни килобайт в спорадическом режиме (LA-транк на тех же паттернах и конфигурациях по сравнению с МР просто безобразие).
Собственно, переход с L2-транка из гигабитных карточек на MP позволил мне оттянуть апгрейд сети данных минимум на год, до удешевления 10G-активки.

И к слову: МР той же Сферы не только не требует наличия LA на коммутаторах, но и не требует "возможностей настройки СХД", обеспечивая козырную балансировку исключительно своими силами (проверено на нескольких разных таргетах) - тут главное правильная реализация RR, с чем у Сферы порядок.

Stranger03 писал(а): Ну а Циской мир не закончился. В мире полно других решений. Екстрим Нетворкс, Джунипер енд етс, :)
Вы меня простите за излишнюю лапидарность, отчего, возможно, Вы недопоняли про Цыску.

Я её вспомнил не как "единственного приемлемого вендора", а в контексте термина "транк" - ведь именно Цыска взяла моду называть так тегированные vlan`ы, отчего я всегда интересуюсь в начале дискуссии, что именно под словом "транк" подразумевает мой оппонент: как положено мультилинк, или по-цысковски taggedVLAN???
А так-то у меня ярко выраженного снобизма в плане предпочтений оборудования и нет (принцип Галлая в действии, знаете ли). :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Современные технологии iSER, RoCEv2 и т.д. Сегодня - зав

Сообщение Stranger03 » 15 июн 2017, 09:04

Umlyaut писал(а):Вот только в этом контексте эти Ваши "транки" суть есть L2-агрегация по LA(CP) - тогда как мультипас по L3 кроет L2-агрегацию как бык овцу и без всякой поддержки со стороны коммутаторов
Оно конечно может и так, но, выражу сомнение:

1. мультипас требует поддержки со стороны хоста, на уровне драйверов ОСи. В случае одного, двух хостов ок, а в
2. мультипас может и не спасти, если хостов будет десяток, другой. Как себя поведет СХД в этом случае, вопрос.

Вот кстати и вопрос. Рассмотрим пример. Есть у нас iSCSI Infortrend. Подключили мы его в неуправляемому коммутатору типа Dlink по 10G. Ну скажем воткнули 4-е соска. Есть у нас ферма серверов, ну скажем 10-ть (20-ть) штук. Все завели на iSCSI. Как себя поведет Infortrend? Сможет ли он выдать наружу 40G? На дисках не зацикливаемся, считаем, что у нас их достаточно.

Подумал, спустя минут 10-ть. Что-то мне подсказывает, что даже в случае с мультипасом на стороне хостов бОльше 10G мы выжать не сможем. Наши парни говорят, что агрегации в случае с iSCSI нет, ну или мы об этом пока не знаем. Итого, у нас есть 4-е линка по 10G. Если 10-ть хостов начнут молотить с СХД, то в среднем по больнице на каждый хост мы получим где-то в районе 4G. И вероятно вы правы, L2 здесь будет как мертвому припарки.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Кластеры, Аппаратная часть»