SAN-сеть для кластера MS SQL и доп. серверов

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 11 сен 2009, 13:13

Предполагается подключить к SAN-сети 1 двухконтроллерный сторедж (высоковероятно Xyratex 6412E), 2-х узловой кластер MS SQL с двумя HBA в каждом (высоковероятно qlogic) и несколько серверов с относительно небольшой дисковой нагрузкой: общие файлы организации, небольшие БД разных форматов и т.п. Для кластера и корп. файл-сервера отказоустойчивое подключение к хранилищу обязательно, для остальных - нет. Есть особенность что часть серверов находятся в соседнем здании (200-300 м.). Сервера под Win2003 32- или 64-битной. Топологию отказоустойчивой сети вполне представляю (поправьте если не прав, на практике же я такого не делал): 2 SAN-свича между собой не связанное, все что с двумя хостами (контроллеры хранилища, узлы кластера, файл-сервер) - в разные свичи, сервера с одним HBA - к любому по желанию. Для удаленных серверов еще 1 (3-й) свич соединенный с любым из центральных внешним оптическим кабелем (ну м/б если не жадничать - 2 свича соединенные с двумя первыми, если на перспективу иметь возможность добавлять отказоустойчивые узлы в удаленном помещении). Вопросы следующие.
1) Подойдут ли для этой цели SAN-свичи qlogic 1400 (самые доступные по цене, но E-port поддерживают, а значит соединение с удаленным помещением возможно)?
2) Чем лучше (в свете моей задачи) свичи более дорогих серий (напр. qlogic 5600/5800)
3) В принципе в SAN-сети свичи это не более чем средсва коммутации? Или они сами выступают как хосты для подключенных устройств и требуют иной настройки на серверах и хранилищах, нежели когда они соединины шнурами на прямую?
4) Многомодовый кабель надо между помещениями проложить - 62.5/125 - правильно? А есть еще 50/125 - не знаю для чего.
5) Взаимозаменяемость. Оптические трансиверы для SAN и Ethernet разные или одни и те же? Трансиверы разных производителей взаимозаменяемы? Многомодовый кабель для FC подходит для Ethernet?

Заранее спасибо.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение gs » 11 сен 2009, 16:16

1, 2. Я, честно говоря, не смотрел функционал 1400. Как бы там чего не отрезали.
3. Ну в общем да, но могут быть и тонкости (правда это уже другой уровень).
4. 62мкм не пробьет 300м на полной скорости. Между помещениями надо 50мкм.
5. SFP нужны не просто так, а конкретно сертифицированные для конкретной системы. Оптика одинаковая, но разъемы могут быть разные (FC использует LC).

А чего Вы паритесь? Лучше опишите задачу, мы все посчитаем и отгрузим как положено.

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 11 сен 2009, 18:38

Попробую поподробнее.
Есть БД MS SQL для 1С 7.7 50 ГБ ~300 юзв. Крутится на сервере c 4*XeonMP 7140 16Гб RAM, внутр. raid-контроллер с батарейкой, 8 scsi 15 krpm в raid 10. Конфа на прямых запросах, полет нормальный. Есть еще один сервер послабже, та 2 двуядерных ксеона с HT и 8 гиг памяти. Ну и еще зоопарк серверов разного возраста и калибра с данными на дисках критичиными и не очень общим объемом ок. 600-700 Гб. Большая часть это общие файлы и файлы лежащие в 1С:Архиве 3.0. Есть еще каталог SQL-базы 1С, небольшие ДБФ-базы 1С 7.7, логи системы регистрации прибытий/убытий сотрудников (учета раб. времени), логи атс, мониторинга центрального маршрутизатора (Cisco) мож что еще - в общем это нагрузки не создает, но требует хранения на надежном носителе.
Задача.
1) Создать отказоустойчивую SAN-сеть чтобы содержащую:
- 1 двухконтроллерный сторедж SAS/SATA
- 4 сервера с 2-мя HBA (2 из них поддерживают pci ex <=4, 2 только psi X64)
2) Учесть что 2 серверова в другом помещении (~300 м.). Отказоустойчивостью их подключения к SAN-сети можно пожертвовать из бюджетных соображений (посмотрю по ходу). Подключать их не через SAN-свич(и), а напрямую от HBA ч/з внешний оптический кабаль к свичу в основном помещении не допускается по причине чтобы настроить сразу на развитие (возможность добавления серверов и хранилищ в разных помещениях).
3) Создать кластер серверов из 2-х вышеописанных наиболее мощных для БД MS SQL для 1С (оба в основном помещении).
4) Создать два массива на разные контроллеры - 8-10 15krpm SAS ("быстрый") raid 10 для SQL и 4-6 можно SATA по 1-1.5 Тб raid 5(10, если будет тормозить) ("большой") для файл- сервера и всего остального. Раздать луны кластеру и остальным серверам под задачи и все запустить )

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение Stranger03 » 12 сен 2009, 10:30

"dmdm"
Если по простому, то нужны 4-е файберных коммутатора по 2-а на площадку. Можно использовать 62.5/125 и 50/125 оптику, правда в зависимости от расстояния скорость доступа может быть разной.

Код: Выделить всё

Optics Media Distance

4 Gb/sec Optics Modules:

1 Gb/sec-SW, LC SFP
50/125-micron multimode
500 m

1 Gb/sec-SW, LC SFP
62.5/125-micron multimode
300 m

1 Gb/sec-LW, LC SFP
9/125-micron single-mode
10 km

2 Gb/sec-SW, LC SFP
50/125-micron multimode
300 m

2 Gb/sec-SW, LC SFP
62.5/125-micron multimode
150 m

2 Gb/sec-LW, LC SFP
9/125-micron single-mode
10 km

4 Gb/sec-SW, LC SFP
50/125-micron multimode
150 m

4 Gb/sec-SW, LC SFP
62.5/125-micron multimode
70 m

4 Gb/sec-MR, LC SFP
9/125-micron single-mode
4 km

4 Gb/sec-LW, LC SFP
9/125-micron single-mode
10 km
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение Stranger03 » 12 сен 2009, 10:33

"dmdm"
СХД надо рассматривать с учетом нагрузки на ваши сервера. Желательно посмотреть счетчики, потом сделать выводы. А вообще, позвоните нашим ребятам в Москву, они вам все расскажут.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 14 сен 2009, 11:04

Получается что 300 м. по мультимодовой оптике даже на 2Гб/с предел, а про 4 даже и речи не идет :( Это в корне меняет дело, т.к. одномодовый кабель между помещениями уже есть, и волокон там свободных полно. Жаль только что SFP одномодовые дорогие. И qlogic предлагает одномодовый SFP только 2Гб/с.
На всякий случай спрошу, в в моделях свичей qloqic где SFP включены можно выбрать сколько SFP какого типа?
И еще, почитал на сайте qlogic еще раз повнимательнее про модель 5600 - так все-таки 8 SFP входят во все варианты поставок?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение exLH » 14 сен 2009, 12:52

dmdm писал(а):Получается что 300 м. по мультимодовой оптике даже на 2Гб/с предел
Это не верно. Даже OM3 кабель позволяет на 4Гбит иметь дистанцию до 380м. Недавно утвержденный OM4 позволяет передавать 10Гбит на расстояния до 550м.
dmdm писал(а):И qlogic предлагает одномодовый SFP только 2Гб/с.
Мне кажется, что Вы немного не с той стороны подходите. Если задача стоит только решить, какой кабель использовать, то начните с оценки стоимости прокладки кабеля (непосредственно прокладка, разварка на патч-панель и т.д.). Если эта величина будет заметно меньше чем приобретение одномодовых SFP, то может быть и имеет смысл "ввязаться" в такую процедуру. Но если уже есть много свободных пар, то в большинстве случаев использовать их оказывается гораздо проще.
Что касается SFP на 2Гбит, то никто не мешает Вам использовать и 4Гбит SFP на одномоде, а если уж на то пошло, то и Qlogic далеко не единственный производитель.
dmdm писал(а):почитал на сайте qlogic еще раз повнимательнее про модель 5600 - так все-таки 8 SFP входят во все варианты поставок?
Там совершенно четко написано, что поставки бывают как без SFP, так и "with 4Gb SFPs included are also available in 8-, 12-, 16- and “16+4” port configurations" В последние включены мультимодовые трансиверы по числу активированных портов.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 14 сен 2009, 14:32

Действительно, посмотрел OM3 кабель - стоит уже иных денег. OM4 и вовсе пока в прайсах нет. Так что действительно целесообразно использовать имеющийся одномод.
Что касается других производителей... Cisco MDS******? Боюсь я цисок, по опыту с центр. маршрутизатором настраивать что-либо чуть сложнее элементарного наверняка только с командной строки, принципиальное отсутствие русских док и готовых спецов в регионах - короче опять самостоятельный секос в течении полугода. Или я не прав по части их FC свичей? М.б. еще каких производителей посоветуете у кого попроще и почаще народ выбирает?
Что касается позиций qlogic включающими SFP - они могут быть только многомодовыми, я правильно понял?

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 14 сен 2009, 14:56

Еще и дорогущие циски однако

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение gs » 14 сен 2009, 15:02

Эк Вас понесло, но не туда :)
Я не вижу особого смысла в наворочанных коммутаторах. Имхо хватит и простых.
Если есть одномодовые концы, проще всего купить соответствующие джибики в коммутаторы.
В бандлах SFP многомодовые, ибо нефиг :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение Stranger03 » 14 сен 2009, 15:42

dmdm писал(а):Боюсь я цисок, по опыту с центр. маршрутизатором настраивать что-либо чуть сложнее элементарного наверняка только с командной строки
МДС-ки настраиваются с визарда, если хотите, можно из комстроки, но сложнее. Боитесь цисок, есть Брокейды. Боитесь вообще FC коммутаторов, может тогда приобрести что-то у нас? Вам на 100% помогут с настройками и советами.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 14 сен 2009, 15:51

gs писал(а): ...
Я не вижу особого смысла в наворочанных коммутаторах. Имхо хватит и простых.
Если есть одномодовые концы, проще всего купить соответствующие джибики в коммутаторы.
...
Да я тоже склоняюсь: 4 qlogic 1404 + 4 sfp lw. Подумаю еще, мож 1 свич в резервном помещении, все равно внешний кабель один - если порвут, то уж все волокна разом, да и кластеров и хранилищ на том конце пока нет. С другой стороны приятно, когда сделано заранее.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение gs » 14 сен 2009, 15:53

Только убедитесь, что коммутаторы поддерживают нужные SFP.

dmdm
Junior member
Сообщения: 18
Зарегистрирован: 17 дек 2008, 15:02
Откуда: Липецк

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение dmdm » 14 сен 2009, 16:02

Stranger03 писал(а): ...
Боитесь вообще FC коммутаторов, может тогда приобрести что-то у нас? Вам на 100% помогут с настройками и советами.
Ну это надо смотреть дороже ли и на сколько, чем у барыг тусующихся на прайсру :) Готов посмотреть предложение на qlogic 1400: 3 шт. c SFP и 1 шт. пустой + 4 sfp lw к ним

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: SAN-сеть для кластера MS SQL и доп. серверов

Сообщение gs » 14 сен 2009, 16:07

Конечно дороже. Впрочем, Вы можете купить и на прайсру, и за решением проблем туда же обратиться...

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей