Проектируем 2-х узл. active/active кластер с хран. IBM DS400

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 19 авг 2005, 15:08

PCI-X FC-HBA от IBM - это фактически Qlogic QLA2340. Так что, если хотите использовать одномод, то придется брать LSI с одномодовыми SFP (GBIC-ами).
Предполагается, что одномодовое волокно используется для соединения разнесенных территориально коммутаторов, а не сервера с дисковой системой, поэтому штатно SFP одномодовые доступны именно для коммутаторов (в том числе тех, которые поставляет IBM).

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 14 фев 2006, 12:48

Здравствуйте. Решил не заводить новую ветку, т.к. вопросы все из той же области. Наконец, недостающие комплектующие нами получены и мы собираем "боевой" вариант кластера. Хотелось бы ума по следующему:

1. Итак, кластер "active/active". Так это все-таки 2 кластера (вирт. сервера) на одних и тех же 2-х узлах с двумя кворумами соответственно или 1 для которого владельцы ресурсов (диски с SQL и файлами) - разные узлы? Вас, наверное, улыбнет, а я тупо вижу, что в адм. кластеров похоже есть и те и другие педали.

2. LUN-ы vs Лог. диски средствами ОСи. Массив с данными для SQL-сервера нужно разделить на 3 части (сис. базы, MDF и LOG). Поскольку все эти разделы будут одновременно использоваться только одним узлом, у меня есть выбор - или сделать 3 LUN-а в хранилище или сделать один и разбить его на 3 лог. диска средствами Win. Какой вариант предпочли бы Вы? Влияет ли этот выбор на ту же производительность (другое что-то) или все это не имеет особого значения?

3. При форматирование раздела средствами OC можно выбрать размер кластера диска (по ум. 4K, по-моему). Раздел, физ. размещенный во внешнем хранилище тоже надо форматировать - следует ли выбирать размер кластера диска = размеру страйпа массива (я так делал по наитию для массивов на внутр. контр.) или как-то еще. Имеет ли это вообще какое-либо значение?

Заранее признателен за советы.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 14 фев 2006, 14:37

p rj писал(а):1. Итак, кластер "active/active". Так это все-таки 2 кластера (вирт. сервера) на одних и тех же 2-х узлах с двумя кворумами соответственно или 1 для которого владельцы ресурсов (диски с SQL и файлами) - разные узлы? Вас, наверное, улыбнет, а я тупо вижу, что в адм. кластеров похоже есть и те и другие педали.
Педали то может быть и есть, но все-таки давайте определимся.
1. У вас внешний файберный или SCSI массив, подключенный к двум серверам?
2. Под клстером актив-актив что понимается? На узлах крутится одна и та же задача с доступом к одним данным, либо это разные задачи по разным серверам с разными данными? И Узлы кластеров будут дублировать друг друга?
3. Наконец о каком кластере идет речь? Под Вин, Линукс?
хранилище или сделать один и разбить его на 3 лог. диска средствами Win. Какой вариант предпочли бы Вы? Влияет ли этот выбор на ту же производительность (другое что-то) или все это не имеет особого значения?
Ага, вижу, Вин платформа. Здесь очень сильно зависит от самого приложения. Что за приложение будет общатся с вашим SQL? Если по рекомендациям, то лучше конечно разбивать не только по лунам, но и по физическим винтам.
3. При форматирование раздела средствами OC можно выбрать размер кластера диска (по ум. 4K, по-моему)
По кворумному диску разницы нет. По остальным, может CyberDrake скажет, как лучше сделать?

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 14 фев 2006, 17:31

Конфигурация такова.
2-х узловой active/active кластер серверов (ОС - W2K3). 1-й узел активный для MS SQL Server 2000 и пассивным для доступа к общим файлам, 2-й соответственно пассивный для SQL Ser. и активный для файловой шары. Хранилище - двухконтр. IBM DS400. Каждый узел кластера связан с каждым контроллером DS400 (все 4 хост-соединения задействованы). В хранилище 2 массива: "быстрый маленький" (8*36Г,15Krpm - рейд 10) выделена под SQL-базу (узел 1) и "медленный большой" (5*146Г,10Krpm - рейд 5) - под файлы (узел 2) и кворум, есть общий HotSpare 146Г.
Это уже собрано и навскидку вполне работоспособно. Единственно, настроили пока без нюансов - на LUN-ы не били и т.п. - просто как было проще лишь бы побыстрей поюзать.
Если по рекомендациям, то лучше конечно разбивать не только по лунам, но и по физическим винтам.
На этом форуме приводились примеры (м.б. Вами даже), что производительнее в реальности зачастую оказывался один большой массив  :wink:  Во всяком случае, если по разным дискам (их весго 8 для SQL), то выйдет MDF на рейд10 из 4-х и два зеркала, не думаю что будет лучше чем все на 10-м из 8 шт.
Кстати iometer дал результат по тесту имит. SQL сервер на этом массиве ~80 Мб/с - как думаете, нормально? (форматили раздел "втупую", т.е. там наверное 4K c точки зрения винды)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 15 фев 2006, 11:08

p rj писал(а):Конфигурация такова.
2-х узловой active/active кластер серверов (ОС - W2K3). 1-й узел активный для MS SQL Server 2000 и пассивным для доступа к общим файлам,
Тогда понятно, точно не помню, можно ли ресурсу назначить активный узел. Надо посмотреть. Для файлового ресурса разницы нет особой, для кворумного диска тоже нет. Для SQL надо подумать 10 раз.
На этом форуме приводились примеры (м.б. Вами даже), что производительнее в реальности зачастую оказывался один большой
Да, поэтому было бы логичнее провести тест на реальной базе, тем более что резерв в виде дискового пространства у вас есть. Конфигурация дисковой системы под SQL очень сильно зависит от приложения. У нас были примеры с Аксаптой, когда целый массив без разделения с базой в 80-т гигов работал в 10-ки раз быстрее. И с точностью до наоборот, база в 60-т гигов до сих пор работает на 350-м Малексе под Ораклом, и вроде даже почти справляется. Так что лучше потестить. Тем более вы ничего не теряете.
Кстати iometer дал результат по тесту имит. SQL сервер на этом массиве ~80 Мб/с - как думаете, нормально? (форматили раздел "втупую", т.е. там наверное 4K c точки зрения винды)
DS400 - это FC-to-SCSI, то есть пропускная способность дисков реальна ограничена самими дисками SCSI. На одном потоке 80-ть вроде даже неплохо. Коллеги поправять если что.

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 15 фев 2006, 11:59

Тогда понятно, точно не помню, можно ли ресурсу назначить активный узел
Можно, уже назначили - один узел действительно видит массив для SQL, другой - массив с кворумом и файлами.
Реально еще хочу поглядеть как проходит сетевой трафик при SQL-запросе: сразу на узел1 (акт. SQL) и назад клиенту или на узел2 (кворум то у него!), а тот перенаправляет уже на узел1 и потом результат запроса по обратной цепочке. Если второе, то действительно придется два кластера делать. Вот так, от безграмотности придется смотреть в PM  :)
Да, поэтому было бы логичнее провести тест на реальной базе
Массив оставлю один из 8-ми. Уже решил. Было бы пару десятков винтов, вот тогда бы...  :)  Теперь только попробую не с логическими дисками ОСи на нем, а перебью его на 3 LUN-a на уровне контроллера.
На одном потоке 80-ть вроде даже неплохо
Уточню, как тестил
Одним Worker (на самом деле вирт проца 4, но я не догадался пока как всеми сразу тестить)
по всей поверхности
# of Outstanding I/Os  - 100
64K; 66% read; 100% random
Кстати - может быть тест не совсем правильный (хочу имитировать SQL-сервер)  - тогда поправьте меня, пж. И даже если он правильный - это имитация нагрузки на раздел только с MDF, или на раздел где все (MDF+LOG+TEMPDB и др. сис. базы)?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 15 фев 2006, 19:09

Вот меня тут правильно поправляют коллеги, получается не очень красивая ситуация. Мы с вами лично и с нашими московскими коллегами составляли вам спецификацию, обсуждали правильность и стоимость решения. Теперь вы, купив оборудование не у нас, спрашиваете у нас, как лучше сделать. Вам не кажется, что это несколько некрасиво?

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 16 фев 2006, 10:58

Ну что ж, если так, то извините.
Отмечу лишь, что вряд ли я должен самостоятельно догадавыться о том что является "несколько некрасивым" а что нет, ведь Вы не позиционируете свой сайт и форум исключительно как интрумент техподдержки Ваших клиентов. Да, очевидно, что посредством демонстрации компетентности Ваших сотрудников и установки первичного контакта с потенциальным покупателем форум призван способствовать продвижению продаж, но не более того. А стало быть, как и на любом другом форуме действует правило - никто никому ничего не обязан. Т.е. не хотите  - не отвечайте.
Еще раз прошу прощения.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 16 фев 2006, 12:18

Понимаете, я например, когда покупал фотоаппарат, нашел контору, где мне дали все пощупать, проконсультировали (профессионально, а не на уровне мегапикселей). И заплатил я несколько больше, чем мог бы. И я этим ребятам благодарен. Хотя вполне мог после этого пойти и купить в соседнем ларьке. И считаю, что поступил правильно.
А форум - да, конечно, мы никогда не отказываем в поддержке чужих клиентов, если их приперло, а поставщик не в состоянии помочь (если конечно можем и это не требует существенных затрат - причину наверно сами понимаете). Но вот получить консультацию в одном месте, а потом купить на сто баксов дешевле в другом - ну это просто некрасиво. Никто никого ни в чем не обвиняет, но и помогать после этого у нас желания нет.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 16 фев 2006, 12:19

Хотя не будем возражать, если кто-то из фрилансеров поможет.

ITER
Advanced member
Сообщения: 306
Зарегистрирован: 13 июл 2003, 10:01
Откуда: Хабаровский край

Сообщение ITER » 16 фев 2006, 13:02

p rj писал(а): Реально еще хочу поглядеть как проходит сетевой трафик при SQL-запросе: сразу на узел1 (акт. SQL) и назад клиенту или на узел2 (кворум то у него!), а тот перенаправляет уже на узел1 и потом результат запроса по обратной цепочке. Если второе, то действительно придется два кластера делать. Вот так, от безграмотности придется смотреть в PM  :)
Трафик идет сразу на узел с ресурсами скуля, кворум нужен только для работы кластерных ресурсов (имя кластера, айпишник кластера). Остальным группам можно назначить другое имя, другой айпишник и т.д.
p rj писал(а): Массив оставлю один из 8-ми. Уже решил. Было бы пару десятков винтов, вот тогда бы...  :)  Теперь только попробую не с логическими дисками ОСи на нем, а перебью его на 3 LUN-a на уровне контроллера.
Лучше LUN'ы делат. ИМХО.
p rj писал(а): Одним Worker (на самом деле вирт проца 4, но я не догадался пока как всеми сразу тестить)
по всей поверхности
# of Outstanding I/Os  - 100
64K; 66% read; 100% random
Кстати - может быть тест не совсем правильный (хочу имитировать SQL-сервер)  - тогда поправьте меня, пж. И даже если он правильный - это имитация нагрузки на раздел только с MDF, или на раздел где все (MDF+LOG+TEMPDB и др. сис. базы)?
Почему такой большой блок (64к), разве скуль такими блоками с диском работает?

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 16 фев 2006, 13:11

...а потом купить на сто баксов дешевле в другом
Дело не в сотне баксов, просто мы не в Москве и не в Питере и объяснить руководству почему я хочу что-либо купить за полтыщи километров от дома, когда все тоже самое нам привезет наш постоянный поставщик оборудования чей офис в 5 мин. езды на авто и наши диры знакомы лично, весьма непросто. Вот если б прогнул на Инфортренд - тогда да (этот филиал его не продвигает), но не получилось.
Я не пытаюсь расположить к лояльности, просто не соглашаюсь с определением "некрасиво".

p rj
Power member
Сообщения: 41
Зарегистрирован: 23 май 2005, 14:16

Сообщение p rj » 16 фев 2006, 13:22

To ITER
Трафик идет сразу на узел с ресурсами скуля
Да верно, и эксперимент с замерами подтвердил это
Почему такой большой блок (64к), разве скуль такими блоками с диском работает?
Уточняю, скуль мелкомягкий 2000. Я руководствовался тем, что у него согласно документации размер экстента БД 64K. В примерах тестов видел варианты 64К и 8К (последнее м/б для оракла?). А вообще хз, потому и спросил :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 16 фев 2006, 17:15

p rj писал(а):объяснить руководству почему я хочу что-либо купить за полтыщи километров от дома, когда все тоже самое нам привезет наш постоянный поставщик
Хм, у нас заказчиков полно не только в Питере, Москве, Екатеринбурге, Казани, Самаре. Никто никогда не жаловался на наш саппорт, на наши поставки. Поскольку мы всегда стараемся оказать потенциальному или состоявшемуся заказчику максимальную поддержку, за это заказчики за 2-3 тысячи от Москвы и Питера берут системы у нас. А не рядом во дворе, где ни один из продавцов не может внятно сказать, что такое контроллер и с чем его едят.
А информация в наши дни дороже денег. Именно поэтому мы и говорим, что это "мягко говоря некрасиво".

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 16 фев 2006, 17:34

Гена, ладно, проехали...

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 12 гостей