Проектируем 2-х узл. active/active кластер с хран. IBM DS400
Модераторы: Trinity admin`s, Free-lance moderator`s
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
PCI-X FC-HBA от IBM - это фактически Qlogic QLA2340. Так что, если хотите использовать одномод, то придется брать LSI с одномодовыми SFP (GBIC-ами).
Предполагается, что одномодовое волокно используется для соединения разнесенных территориально коммутаторов, а не сервера с дисковой системой, поэтому штатно SFP одномодовые доступны именно для коммутаторов (в том числе тех, которые поставляет IBM).
Предполагается, что одномодовое волокно используется для соединения разнесенных территориально коммутаторов, а не сервера с дисковой системой, поэтому штатно SFP одномодовые доступны именно для коммутаторов (в том числе тех, которые поставляет IBM).
Здравствуйте. Решил не заводить новую ветку, т.к. вопросы все из той же области. Наконец, недостающие комплектующие нами получены и мы собираем "боевой" вариант кластера. Хотелось бы ума по следующему:
1. Итак, кластер "active/active". Так это все-таки 2 кластера (вирт. сервера) на одних и тех же 2-х узлах с двумя кворумами соответственно или 1 для которого владельцы ресурсов (диски с SQL и файлами) - разные узлы? Вас, наверное, улыбнет, а я тупо вижу, что в адм. кластеров похоже есть и те и другие педали.
2. LUN-ы vs Лог. диски средствами ОСи. Массив с данными для SQL-сервера нужно разделить на 3 части (сис. базы, MDF и LOG). Поскольку все эти разделы будут одновременно использоваться только одним узлом, у меня есть выбор - или сделать 3 LUN-а в хранилище или сделать один и разбить его на 3 лог. диска средствами Win. Какой вариант предпочли бы Вы? Влияет ли этот выбор на ту же производительность (другое что-то) или все это не имеет особого значения?
3. При форматирование раздела средствами OC можно выбрать размер кластера диска (по ум. 4K, по-моему). Раздел, физ. размещенный во внешнем хранилище тоже надо форматировать - следует ли выбирать размер кластера диска = размеру страйпа массива (я так делал по наитию для массивов на внутр. контр.) или как-то еще. Имеет ли это вообще какое-либо значение?
Заранее признателен за советы.
1. Итак, кластер "active/active". Так это все-таки 2 кластера (вирт. сервера) на одних и тех же 2-х узлах с двумя кворумами соответственно или 1 для которого владельцы ресурсов (диски с SQL и файлами) - разные узлы? Вас, наверное, улыбнет, а я тупо вижу, что в адм. кластеров похоже есть и те и другие педали.
2. LUN-ы vs Лог. диски средствами ОСи. Массив с данными для SQL-сервера нужно разделить на 3 части (сис. базы, MDF и LOG). Поскольку все эти разделы будут одновременно использоваться только одним узлом, у меня есть выбор - или сделать 3 LUN-а в хранилище или сделать один и разбить его на 3 лог. диска средствами Win. Какой вариант предпочли бы Вы? Влияет ли этот выбор на ту же производительность (другое что-то) или все это не имеет особого значения?
3. При форматирование раздела средствами OC можно выбрать размер кластера диска (по ум. 4K, по-моему). Раздел, физ. размещенный во внешнем хранилище тоже надо форматировать - следует ли выбирать размер кластера диска = размеру страйпа массива (я так делал по наитию для массивов на внутр. контр.) или как-то еще. Имеет ли это вообще какое-либо значение?
Заранее признателен за советы.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Педали то может быть и есть, но все-таки давайте определимся.p rj писал(а):1. Итак, кластер "active/active". Так это все-таки 2 кластера (вирт. сервера) на одних и тех же 2-х узлах с двумя кворумами соответственно или 1 для которого владельцы ресурсов (диски с SQL и файлами) - разные узлы? Вас, наверное, улыбнет, а я тупо вижу, что в адм. кластеров похоже есть и те и другие педали.
1. У вас внешний файберный или SCSI массив, подключенный к двум серверам?
2. Под клстером актив-актив что понимается? На узлах крутится одна и та же задача с доступом к одним данным, либо это разные задачи по разным серверам с разными данными? И Узлы кластеров будут дублировать друг друга?
3. Наконец о каком кластере идет речь? Под Вин, Линукс?
Ага, вижу, Вин платформа. Здесь очень сильно зависит от самого приложения. Что за приложение будет общатся с вашим SQL? Если по рекомендациям, то лучше конечно разбивать не только по лунам, но и по физическим винтам.хранилище или сделать один и разбить его на 3 лог. диска средствами Win. Какой вариант предпочли бы Вы? Влияет ли этот выбор на ту же производительность (другое что-то) или все это не имеет особого значения?
По кворумному диску разницы нет. По остальным, может CyberDrake скажет, как лучше сделать?3. При форматирование раздела средствами OC можно выбрать размер кластера диска (по ум. 4K, по-моему)
Конфигурация такова.
2-х узловой active/active кластер серверов (ОС - W2K3). 1-й узел активный для MS SQL Server 2000 и пассивным для доступа к общим файлам, 2-й соответственно пассивный для SQL Ser. и активный для файловой шары. Хранилище - двухконтр. IBM DS400. Каждый узел кластера связан с каждым контроллером DS400 (все 4 хост-соединения задействованы). В хранилище 2 массива: "быстрый маленький" (8*36Г,15Krpm - рейд 10) выделена под SQL-базу (узел 1) и "медленный большой" (5*146Г,10Krpm - рейд 5) - под файлы (узел 2) и кворум, есть общий HotSpare 146Г.
Это уже собрано и навскидку вполне работоспособно. Единственно, настроили пока без нюансов - на LUN-ы не били и т.п. - просто как было проще лишь бы побыстрей поюзать.
Кстати iometer дал результат по тесту имит. SQL сервер на этом массиве ~80 Мб/с - как думаете, нормально? (форматили раздел "втупую", т.е. там наверное 4K c точки зрения винды)
2-х узловой active/active кластер серверов (ОС - W2K3). 1-й узел активный для MS SQL Server 2000 и пассивным для доступа к общим файлам, 2-й соответственно пассивный для SQL Ser. и активный для файловой шары. Хранилище - двухконтр. IBM DS400. Каждый узел кластера связан с каждым контроллером DS400 (все 4 хост-соединения задействованы). В хранилище 2 массива: "быстрый маленький" (8*36Г,15Krpm - рейд 10) выделена под SQL-базу (узел 1) и "медленный большой" (5*146Г,10Krpm - рейд 5) - под файлы (узел 2) и кворум, есть общий HotSpare 146Г.
Это уже собрано и навскидку вполне работоспособно. Единственно, настроили пока без нюансов - на LUN-ы не били и т.п. - просто как было проще лишь бы побыстрей поюзать.
На этом форуме приводились примеры (м.б. Вами даже), что производительнее в реальности зачастую оказывался один большой массив Во всяком случае, если по разным дискам (их весго 8 для SQL), то выйдет MDF на рейд10 из 4-х и два зеркала, не думаю что будет лучше чем все на 10-м из 8 шт.Если по рекомендациям, то лучше конечно разбивать не только по лунам, но и по физическим винтам.
Кстати iometer дал результат по тесту имит. SQL сервер на этом массиве ~80 Мб/с - как думаете, нормально? (форматили раздел "втупую", т.е. там наверное 4K c точки зрения винды)
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Тогда понятно, точно не помню, можно ли ресурсу назначить активный узел. Надо посмотреть. Для файлового ресурса разницы нет особой, для кворумного диска тоже нет. Для SQL надо подумать 10 раз.p rj писал(а):Конфигурация такова.
2-х узловой active/active кластер серверов (ОС - W2K3). 1-й узел активный для MS SQL Server 2000 и пассивным для доступа к общим файлам,
Да, поэтому было бы логичнее провести тест на реальной базе, тем более что резерв в виде дискового пространства у вас есть. Конфигурация дисковой системы под SQL очень сильно зависит от приложения. У нас были примеры с Аксаптой, когда целый массив без разделения с базой в 80-т гигов работал в 10-ки раз быстрее. И с точностью до наоборот, база в 60-т гигов до сих пор работает на 350-м Малексе под Ораклом, и вроде даже почти справляется. Так что лучше потестить. Тем более вы ничего не теряете.На этом форуме приводились примеры (м.б. Вами даже), что производительнее в реальности зачастую оказывался один большой
DS400 - это FC-to-SCSI, то есть пропускная способность дисков реальна ограничена самими дисками SCSI. На одном потоке 80-ть вроде даже неплохо. Коллеги поправять если что.Кстати iometer дал результат по тесту имит. SQL сервер на этом массиве ~80 Мб/с - как думаете, нормально? (форматили раздел "втупую", т.е. там наверное 4K c точки зрения винды)
Можно, уже назначили - один узел действительно видит массив для SQL, другой - массив с кворумом и файлами.Тогда понятно, точно не помню, можно ли ресурсу назначить активный узел
Реально еще хочу поглядеть как проходит сетевой трафик при SQL-запросе: сразу на узел1 (акт. SQL) и назад клиенту или на узел2 (кворум то у него!), а тот перенаправляет уже на узел1 и потом результат запроса по обратной цепочке. Если второе, то действительно придется два кластера делать. Вот так, от безграмотности придется смотреть в PM :)
Массив оставлю один из 8-ми. Уже решил. Было бы пару десятков винтов, вот тогда бы... :) Теперь только попробую не с логическими дисками ОСи на нем, а перебью его на 3 LUN-a на уровне контроллера.Да, поэтому было бы логичнее провести тест на реальной базе
Уточню, как тестилНа одном потоке 80-ть вроде даже неплохо
Одним Worker (на самом деле вирт проца 4, но я не догадался пока как всеми сразу тестить)
по всей поверхности
# of Outstanding I/Os - 100
64K; 66% read; 100% random
Кстати - может быть тест не совсем правильный (хочу имитировать SQL-сервер) - тогда поправьте меня, пж. И даже если он правильный - это имитация нагрузки на раздел только с MDF, или на раздел где все (MDF+LOG+TEMPDB и др. сис. базы)?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Вот меня тут правильно поправляют коллеги, получается не очень красивая ситуация. Мы с вами лично и с нашими московскими коллегами составляли вам спецификацию, обсуждали правильность и стоимость решения. Теперь вы, купив оборудование не у нас, спрашиваете у нас, как лучше сделать. Вам не кажется, что это несколько некрасиво?
Ну что ж, если так, то извините.
Отмечу лишь, что вряд ли я должен самостоятельно догадавыться о том что является "несколько некрасивым" а что нет, ведь Вы не позиционируете свой сайт и форум исключительно как интрумент техподдержки Ваших клиентов. Да, очевидно, что посредством демонстрации компетентности Ваших сотрудников и установки первичного контакта с потенциальным покупателем форум призван способствовать продвижению продаж, но не более того. А стало быть, как и на любом другом форуме действует правило - никто никому ничего не обязан. Т.е. не хотите - не отвечайте.
Еще раз прошу прощения.
Отмечу лишь, что вряд ли я должен самостоятельно догадавыться о том что является "несколько некрасивым" а что нет, ведь Вы не позиционируете свой сайт и форум исключительно как интрумент техподдержки Ваших клиентов. Да, очевидно, что посредством демонстрации компетентности Ваших сотрудников и установки первичного контакта с потенциальным покупателем форум призван способствовать продвижению продаж, но не более того. А стало быть, как и на любом другом форуме действует правило - никто никому ничего не обязан. Т.е. не хотите - не отвечайте.
Еще раз прошу прощения.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Понимаете, я например, когда покупал фотоаппарат, нашел контору, где мне дали все пощупать, проконсультировали (профессионально, а не на уровне мегапикселей). И заплатил я несколько больше, чем мог бы. И я этим ребятам благодарен. Хотя вполне мог после этого пойти и купить в соседнем ларьке. И считаю, что поступил правильно.
А форум - да, конечно, мы никогда не отказываем в поддержке чужих клиентов, если их приперло, а поставщик не в состоянии помочь (если конечно можем и это не требует существенных затрат - причину наверно сами понимаете). Но вот получить консультацию в одном месте, а потом купить на сто баксов дешевле в другом - ну это просто некрасиво. Никто никого ни в чем не обвиняет, но и помогать после этого у нас желания нет.
А форум - да, конечно, мы никогда не отказываем в поддержке чужих клиентов, если их приперло, а поставщик не в состоянии помочь (если конечно можем и это не требует существенных затрат - причину наверно сами понимаете). Но вот получить консультацию в одном месте, а потом купить на сто баксов дешевле в другом - ну это просто некрасиво. Никто никого ни в чем не обвиняет, но и помогать после этого у нас желания нет.
Трафик идет сразу на узел с ресурсами скуля, кворум нужен только для работы кластерных ресурсов (имя кластера, айпишник кластера). Остальным группам можно назначить другое имя, другой айпишник и т.д.p rj писал(а): Реально еще хочу поглядеть как проходит сетевой трафик при SQL-запросе: сразу на узел1 (акт. SQL) и назад клиенту или на узел2 (кворум то у него!), а тот перенаправляет уже на узел1 и потом результат запроса по обратной цепочке. Если второе, то действительно придется два кластера делать. Вот так, от безграмотности придется смотреть в PM :)
Лучше LUN'ы делат. ИМХО.p rj писал(а): Массив оставлю один из 8-ми. Уже решил. Было бы пару десятков винтов, вот тогда бы... :) Теперь только попробую не с логическими дисками ОСи на нем, а перебью его на 3 LUN-a на уровне контроллера.
Почему такой большой блок (64к), разве скуль такими блоками с диском работает?p rj писал(а): Одним Worker (на самом деле вирт проца 4, но я не догадался пока как всеми сразу тестить)
по всей поверхности
# of Outstanding I/Os - 100
64K; 66% read; 100% random
Кстати - может быть тест не совсем правильный (хочу имитировать SQL-сервер) - тогда поправьте меня, пж. И даже если он правильный - это имитация нагрузки на раздел только с MDF, или на раздел где все (MDF+LOG+TEMPDB и др. сис. базы)?
Дело не в сотне баксов, просто мы не в Москве и не в Питере и объяснить руководству почему я хочу что-либо купить за полтыщи километров от дома, когда все тоже самое нам привезет наш постоянный поставщик оборудования чей офис в 5 мин. езды на авто и наши диры знакомы лично, весьма непросто. Вот если б прогнул на Инфортренд - тогда да (этот филиал его не продвигает), но не получилось....а потом купить на сто баксов дешевле в другом
Я не пытаюсь расположить к лояльности, просто не соглашаюсь с определением "некрасиво".
To ITER
Да верно, и эксперимент с замерами подтвердил этоТрафик идет сразу на узел с ресурсами скуля
Уточняю, скуль мелкомягкий 2000. Я руководствовался тем, что у него согласно документации размер экстента БД 64K. В примерах тестов видел варианты 64К и 8К (последнее м/б для оракла?). А вообще хз, потому и спросилПочему такой большой блок (64к), разве скуль такими блоками с диском работает?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Хм, у нас заказчиков полно не только в Питере, Москве, Екатеринбурге, Казани, Самаре. Никто никогда не жаловался на наш саппорт, на наши поставки. Поскольку мы всегда стараемся оказать потенциальному или состоявшемуся заказчику максимальную поддержку, за это заказчики за 2-3 тысячи от Москвы и Питера берут системы у нас. А не рядом во дворе, где ни один из продавцов не может внятно сказать, что такое контроллер и с чем его едят.p rj писал(а):объяснить руководству почему я хочу что-либо купить за полтыщи километров от дома, когда все тоже самое нам привезет наш постоянный поставщик
А информация в наши дни дороже денег. Именно поэтому мы и говорим, что это "мягко говоря некрасиво".
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 37 гостей