Выбор решения

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Выбор решения

Сообщение kadetirk » 02 сен 2009, 19:09

Необходимо решение SAN хранения данных.
- Основной сервер работает с БД (их несколько общий объем до 1.5ТБ)
Основной сервер:
MAX CPU, MAX Memory.
2 SATA RAID1 - OS+SQL
- Сервер отчетов - забирает снап-шот с хранилища и обрабатывает его сам
MAX CPU, MAX Memory. NAND HDD
- Повышенное быстродействие обработки БД
- Повышенная отказоустойчивость по компонентам 24-7-365
Чего надумалось
1. в сервере устанавливается 2 шт PCI-E карты с DUAL FC-port
карты должны работать в режиме дуал-линк, т.е. отказ одной из карт или канала в карте не приводит к пропаданию связи с внешним массивом данных.
2. установленно 2 свитча FC - в режиме удвоения производительности, отказ одного из свитча - оставляет систему работоспособной.
3. установленно 2 хранилища данных (SAS-FC) объем 2Т каждое
оба хранилища работают в зеркальном режиме.
отказ хранилища не нарушает работоспособность системы
одно хранилище вне серверной
---
по всему этому:
софт рабочий: Микрософт Сервер 2003 64 бит + MS SQL и на нем крутится 1С
клиенты терминальные (примерно 50 шт)
так-как дебильная MS SQL видит только жесткие диски - это все должно для системы выглядить как жесткий диск (поэтому NAS не катит)
к хранилищу с другой стороны обращаются еще другие сервера через этот FC switch.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 02 сен 2009, 19:24

Учитывая фразу про:
kadetirk писал(а):Повышенная отказоустойчивость по компонентам 24-7-365
хочется понять общий бюджет решения.
Я правильно понимаю, что MSSQL предназначен только для 1С? Какая версия 1С?
kadetirk писал(а):к хранилищу с другой стороны обращаются еще другие сервера через этот FC switch.
С какой целью? (какие задачи на этих серверах?)
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 02 сен 2009, 19:37

хочется понять общий бюджет решения.
Я правильно понимаю, что MSSQL предназначен только для 1С? Какая версия 1С?
Тоже хочется понять - но не сорить, мне это еще продать тоже нуно
Да 1С здесь королева, 7.7 переточенная полностью конфа
С какой целью? (какие задачи на этих серверах?)
- Сервер отчетов - забирает снап-шот с хранилища и обрабатывает его сам
пока этот один - дальше по росту

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 02 сен 2009, 22:01

Ну тогда давайте смотреть:
kadetirk писал(а):MAX CPU, MAX Memory
На текущий момент для x86 это будет 16 процессоров по 6 ядер в каждом + 1TB памяти.
Две такие машины в кластер, чтобы обеспечить отказоустойчивость (вторую можно конечно и попроще - чай не каждый день failover будет).
Финансы заказчика позволяют?
+ один для аналитики, если уж заявляете, что те же требования...

Далее.. Если брать две системы, то между ними нужно либо зеркалирование, либо репликацию делать. Зеркалирование можно делать при помощи ПО на сервере (дополнительно Symantec Storage Foundation), либо средствами дисковой системы (причем, если надо "прозрачно" пережить падение СХД, то даже не дисковой системы, а внешнего устройста). Для адекватного понимания того, как это делать лучше, нужно понять, на каком расстоянии находится удаленная дисковая система, какие до нее коммуникационные каналы, есть ли там серверы (нужно ли переносить нагрузку на вторичную площадку если случился час "Х").

Дисковые системы (исходя из того, что Вы хотите к серверу 4 канала для более высокой производительности) должны включать ну хотя бы по сотне дисков.

+ неплохо бы нарисовать систему резервного копирования, чтобы данные не пропали бесследно с обеих зазеркалированных систем вследствие какого-нибудь вируса.

Вот какая-то такая картинка вырисовывается (если читать буквально то, что Вы написали).

Сдается что заказчик Ваш не слишком готов к такого рода вложениям для такой задачи. Хотя Вам конечно виднее.

Вот именно поэтому я и задал вопрос про бюджет. Кроме того, для адекватной оценки того, как лучше усилить систему по сравнению с тем, что есть сейчас, желательно все-таки знать что именно есть сейчас...
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 14:34

Юмор... ценю...

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 03 сен 2009, 15:23

kadetirk писал(а):Юмор... ценю...
Это юмор только лишь в том случае, если на самом деле реальный бюджет решения в 10 раз меньше, чем выглядит из Ваших слов.
Именно поэтому я и задал уточняющие вопросы (в том числе и в последнем посте). Можно их суммировать и расписать предельно ясно:
  • Какая на текущий момент аппаратная конфигурация?
  • С чем связано желание получить новое решение (недостаточная производительность, прогнозируемый рост нагрузки, желание построить отказоустойчивое решение, все вместе)?
  • Как заказчиком оценивается возможное время простоя и время на восстановление после сбоя?
  • Были ли сделаны оценки о потерях заказчкика в зависимости от времени простоя?
  • Что с инфраструктурой (если система будет разнесена территориально, то конкретные данные о расстояниях, каналах и необходимости переносить нагрузку на резервную площадку при "падении" основной)?
  • Как организовано резервное копирование (если никак, то какие планы)?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 16:35

В начале запроса про сервера ничего не говорилось что они нужны. Какое ядро от МС обрадуется 96 процессорам? Про бэкап не спрашивал - ибо он есть и устривает по признакам которые определил клиент. Вопрос был про SAN-часть - ее реализацию, на решениях торгуемых Вами. Про бюджет было сказанно - в разумных пределах, на истребителе поля не пахаем. 100 дисков на массив для хранения 2Т это разумно? Предварительно прочитал весь топик, шоб не повторятся.
Решения от НР не обрадовали, больше понравились от ИБМ, Делл просмотрел наискосок.

Постараюсь еще раз выразится - надо хранилище данных SAN на FC-оптике.
Адаптеры HBA, FC-свитчи, Хранилища - все должно дублироваться.
Линии связи оптические. Все в стойке кроме одного хранилища (оно в этом-же здании на 30-50 метров от серверной). Диски в хранилищах желательны SAS. Удаленное управление, руление и мониторинг - не обязательны. Масштабируемость приветствуется.

На текущем этапе все стоит внутри сервера на 10RAID из 4-х 500Г SATA NS дисков.
Адаптер 256М - 8 портов + батарейный модуль. Скорость конечно напрягает и повышать ее надо. Но не до скорости чтения кэш-память.

Не приветствуются решения наподобии как например:

сравним процессор X5550 с процессором X5570
рост цены 50%
рост производительности 10%

или
модуль памяти 4Г - 200уе
модуль памяти 8Г - 1000уе

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 03 сен 2009, 17:38

kadetirk писал(а):В начале запроса про сервера ничего не говорилось что они нужны.
kadetirk писал(а):Основной сервер:
MAX CPU, MAX Memory.
Вы как-нибудь сами определитесь для начала...
kadetirk писал(а):100 дисков на массив для хранения 2Т это разумно?
Если Вы выдвигаете требования:
kadetirk писал(а):установленно 2 свитча FC - в режиме удвоения производительности
kadetirk писал(а):в сервере устанавливается 2 шт PCI-E карты с DUAL FC-port
То 100 дисков это более чем разумно так как в противном случае я не очень понимаю, как Вы собираетесь эти 4 4Гбит линка хотя бы на половину загрузить... Впрочем фразу про режим удвоения производительности коммутаторов я тоже не особенно понимаю...

Какое ядро от МС обрадуется 96 процессорам?
Процессоров всего 16, это ядер 96... Конфигурация совершенно рабочая
kadetirk писал(а):На текущем этапе все стоит внутри сервера на 10RAID из 4-х 500Г SATA NS дисков.
kadetirk писал(а):общий объем до 1.5ТБ
Очень интересно как 1.5ТБ данных укладываются в 1ТБ массиве...

Если не думать про то как делать правильно, а делать так как Вы просите, то заказчику нужно купить:
  • 2 x IBM DS3400 Dual controller (а, впрочем, можно и Single из жадности) с 12-24мя дисками SAS по 300GB и активированными FlashCopy/VolumeCopy (на втором можно и не активировать из той же жадности).
  • 2 коммутатора Cisco MDS9124 с дополнительными БП (можно и с одним, но с двумя лучше)
  • адаптеры для серверов (по паре однопротовых 4Gbit PCI-X или PCI-e в каждый)
  • кабелей многомодовых нужной длины (по 4 на массив, по два на сервер)
После чего нужно не забыть сделать кластер для SQL, так как смысла дублировать хранилище при единственном сервере смысла не то что 0, а вообще величина отрицательная.
Для кластера (чтобы работало зеркалирование между массивами) нужно докупить Symantec Storage Foundation.

А вот если делать по уму, а не так, как хочется, то картина может быть и совсем другая...
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 18:06

Про смысл? Вариант со вторым сервером рассматривался. Про жадность - есть жадность а есть разумность. Я не жадный - я просто из деревни в Сибири. Отвлеклись.

Поднятие нового сервера 1 час из сервера аналитики (этот сервер работает только 4-5 часов в сутки) - поэтому платформы у них будут совпадать.

А вот поднятие данных с бэкапа на массив это может занимать очень много времени.

Важнее всего данные. В серверах их нет - там вообще кроме ПО ничего нет. Все поднимается на раз-два-три. Можно аварийно крутить хоть на ВМ-Варе.

Поэтому первая строка запроса именно помогите по СХД...

почему 4Г линки - потому что меньше не нашел в обозримом оборудовании.

почему 1.5Т - это расчетное увеличение базы на 5 лет по анализу последних 10 лет.
если исходить из развития ИТ-технологий - через 2-3 года все это оборудование будет
устаревшим - зачем платить про запас за то что потребуется тогда когда устареет.

да - в хранилищах по 2 адаптера по 2 блока питания

да- в свитчах по 2 блока питания

да - в HBA на сервере по 2 порта

во многих ваших ответах так и рекомендуется

среднестатично
QLogic 4Gb FC Single-Port PCIe HBA Х баксов
QLogic 4Gb FC Dual-Port PCIe HBA Х+45% баксов
стоимость чуть выше хорошего РАИД контроллера - не вижу смысла экономить на втором порту

насчет количества процессоров - то что жужит и потребляет энергию не значит что выполняет задачу. В 2004-2005 году по решению для SAP при потборе количества процессоров на живой задаче - оказалась что после 4-го процессора на данной системе производительность перестает расти.

Вы мне гарантируете что 16 процессоров повысят скорость работы задачи в 16 раз?

Согласен: обсуждать по уму, я за. Это-же форум - значит должен быть диалог.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 03 сен 2009, 18:27

kadetirk писал(а):Про смысл? Вариант со вторым сервером рассматривался.
Т.е. потратить 10 тысяч (очень грубо) на второй сервер это много и догоро. А купить вторую СХД за 20-30 это нормально...
kadetirk писал(а):А вот поднятие данных с бэкапа на массив это может занимать очень много времени.
С чего это? При использовании систем CDP, время поднятия - минуты, а потерянных данных - секунды.
kadetirk писал(а):Можно аварийно крутить хоть на ВМ-Варе.
Да на чем угодно можно крутить - сами же пишете, что серверы Вас не интересуют...
kadetirk писал(а):почему 4Г линки - потому что меньше не нашел в обозримом оборудовании.
Я где-то писал, что нужно брать FC 2Gbit?
kadetirk писал(а):да - в HBA на сервере по 2 порта
Совершенно четко в прошлом сообщении черным по голубому написал: по паре однопротовых 4Gbit - смысла ставить два двухпортовых нет никакого. Хотя можно конечно и один двухпортовый, но с Вашей концепцией дублирования это не согласуется...
kadetirk писал(а):В 2004-2005 году по решению для SAP при потборе количества процессоров на живой задаче - оказалась что после 4-го процессора на данной системе производительность перестает расти.
В 2004 году надо было другую архитектуру использовать. Кроме того, от процессора далеко не все зависит.
kadetirk писал(а):Вы мне гарантируете что 16 процессоров повысят скорость работы задачи в 16 раз?
Вам лично мы что-то гарантировать можем в договоре на поставку техники. Впрочем, опять, к чему этот разговор про процессоры? - Вы же сами писали, что серверы Вас не интересуют...
kadetirk писал(а):Согласен: обсуждать по уму, я за.
Список вопросов - выше. Пока Вы не ответили на многие из них.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 19:24

Новые сервера пока в районе 17-25 тысяч

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 19:38

exLH писал(а): Список вопросов - выше. Пока Вы не ответили на многие из них.
exLH писал(а):Какая на текущий момент аппаратная конфигурация?
kadet писал(а):На текущем этапе все стоит внутри сервера на 10RAID из 4-х 500Г SATA NS дисков.
Адаптер 256М - 8 портов + батарейный модуль. Скорость конечно напрягает и повышать ее надо. Но не до скорости чтения кэш-память.
exLH писал(а):С чем связано желание получить новое решение (недостаточная производительность, прогнозируемый рост нагрузки, желание построить отказоустойчивое решение, все вместе)?
kadet писал(а):- Повышенное быстродействие обработки БД
- Повышенная отказоустойчивость по компонентам
exLH писал(а):Как заказчиком оценивается возможное время простоя и время на восстановление после сбоя?
Оценивали поэтому и возник вопрос. Аварийные методы работы существуют - но они менее
производительны в 5-8 раз.
exLH писал(а):Были ли сделаны оценки о потерях заказчкика в зависимости от времени простоя?
почти тоже самое для меня - поясните...
exLH писал(а):Что с инфраструктурой (если система будет разнесена территориально, то конкретные данные о расстояниях, каналах и необходимости переносить нагрузку на резервную площадку при "падении" основной)?
kadet писал(а):Все в стойке кроме одного хранилища (оно в этом-же здании на 30-50 метров от серверной).
exLH писал(а):Как организовано резервное копирование (если никак, то какие планы)?
kadet писал(а):Про бэкап не спрашивал - ибо он есть и устривает по признакам которые определил клиент.
Так что на все вопросы отвечал... видать неправильно...

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Выбор решения

Сообщение exLH » 03 сен 2009, 19:45

kadetirk писал(а):Так что на все вопросы отвечал... видать неправильно...
Видимо да.

"Как заказчиком оценивается возможное время простоя и время на восстановление после сбоя?"
Ответ:
- хотим максимальный простой 5 дней в год при единовременном простое максимум 8 часов.
- ожидаем не потерять данные более чем за 4 часа до момента сбоя.

"Были ли сделаны оценки о потерях заказчкика в зависимости от времени простоя?"
Ответ:
- простой в 1 час оцениваем в 20.000$, в два часа - 60.000$, в неделю - уход с рынка
- потеря данных за 8 часов до сбоя - 30.0000$, за сутки - 90.000$

Каких-то внятных ответов хочется для того, чтобы можно было что-то предложить.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Аватара пользователя
kadetirk
Junior member
Сообщения: 12
Зарегистрирован: 02 сен 2009, 18:55
Откуда: Irkutsk
Контактная информация:

Re: Выбор решения

Сообщение kadetirk » 03 сен 2009, 20:02

Отвечаем - простоев практически не будет - будет замедление работы. Система децентрализованна на львинную долю. В системе есть обходные пути решения - я это указывал. Бэкап данных происходит на 3 вида носителей в 3 разные географические точки.
В новой серверной будет установленны системы автоматического кондиционирования и пожаротушения. В системе в целях профилактики ведется отслеживание пиковых нагрузок. Система росла 10 лет и мы успевали за отслеживанием ее потребностей. Система доросла до взрослой СХД.

Пойдет ответ?
На остальные вопросы с неправильными ответами какие рекомендации?

Когда в Нск сгорел один узел (пожар был) - через три дня там стоял новый.
Но 3 дня филиал работал.

И еще маленький намек - я это хочу купить, а не просто зашел разводить флэйм и отвлекать серьезных мужчин от работы. Но платить за рекламные ходы производителей и курсы повышения продаж - не мое. Я их тоже регулярно прохожу.
Предварительно прочитал весь топик, шоб не повторятся.
Я читал ваши рекомендации и при минимальных данных от клиента.
Мне нужен ответ по СХД. У меня в плане стоит СХД. Дальше в бюджете может появится и виртуальные сервера и непрерывная защита данных (CDP). Все завист от развития бизнеса.
Но сейчас мне нужно СХД, хорошо? Без "в нагрузку" и "в подарок".

Кстати мы работали с вашей компанией несколько лет назад, очень приятные впечатления.
Вопрос-ответ. По существу. Как инженер инженеру.

Спасибо за ответы. Жду предложений.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Выбор решения

Сообщение Stranger03 » 04 сен 2009, 07:57

kadetirk писал(а):Но сейчас мне нужно СХД, хорошо? Без "в нагрузку" и "в подарок".
Если я правильно понимаю, что весь этот длинный флейм из-за решения СХД под кластер SQL для 1С 7.7, то Андрей вам уже дал совет, только видимо вы его как-то упустили:
exLH писал(а):Если не думать про то как делать правильно, а делать так как Вы просите, то заказчику нужно купить:
2 x IBM DS3400 Dual controller (а, впрочем, можно и Single из жадности) с 12-24мя дисками SAS по 300GB и активированными FlashCopy/VolumeCopy (на втором можно и не активировать из той же жадности).
Этот ответ вам чем-то не понравился? Можно узнать чем?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей