Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
Модераторы: Trinity admin`s, Free-lance moderator`s
Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
Проектируя кластер увидел что для межсерверных соединений кроме гигабитного Ethernet появилась и InfiniBand. Даже некоторые сервера Sun на основе Intel это поддерживают.
У меня задача простая Два сервера приложений с 4 процами каждый и на каждом по 4 одновременно выполняющихся вычисления (напр расчет фифо по сделкам распараллеленый по ценным бумагам)
База данных на третьем сервере. Все на Ms Windows и Ms SQL. Объем всех баз данных гдето будет максимум 350 гб
Очевидно что обмен данными сервера приложений с сервером базы данных должен производится с минимальными задержками , в противном случае придется увеличивать количество параллельных потоков а это из-за особенностей СУБД и 1С бесконечно делать нельзя.
Вопрос 1 Кто нибудь оценивал - насколько серверное решение с InfiniBand дороже если сравнивать GbEthernet
Как понимаю там не только дополнительные платы но и еще архитетура сервера несколько меняется.
Вопрос 2 Может ли для InfiniBand быть узким место сама архитектура Intel (всякие там шины PCIe и т.д.), если оценки что действительно задержки на обмен информацией уменьшаются по сравнению с Gb ethernet (ведь одно дело скорость обмена а другое дело полоса пропускания)
У меня задача простая Два сервера приложений с 4 процами каждый и на каждом по 4 одновременно выполняющихся вычисления (напр расчет фифо по сделкам распараллеленый по ценным бумагам)
База данных на третьем сервере. Все на Ms Windows и Ms SQL. Объем всех баз данных гдето будет максимум 350 гб
Очевидно что обмен данными сервера приложений с сервером базы данных должен производится с минимальными задержками , в противном случае придется увеличивать количество параллельных потоков а это из-за особенностей СУБД и 1С бесконечно делать нельзя.
Вопрос 1 Кто нибудь оценивал - насколько серверное решение с InfiniBand дороже если сравнивать GbEthernet
Как понимаю там не только дополнительные платы но и еще архитетура сервера несколько меняется.
Вопрос 2 Может ли для InfiniBand быть узким место сама архитектура Intel (всякие там шины PCIe и т.д.), если оценки что действительно задержки на обмен информацией уменьшаются по сравнению с Gb ethernet (ведь одно дело скорость обмена а другое дело полоса пропускания)
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
Инфинибанда конечно дороже. Но ценники не заоблачные, сравнимо с обычным файбером.
Только вот я очень сильно сомневаюсь, что оно Вам поможет в такой задаче.
Только вот я очень сильно сомневаюсь, что оно Вам поможет в такой задаче.
Re: Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
А чем обусловлены сомнения?gs писал(а): Только вот я очень сильно сомневаюсь, что оно Вам поможет в такой задаче.
Я тут наткнулся на тест некий, у них вывод что InfiniBand http://www.ansyssolutions.ru/index_print.php?id=43
эффективен когда число серверов в кластере больше двух, но там непонятна топология (звезда или распределенная ) кластера. У меня получается что все процессы будут ломится к одному серверу базы данных
Ну и хотелось понять перспективность InfiniBand vs Gbe всетаки если на нее садишся то это уже стратегия
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
Если учесть, что Infiniband появился больше 10 лет назад, кластер Вы проектируете довольно долгоselis писал(а):увидел что для межсерверных соединений кроме гигабитного Ethernet появилась и InfiniBand
С минимальными относительно чего? Относительно времени выполнения запроса в СУБД? Или относительно времени выполнения запроса к дисковой подсистеме? Или относительно двух этих времен? Или относительно времени выполнения части кода не сервере приложений? Или относительно всего вышеперечисленного вместе взятого?selis писал(а):Очевидно что обмен данными сервера приложений с сервером базы данных должен производится с минимальными задержками
Если время операции, которая занимает 1 секунду, Вы сократите на 1мс, то как скоро это станет заметно для Вашего руководства?
Каким образом по-вашему должна меняться архитектура сервера?selis писал(а):Как понимаю там не только дополнительные платы но и еще архитетура сервера несколько меняется.
Какую иную архитектуру Вы рассматриваете в данный момент в качестве альтернативы?selis писал(а):Вопрос 2 Может ли для InfiniBand быть узким место сама архитектура Intel
Вы тоже планируете гидродинамику считать или возьметесь за задачи квантовой физики?selis писал(а):Я тут наткнулся на тест некий
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
Судя по тому что Infiniband как то слабо двигали http://www.pcweek.ru/themes/detail.php?ID=72177 не удивительно что он так поздно пошел в массы.exLH писал(а):Если учесть, что Infiniband появился больше 10 лет назад, кластер Вы проектируете довольно долго
Я писал задержки на обмен данных между сервером приложений и сервером бд. Представьте частую ситуацию когда запрос на сервере уже выполнен, и нужно всего лишь делать обход данных в курсоре (без которого не обойдется фифо). Нужно сделать fetch 10000 раз. Результат запроса у Вас уже в кэше субд. чтобы быстро это считать из сервера приложений нужно иметь интерфейс с минимальными задержками так как там 10000 раз fetch (запрос) - ответ. На каждую записьexLH писал(а):С минимальными относительно чего?
Чем интенсивней работаем с базой из параллельных процессов тем сильнее влияет на производительность механизм блокировок (который используется и при чтении), поэтому мы не можем плодить много интенсивно работающих фоновых заданий. Tюнинг блокировок это отдельная тема и определяется субд, а уже субд определяет архитектуру оборудования дальше писать не буду - многоexLH писал(а):Каким образом по-вашему должна меняться архитектура сервера?
Пока никакую - в исходном посте меня интересовала ее применимость в интеловской архитектуре. Думаю другие будут дороже в разы, если есть сопоставимой стоимости это интересно.exLH писал(а):Какую иную архитектуру Вы рассматриваете в данный момент в качестве альтернативы?
Формулировка такого вопроса подразумевает что вопрошающий счас выложит ссылку где гигабит ethernet и infiniband сравнивается именно в задачах трехзвенной архитектуры СУБДexLH писал(а):Вы тоже планируете гидродинамику считать или возьметесь за задачи квантовой физики?
Жду.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Вид межсерверных соединений в кластере 1С8.2 1GbvsInfiniBand
А я вот, пожалуй, начну отвечать с конца.
- уточняющие, если нужно узнать фактический материал (например размер БД);
- дающие повод двигаться в другую сторону и найти правильный ответ.
Первый тип - явно не Ваш случай.
Но раз уж Вы так хорошо себе все это представили (и наверняка тестировали), то у меня к Вам простой вопрос:
Какое ускорение наблюдается если сервер приложений разместить на одной машине с сервером СУБД?
Откуда у Вас сомнения в неприменимости интелловской архитектуры?
Обычно на этом форуме я задаю вопросы двух типов:selis писал(а):Формулировка такого вопроса подразумевает что вопрошающий счас выложит ссылку где гигабит ethernet и infiniband сравнивается именно в задачах трехзвенной архитектуры СУБД
- уточняющие, если нужно узнать фактический материал (например размер БД);
- дающие повод двигаться в другую сторону и найти правильный ответ.
Первый тип - явно не Ваш случай.
Отлично. Представить я себе могу и не такой ужас.selis писал(а):Представьте частую ситуацию когда запрос на сервере уже выполнен, и нужно всего лишь делать обход данных в курсоре
Но раз уж Вы так хорошо себе все это представили (и наверняка тестировали), то у меня к Вам простой вопрос:
Какое ускорение наблюдается если сервер приложений разместить на одной машине с сервером СУБД?
Если иная архитектура не рассматривается, то выбора у Вас нет.selis писал(а):Пока никакую - в исходном посте меня интересовала ее применимость в интеловской архитектуре.
Откуда у Вас сомнения в неприменимости интелловской архитектуры?
А жаль...selis писал(а):а уже субд определяет архитектуру оборудования дальше писать не буду
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 18 гостей