Stornext perfomance tuning

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 05 ноя 2008, 18:01

Медленный он на запись.

ne0n
Junior member
Сообщения: 5
Зарегистрирован: 03 ноя 2008, 18:29
Откуда: Kiev

Сообщение ne0n » 05 ноя 2008, 20:29

Как я понимаю, если у сервиса требования - 24x7,
то и тот же NFS должен с фаиловером быть.
А как решить этот вопрос, кроме как шаровым девайсом,
я, например, ненашелся.

Или плохо искал?

Что же теперь получается, чтобы и "шашечки" и "ехать",
только комерческие FS могут помочь?
А насколько в действительности они помочь могут?
Может кто-нибудь сравнительные хар-ки встречал по производительности?

У меня идея была и MySQL мастер в сановском кластере в
фаиловер режиме настроить. Как на "первый блин" с апачами
и NFS на шаровом девайсе глянул, так и притормозил. Теперь
не знаю, стоит ли вообще пробовать. Толи искать другие решения
на качественной FS, толи схему другую думать, толи вообще на
другой движок СУБД мигрировать.

Если у кого есть что высказать по этому поводу в сторону
производительности, я бы и послушал, и поучавствовал.
Как я понимаю, проблема во всей теме то одна.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 07:59

Andrey N. Oktyabrski писал(а):Медленный он на запись.
Ну если не хочется платить за ПО, то как вариант использовать инфинибенд. Будет все очень быстро, проверено.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 08:04

ne0n писал(а):производительности, я бы и послушал, и поучавствовал.
Как я понимаю, проблема во всей теме то одна.
мне так кажется либо шашечки, либо ехать. Несколко лет назад я собирал стенд из двух машин, одна в 836-м кузове с 16-ю САТА дисками, вторая 6015-я платформа. Диски с 836-го подключал к 6015-й через инфинибенд по NFS. Мерял производительность на запись и чтение иометром. Разница на обоих платформах получалась в пределах погрешности в 1-2%.
Так что ИМХО либо платить за софт, либо за железо. И не известно что дороже. Посмотрел как это организовано на Солярке, одна фигня, тот же VFS, платный.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 06 ноя 2008, 10:32

Stranger03 писал(а):
Andrey N. Oktyabrski писал(а):Медленный он на запись.
Ну если не хочется платить за ПО, то как вариант использовать инфинибенд. Будет все очень быстро, проверено.
Что есть "инфинибенд"? Физическое соединение.  Такое же как FC & ethernet. Я о другом.
Диски с 836-го подключал к 6015-й через инфинибенд по NFS. Мерял производительность на запись и чтение иометром. Разница на обоих платформах получалась в пределах погрешности в 1-2%.
А к трём-четырём тем же способом подключить те же диски тем же NFS? И померять скорость параллельной записи на одну ФС с нескольких машин.
Если у кого есть что высказать по этому поводу в сторону
производительности, я бы и послушал, и поучавствовал.
В сторону производительности, или в сторону failover?

Failover прекрасно работает в санкластере - с NFS, MySQL, PostgreSQL. Но это только отказоустойчивость: работает одна машина, если с ней что-то случилось, сервис запускается на другой.

Если надо распределить нагрузку, санкластер не подойдёт, потому что это HA cluster. Распределять нагрузку можно только средствами софта. Для баз данных это репликация, partitioning и пулеры/балансировщики. Для файловых систем это кластерные ФС, среди которых пока нет ничего бесплатного под солярку. Точнее, есть, но для схемы
N storage servers -> N application servers
(Distributed file systems, файловая система размазана по дискам нескольких машин - glusterfs, gfarm, ...),
а не для
1 storage -> N servers
(Shared disk file systems, несколько машин пользуются логическим диском на одном сторадже - их я перечислил раньше почти все).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 10:45

Andrey N. Oktyabrski писал(а):А к трём-четырём тем же способом подключить те же диски тем же NFS? И померять скорость параллельной записи на одну ФС с нескольких машин.
Да без разницы сколько машин подключать. Само собой от количества подключенных машин будет зависеть скорость доступа к дисковой. Я же говорю о том, что производительность тома, подключенного через NFS + Infiniband очень сильно близка к производительности внутренней дисковой системы (как если бы она была прямо внутри сервера). Погрешность в пределах 1-2%.
Подключение же через IPoINf.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 06 ноя 2008, 11:21

Stranger03 писал(а):
Andrey N. Oktyabrski писал(а):А к трём-четырём тем же способом подключить те же диски тем же NFS? И померять скорость параллельной записи на одну ФС с нескольких машин.
Да без разницы сколько машин подключать.
Не верю (с). Нужны убедительные доказательства в виде результатов тестирования параллельной записи. Иначе мне трудно поверить в эти чудеса, которые столь явно противоречат тому, что я вижу своими глазами.
Stranger03 писал(а):Само собой от количества подключенных машин будет зависеть скорость доступа к дисковой. Я же говорю о том, что производительность тома, подключенного через NFS + Infiniband очень сильно близка к производительности внутренней дисковой системы (как если бы она была прямо внутри сервера). Погрешность в пределах 1-2%.
Подключение же через IPoINf.
Ещё раз уточню: доступ был монопольный? ОДНА ОС была клиентом для сервера NFS. Если так, пример не соответствует моим потребностям.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 13:59

Andrey N. Oktyabrski писал(а):Не верю (с). Нужны убедительные доказательства в виде результатов тестирования параллельной записи.
Андрей, ну вы же умный человек, попросите моих коллег московских, пусть для вас сделаю стенд, дадут вам доступ на тестировании. Не? Я писал о том, что получил сам, лично. Не хотите, не верьте,  :roll:

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 06 ноя 2008, 14:17

Я вот этому не верю: "Да без разницы сколько машин подключать".

Зачем же я кого-то напрягать буду со стендом, если покупать infiniband hardware всё равно не буду :-) Мне и на кластерную ФС денег не дают нихрена :-(

Я же не спорю - чем быстрее линк, тем быстрее байтики бегают. Я могу ускорить NFS, пустив его через выделенный коммутатор. Могу cachefs использовать. Но от блокировок я никуда не денусь при этом. И от пересылки метаданных по сети - тоже. Ну не та это архитектура, которая позволит мне шареным диском пользоваться как локальным. При всём уважении к Вам, infiniband и nfs :-)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 06 ноя 2008, 14:40

Да собственно говоря, от блокировок Вы никуда не денетесь и на шареной ФС. Просто вопрос степени тормозов.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 15:23

Andrey N. Oktyabrski писал(а):Я вот этому не верю: "Да без разницы сколько машин подключать".
Ну все-таки весь вопрос в цене, разве нет? ИМХО мы приходим к тому, что дешево это не делается, а на дорого вам денег не дают. Тупик однако. Хотя, я бы наверное еще посоветовал написать на опеннете. Там очень много толковых ребят тусуется. В раздел юникосв. Может они что посоветуют.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 06 ноя 2008, 18:19

gs писал(а):Да собственно говоря, от блокировок Вы никуда не денетесь и на шареной ФС. Просто вопрос степени тормозов.
Только они там немножко по другому сделаны.
Ну все-таки весь вопрос в цене, разве нет? ИМХО мы приходим к тому, что дешево это не делается, а на дорого вам денег не дают.
Всё правильно. Вот и сделали на коленке. И работать так будет, пока денег не выделят. Или пока халявной QFS не будет :-)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 06 ноя 2008, 19:23

Andrey N. Oktyabrski писал(а):Всё правильно. Вот и сделали на коленке. И работать так будет, пока денег не выделят. Или пока халявной QFS не будет :-)
Или пока все это не рухнет в один прекрасный день, а на восстановление уйдет недели 2-3. Впрочем здесь есть и плюс, вы привязываете работодателя к себе,  :wink:

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 07 ноя 2008, 08:36

Дык, плюс огромный :-) И он не в том, что я кого-то к себе привязываю. А в том, что если рухнет, деньги найдутся махом. Просто необходимость сразу станет очевидной.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 07 ноя 2008, 11:47

Andrey N. Oktyabrski
Дык может диверсию устроить? А то вон у меня на старой работе два юнисковых сервера работали не выключаясь с 2000-го года. На старом допотопном железе. Иногда перегружаясь. Все думал когда ж они сдохнут. Только пару недель назад позвонили, спросили че делать, не работает нифига,  :roll:

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей