Stornext perfomance tuning

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 07 ноя 2008, 12:54

Не, это не наш стиль :-) Диверсии - диверсантам. А моё дело маленькое - сказать, что надо, сколько стоит, и предупредить, что если оный предмет не появится, всё "неожиданно" накроется как минимум медным тазом примерно к такому-то сроку. И всё, моя совесть чиста, можно требовать бОльшую зарплату за бОльшее количество телодвижений для выполнения текущих задач.

ne0n
Junior member
Сообщения: 5
Зарегистрирован: 03 ноя 2008, 18:29
Откуда: Kiev

Сообщение ne0n » 11 ноя 2008, 14:07

Если у кого есть что высказать по этому поводу в сторону
производительности, я бы и послушал, и поучавствовал.
В сторону производительности, или в сторону failover?

Failover прекрасно работает в санкластере - с NFS, MySQL, PostgreSQL. Но это только отказоустойчивость: работает одна машина, если с ней что-то случилось, сервис запускается на другой.

Если надо распределить нагрузку, санкластер не подойдёт, потому что это HA cluster. Распределять нагрузку можно только средствами софта. Для баз данных это репликация, partitioning и пулеры/балансировщики. Для файловых систем это кластерные ФС, среди которых пока нет ничего бесплатного под солярку. Точнее, есть, но для схемы
N storage servers -> N application servers
(Distributed file systems, файловая система размазана по дискам нескольких машин - glusterfs, gfarm, ...),
а не для
1 storage -> N servers
(Shared disk file systems, несколько машин пользуются логическим диском на одном сторадже - их я перечислил раньше почти все).
Вопрос, собственно, задавал о производительности файловой системы. Она то как-раз меня очень сильно и интересовала.  С производительностью, фейловерами и масштабируемостью БД ничего не обсуждалось. Хотя за разъяснение и реккомендации признателен.

На своем доморощенном кластере в качестве файловой используется система UFS с global mount опцией. Как раз случай, shared disk file system, под солярис, и похоже бесплатно. Вопрос с производительностью этой ФС для меня стал очень остро, т.к. собирался в SUN HA Cluster переносить мастер MySQL. Реплики, балансировки, все это худо-бедно есть. Где худо, где бедно :) но оно работает, за мастера однако переживаю.

Хорошо бы, если бы все данные в памяти помещались, можно было бы про файловую систему и забыть, если не полностью, то почти. Да размерчики не те.

Вот и думаю, толи лечить UFS global на предмет производительности, толи искать другую ФС. А раз последнее, надо же и параметры какие-нибудь знать, за что собственно бабки отваливать.

ne0n
Junior member
Сообщения: 5
Зарегистрирован: 03 ноя 2008, 18:29
Откуда: Kiev

Сообщение ne0n » 11 ноя 2008, 14:24

Если кому интересно.

Узнавал в ирке у владельцев подобного кластера, говорят от локального диска практически не отличается, циферьки показывали. В сравнении с моим случаем, просто песня. У меня на кластерной ФС хуже в 5-10 раз.  Однако железки у ребят другие.

На первый взгляд, это достаточно жизнеспособный вариант кластерной ФС для shared еще и "нашару".

Трассировка показала, что системные вызовы касающиеся обработки дескрипторов, т.к. pollsys, close, stat, etc. не просто медленные, а очень медленные. По пол секунды на закрытие файла - это, я даже не знаю, как назвать.

При переливании файлов rsync'ом на кластерную ФС возрастает трафик на интерконектах. Первое, что на ум пришло, что ноды при закрытии файла решают этот вопрос между собой через интерконнекты. Пробовал укладывать одну из нод, пробовал разные опции при маунте, толку мало. Хотя изменения были, скажем, forcedirectio улучшает ситуацию на десяток процентов.

Есть реккомендации по тюнингу интерконектов, но все они касаются интерфейсов ipge, ce. А у меня банальный bge, и тюнингу не поддается.

Видать, с железом все таки не вышел.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 11 ноя 2008, 14:25

Параметры не спасут. Такие вещи дают тестировать перед покупкой. Мне DataPlow готов свою SFS дать на 4 месяца просто поиграться. Причём, я их не просил об этом, предложили как само собой разумеющееся.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 11 ноя 2008, 14:56

При переливании файлов rsync'ом на кластерную ФС возрастает трафик на интерконектах. Первое, что на ум пришло, что ноды при закрытии файла решают этот вопрос между собой через интерконнекты. Пробовал укладывать одну из нод, пробовал разные опции при маунте, толку мало. Хотя изменения были, скажем, forcedirectio улучшает ситуацию на десяток процентов.
Там надо проследить, чтобы rsync запускался на том узле, который primary для этого ресурса. Иначе это животное "выливает воду из чайника и сводит задачу к предыдущей" (с) - данные перекачиваются по интерконнекту и пишутся той машиной, которая в данный момент времени пользуется дисковым ресурсом. Там на самом деле узлы не пишут на ФС одновременно. Пишет один, а второму если надо, он просит это сделать первый узел.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 12 ноя 2008, 12:30

Могу много рассказать про файловые системы в том числе кластерные, параллельные и распределённые.
Поскольку сейчас очень занят запуском проекта, не имею возможности расписывать здесь варианты.
дам консультации по телефону +7 812 327 59 60 (доп 206)

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 12 ноя 2008, 13:48

Не, лучше здесь написать, как время будет, чтоб все могли увидеть.

ne0n
Junior member
Сообщения: 5
Зарегистрирован: 03 ноя 2008, 18:29
Откуда: Kiev

Сообщение ne0n » 12 ноя 2008, 22:50

Andrey N. Oktyabrski писал(а):Не, лучше здесь написать, как время будет, чтоб все могли увидеть.
Поддерживаю

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 13 ноя 2008, 00:19

Stranger03 писал(а):производительность тома, подключенного через NFS + Infiniband очень сильно близка к производительности внутренней дисковой системы (как если бы она была прямо внутри сервера).
Нет. Совсем нет. На некоторых операциях разница на порядки и это не сильно зависит от скорости линка.

Например, вон
http://blogs.sun.com/roch/entry/nfs_and_zfs_a_fine

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 13 ноя 2008, 00:25

ne0n писал(а):Вопрос с производительностью этой ФС для меня стал очень остро, т.к. собирался в SUN HA Cluster переносить мастер MySQL.
Тут всё тривиально, для него (и прочих файловер сервисов) не нужна глобальная ФС и потому большинство проблем отпадает. Просто монтировать ФС с mysql без опции global.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 20 ноя 2008, 18:56

прочитал весь тред и не уведел чтобы кто либо сказал про SOFS от IBM (я пока путаюсь в понятиях что у них есть название технологии а что название продукта) я говорю о расшинении самбы допиленное IBM
http://ctdb.samba.org/packages/ibm/SOFS-1.5/
софт лежит на гейтующих серверах,  объединен посредством GPFS  и умеет весьма эффективно (на нынешний день это рекордсмен) отдавать NFS , CIFS (а может и другие протоколы, не помню) шары с виртуального распределённого ip .
я лично видел трансфер в 120МБ/c по CIFS через 1Gbps интерфейсу.

IBM продает это как готовое решение в комплекте с серверами и массивом.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 20 ноя 2008, 18:59

Серега, мы заткнулись после слов о бюджете :)
Но все равно расскажи :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 20 ноя 2008, 19:00

И можно в разделе новостей.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 24 ноя 2008, 10:02

8) с бюджетом там все по взрослому ..., от 200к$
ближайшее время у меня проектик похожий проходить будет, тогда в новостях и напишу.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 17 гостей