Stornext perfomance tuning

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Даркыч
Junior member
Сообщения: 12
Зарегистрирован: 15 мар 2004, 16:50
Откуда: Альметьевск
Контактная информация:

Stornext perfomance tuning

Сообщение Даркыч » 22 окт 2008, 23:24

Люди есть кто тюнинговал систему на предмет производительности и использования вкусностей -вроде QOS ?Есть куча вопросов а задать  некому :(

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Stornext perfomance tuning

Сообщение Stranger03 » 23 окт 2008, 08:58

Даркыч писал(а):Есть куча вопросов а задать  некому :(
Может продавцу?

Даркыч
Junior member
Сообщения: 12
Зарегистрирован: 15 мар 2004, 16:50
Откуда: Альметьевск
Контактная информация:

Сообщение Даркыч » 23 окт 2008, 14:20

Продавец не может на них ответить ... ;(А есть ли какой либо сервисный центр по quantum в России?

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 30 окт 2008, 13:02

Во, на ловца и зверь бежит... :-) Я недавно заинтересовался StorNext, хочу узнать на неё цену. Quantum не ответил на запрос, какой-то дистрибутер в России тоже не ответил. Вы, простите за нескромный вопрос, где покупали? Можете контакты дать?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 31 окт 2008, 19:13

А Вам-то зачем? Под солярку есть и другие варианты.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 01 ноя 2008, 10:21

Огласите весь список пжалста (с) :-)

Из того, что мне известно:
1. Veritas CFS - порядка $5000 на узел минимально.
2. DataPlow SFS - $4000 на узел фиксированно.
3. QFS-4 - $8000 на 8 или 16 узлов.
4. QFS-5 - халява, но в будущем.
5. StorNext - пока не удалось выяснить сколько стоит.

Идеальный вариант - (2), но на него начальство жмётся.

Да, есть ещё люстра, но это не совсем то, что надо, и ещё более отдалённая перспектива чем QFS-5.

Что я упустил? Нужна именно shared filesystem (SAN FS), а не distributed (типа glusterfs, gfarm и т.п.).

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 01 ноя 2008, 10:25

Да, есть ещё global mount by suncluster, но это затычка для того, чтобы данные не попортились, если две машины удумают писать одновременно на общую ФС. По производительности это ничем не лучше NFS.

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 01 ноя 2008, 18:02

Andrey N. Oktyabrski писал(а):Да, есть ещё global mount by suncluster,  По производительности это ничем не лучше NFS.
Чуть лучше. pxfs реализован похожим на NFS, но за счёт работы в одном кластере использует когерентный кеш на "клиенте", а трафик данных передаётся по интерконнекту, быстрее чем просто ethernet за счёт работы паралелльных линков.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 01 ноя 2008, 18:13

Мы одному клиенту влепили приличный нетапп с НФС под мощнейший почтарь (несколько коммунигейтов). Ну так он по банальному эзернету 9000иопс выдает. Так что не так страшен билл, как его клинтон.
В конце концов можно шлюзовой сервачок из файбера в 10Гбит поставить.

Мне просто кажется, что с появлением 10Гбит, его простотой и  ценником, все эдики с санболиками и прочими джипиэфэсами могут пойти лесом.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 01 ноя 2008, 18:36

CrazyFrog писал(а):
Andrey N. Oktyabrski писал(а):Да, есть ещё global mount by suncluster,  По производительности это ничем не лучше NFS.
Чуть лучше. pxfs реализован похожим на NFS, но за счёт работы в одном кластере использует когерентный кеш на "клиенте", а трафик данных передаётся по интерконнекту, быстрее чем просто ethernet за счёт работы паралелльных линков.
Согласен, чуть лучше. Но того же класса решение. Параллельной записи выдерживает не много.

Мне, кстати, интересно, возможно ли выдрать pxfs из open ha cluster и попользоваться им без санкластера? Потому как оный санкластер в полном объёме такие корки отмачиват временами, что ну его нафиг :-( Опять же, много мусора он за собой тащит по зависимостям.
Мы одному клиенту влепили приличный нетапп с НФС под мощнейший почтарь (несколько коммунигейтов). Ну так он по банальному эзернету 9000иопс выдает. Так что не так страшен билл, как его клинтон.
В конце концов можно шлюзовой сервачок из файбера в 10Гбит поставить.

Мне просто кажется, что с появлением 10Гбит, его простотой и  ценником, все эдики с санболиками и прочими джипиэфэсами могут пойти лесом.
Не пойдут. Это вещи перпендикулярные. Не вся софтинка (мягко говоря не вся) дружит с NFS и подобными. Коммунигейт под это хорошо заточен, но при его цене это и неудивительно :-) Он, кстати, и без общей ФС прекрасно масштабируется, насколько я помню (могу ошибаться, давно на него не заглядывался).

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 01 ноя 2008, 18:40

А что за задача-то?

В принципе, я как раз веритас и имел в виду в том посте. По крайней мере с поставками все нормально, да и с саппортом будет получше, чем у эдика.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 02 ноя 2008, 11:07

Основная задача примерно так выглядит. Есть вебсервер, принимающий порядка 10 млн. запросов в сутки. Физически он состоит из фронтенда (nginx) и нескольких разных бакендов (php, самописная cms, несколько перловых - все fastcgi приложения).

Поскольку каждый сайт размазан по нескольким машинам, необходимо иметь некое общее хранилище для статических файлов, кэшей, сессий, аплоадов и т.п. Сейчас работает NFS, но все проблемы она решить не может. Поэтому в каждом конкретном случае изворачиваемся по-разному. Слишком много сложностей и слишком большой зоопарк.  Была бы кластерная ФС, всё это добро удалось бы унифицировать. Кроме того, многие другие задачи, не связанные с работой вебсервера напрямую, имели бы гораздо более простое решение. Например, сейчас логи копируются посредством rsync с нескольких серверов на один, там объединяются и анализируются. Вполне логично заменить rsync на кластерную ФС. Примерно так же организован бэкап, только там в качестве транспорта ssh.

Veritas - вещь хорошая, удобная и качественная. Но высочайшее начальство не готово платить за софт деньги, бОльшие чем за железо. Да, блин, какой там веритас, если под предлогом финансового кризиса зарплаты всем порезали, того и гляди вообще работу искать придётся :-(

Прошу прощения за необразованность - что есть "эдик"?

ne0n
Junior member
Сообщения: 5
Зарегистрирован: 03 ноя 2008, 18:29
Откуда: Kiev

Сообщение ne0n » 03 ноя 2008, 19:33

Имею похожую задачу.

Задача была построить несколько идентичных веб серверов с общим
хранилищем, в которое динамически генерится контент с отдельно стоящих приложений (они же и бакенды к апачам).

Решение напросилось само собой, из подручных средств:
две ноды под соляркой на Sun Fire T1000
сторейдж от Infortrend со SCSI хост-шиной.
тут уже упомянутый global mount ufs

Вобщем, теперь ногти грызу.
если вливание больших файлов на этот общий сторейдж достаточно шустрый, то производительность rsync на запись на нем с пачкой несколькокилобайтных файлов просто уводит в ступор (5мег/50сек),
в сравнении с локальным веником в 4-5 раз медленнее.

Теперь не могу понять, толи так и должно быть, о чем в доке умалчивают, толи это исключительно моя проблема. Учитывая также, что в этих делах совсем еще зеленый.

По поводу веритаса, в каком-то сановском документе встретил
что для производительности не имеет значения, будет это сановский или веритасовский волум менеджер. Вобщем порубало всю надежду на корню.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 05 ноя 2008, 16:08

По поводу веритаса - мы не про то. Мы про Veritas Cluster Filesystem, не про Storage Foundation Basic.

А по сути проблемы - да, я именно об этом:
http://en.wikipedia.org/wiki/List_of_fi ... le_systems

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 05 ноя 2008, 16:39

Andrey N. Oktyabrski
Ну здесь либо шашечки либо ехать. А чем NFS не устраивает? Почему не выделить один сервер со стораджем и раздать его ресурсы по NFS? За него денег не попросят.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей