Поделитесь опытом установки Lustre пожалуйста.

Модераторы: Trinity admin`s, Free-lance moderator`s

nester
Junior member
Сообщения: 17
Зарегистрирован: 22 ноя 2004, 11:13

Поделитесь опытом установки Lustre пожалуйста.

Сообщение nester » 03 дек 2004, 19:16

В общем есть два сервера под sles 9.0 (suse enterprise)
есть в их поставки люстра лайт, поставил. Есть внешний рэйд. Он подключен к обоим серверам. Виден он через /dev и можно маунтить.
подключен он через FC. Пульсовый кабель(он же хербитовый:)) кинут между серверами, у каждого сервера по два FC кабеля к серверу и соответствено по две FC карты для отказоустойчивости.
Вот как бы это теперь работать заставить?
Прочел доку по люстре, примеры посмотрел. Но так и не понял, как настроить ее чтобы иметь совместный доступ к внешнему рэйду(ну доступ то и так есть, но то что пишешь на рэйд на одном серваке, не видно на другом до перезагрузки. Также было бы неплохо фэйловер настроить чтобы вторая карточка подхватывалась автоматически если гробиться первая.
Может у кого есть русская дока?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 06 дек 2004, 00:10

Вы лучше расскажите, что должно получиться в результате? Какое ПО должно заработать? Что Вы вообще хотите настроить. (Или это все чисто академический интерес?)
Например (если я что-то понимаю), для того чтобы второй сервер мог писать на общее дисковое пространство, используя Lustre, он должен иметь доступ к MDS и OST, но не к самому физическому носителю...
HA на уровне FC HBA обычно обеспечивается либо драйверами HBA, либо ПО производителя дисковой системы. Вы не указали ни тех, ни других...

nester
Junior member
Сообщения: 17
Зарегистрирован: 22 ноя 2004, 11:13

Сообщение nester » 06 дек 2004, 11:13

Стоят два сервера дуал оптерон под SLES9
Внешний рэйд Xyratec 4200 StingRAID.
Подключен рэйд к обоим. С обоих маунтится и туда пишеться свободно. Но есть одна незадачка, то что я пишу на одном сервере, не видно со второго, пока второй не перезагрузишь. Я так понял пока не перечитается содержимое диска, второй сервер не увидит что пишет первый и наоборот.
Что будет делаться: писаться с обоих серверов на рэйд очень активно, причем оба сервера одинаковых, выполняют одну и ту же задачу, если один умерает, то кластер в целом продолжает работать с половиной мощности. Дисковые операции частые, очень много операций как чтения так и писания нового так и изменения существующего.
Какое ПО - заработало? - очень своеобразное, написанное в единичном экземпляре, объяснять как работает долго, но основную идею сказал - много разнообразных дисковых операций.
Производитель посоветовал поставить любое кластерное ПО, в частности намекнул что в SLES есть люстра.
В люстре сказано что все части люсты(MDS, OST ...) могут стоять сразу на одном сервере.
Нужно:
Сделать так чтобы оба сервера видели изменения другого. При этом серверы должны бить с этой точки зрения абсолютно симметричными, даун одного не должен влиять на второй никак (ПО которое будет работать на нем это реализовывает со своей стороны)

Помогите пожалуйста расшарить рэйд на два сервера чтобы работало нормально

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 06 дек 2004, 12:25

Честно говоря с люстрой кроме как на картинках не знаком.
А вот GFS в рэдхате работает. По крайней мере один клиент его эксплуатирует в промышленном масштабе (полтора десятка серверов).

nester
Junior member
Сообщения: 17
Зарегистрирован: 22 ноя 2004, 11:13

Сообщение nester » 06 дек 2004, 13:28

:(((( GFS я попробовал поставить под SLES9x64, ноооооо, безрезультатно.... не компиляется, порылся по форумам, не нравиться что-то вроде ему 64битное ядро, точнее он не может понять какого размера те или иные переменные в исходних, копнул дальше, в общем его нужно переписывать как я понял чтобы он компилялся под 64бита. У меня конечно мания величия изрядная, но не на столько чтобы возомнить себя класным с-программером чтобы взять бах и переписать его под SLES9x64. Зато я нашел поддержку у SuSE. Дали 30 дней бесплатно, о результатах сюда напишу, если получиться, но если кто вдруг знает, пишите сюда, очень буду благодарен, закажу пива тому, кто дельныей совет даст, если скажете как заказать вам его онлайн:)))
P.S. про пиво не прикол

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 06 дек 2004, 14:20

Ууу! Вам еще и 64бит подавай!
Имхо граблей немеряно :(
Эксперименты на себе в чистом виде!

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 06 дек 2004, 15:53

nester писал(а):Стоят два сервера дуал оптерон под SLES9
Внешний рэйд Xyratec 4200 StingRAID.
Подключен рэйд к обоим. С обоих маунтится и туда пишеться свободно. Но есть одна незадачка, то что я пишу на одном сервере, не видно со второго, пока второй не перезагрузишь. Я так понял пока не перечитается содержимое диска, второй сервер не увидит что пишет первый и наоборот.
Нет. Так делать в принципе нельзя. То, что до сих пор файловая система не встала в интересную позу - это Вам просто повезло.
nester писал(а):Что будет делаться: писаться с обоих серверов на рэйд очень активно, причем оба сервера одинаковых, выполняют одну и ту же задачу, если один умерает, то кластер в целом продолжает работать с половиной мощности. Дисковые операции частые, очень много операций как чтения так и писания нового так и изменения существующего.
Какое ПО - заработало? - очень своеобразное, написанное в единичном экземпляре, объяснять как работает долго, но основную идею сказал - много разнообразных дисковых операций.
Производитель посоветовал поставить любое кластерное ПО, в частности намекнул что в SLES есть люстра.
В люстре сказано что все части люсты(MDS, OST ...) могут стоять сразу на одном сервере.
Нужно:
Сделать так чтобы оба сервера видели изменения другого. При этом серверы должны бить с этой точки зрения абсолютно симметричными, даун одного не должен влиять на второй никак (ПО которое будет работать на нем это реализовывает со своей стороны)
Давайте начнем издалека. Как Ваше ПО понимает, что файлы данных обновились?
Lustre хороша (относительно), когда у Вас есть пара дисковых массивов и сотня клиентских машин, которым нужно иметь доступ к данным. А в Вашей ситуации от нее толку не густо. MDS и OST могут стоять на одном хосте, но не на двух сразу. Т.е. второй хост можно вообще отключать от дисковой системы.

nester
Junior member
Сообщения: 17
Зарегистрирован: 22 ноя 2004, 11:13

Сообщение nester » 06 дек 2004, 19:26

оно не понимает что файл изменился, просто сбрасывает кэш статуса и перечитывает заново напрямую, ПО такое, что оба сервера сразу не могут обратиться к файлу одновременно, но при этом любой из серверов в любой момент может менять добовлять файлы, но опять же не одновременно, и в следующую секунду может другой обратиться к тому же файлу. Если запускать ПО на одной машине типа как вроде сразу на нескольких(можно так), то все работает ок, ПО видет что размер файла изменился или к примеру атрибуты.
А если на разных серверах и хранить на рэйде - то даже сам линух не видет изменений, а ПО спрашивает у линуха

Shapa
Junior member
Сообщения: 4
Зарегистрирован: 09 мар 2005, 05:20
Контактная информация:

Сообщение Shapa » 09 мар 2005, 05:25

сорри что вмешиваюсь ;)
но возможно кому-то поможет
1) GFS под 64 бита собрал, проблемы все победил ;) (именно SuSE 9 64)
2) Работает без проблем - серваков под 100, некоторые по FC некоторые по iSCSI подключены к HP EVA3000

Конфигурация довольно злая вышла ну да что же делать :)

p.s. 2gs - пессемист ;)
между тем как GFS оказался далеко не так плох как я о нем думал :)
скажем так - по FC работает на полной скорости - 25 мегов чтение + 25 запись - что есть практически полная скорость 2-х гигабит - я даже не ожидал что замедление такое слабое будет
Правда конечно на миллионах мелких файлов заметно уступает другим коммерческим файлухам - ну да блин платить за лицензию на 100 машин 140 тыс уе - это тоже надо сиильно подумать...

nester
Junior member
Сообщения: 17
Зарегистрирован: 22 ноя 2004, 11:13

Сообщение nester » 09 мар 2005, 09:07

Спасибо большое, но я давно уже снес SuSE и поставил RHEL 3 а кой где RHEL4. и туда поставил RH Cluster Suite.
Все пока работает.......

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 09 мар 2005, 11:44

Ну да, я пессимист - просто битый воробей уже :)

Но я не очень понял насчет 25+25МБ/с. Это весьма далеко от скорости канала. По крайней мере я видел самолично (на других аппаратах) по 190МБ/с линейного потока с каждого порта. Причем на линейных потоках замедления (в случае Tivoli SANergy, Sanbolic MelioFS) вообще нет. На мелких файлах - да, проседает в разы конечно.
Может просто ЕВА больше не дает?

Shapa
Junior member
Сообщения: 4
Зарегистрирован: 09 мар 2005, 05:20
Контактная информация:

Сообщение Shapa » 10 мар 2005, 05:15

на больших линейных файлах - конечно скорость сильно выше
как минимум 60 на чтение и 60 на запись - копирую файл просто внутри диска ;)
надо кстати проверить - на гигабите завелось или на 2-х

OlegP@
Advanced member
Сообщения: 184
Зарегистрирован: 19 май 2003, 20:26
Откуда: Челябинск

Сообщение OlegP@ » 10 мар 2005, 07:33

Shapa
А как iSCSI к EVA подключен?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 мар 2005, 10:57

Через сиську наверно...

Есть кстати интересный вариант - софтина FalconStor iSCSI Server. Катается на обычную машину и становится шлюзом iSCSI во что угодно. И стоит разумно.

a.salnikov
Power member
Сообщения: 45
Зарегистрирован: 04 ноя 2004, 06:05
Откуда: Новокузнецк

Сообщение a.salnikov » 28 окт 2005, 05:36

Здравствуйте. Поделитесь RH Cluster Suite пожалуйста. Дайте ссылку где скачать.

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей