GFS кластер

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

GFS кластер

Сообщение x-speed » 06 май 2008, 11:32

Всем привет!
Сори что напрягаю вопросом.

Возникла задача отдавать клиентам один сторадж с двух NFS серверов. Для этого  возникла идея юзать  GFS и NFS HA кластер..

По-порядку:

1)Есть полка.
2)Два GFS сервера

Ситуация следущая:

Есть две GFS node с подмапленым к ним диском. (В тестах использую под VmWare  два linux сервера (CentOS 5.1)  c подмапленным персистент диском и в настройках говорю не лочить)
настроил GFS кластер и сказал маунт на обоих нодах.
Когда на первом ноде изменяю   некий тестовый файл test, то на втором ноде вижу что файл изменился только после перемонтирования этой gfs :(   попробовал в настройках файла (я юзаю gfs2)  сказать
gfs2_tool setflag sync /gfs1/test   В таком случае происходит вообще не обьяснимое :)  1 изменение файла test синхронизируется на обоих нодах, второе и последующие изменения уже не синхронизируется (

Не подскажете в чем может быть косяк ???  Спасибо!

Если нужны какие либо настройки\подробности все выложу :)

Еще раз спасибо!

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 06 май 2008, 11:51

Может я просто не правильно понимаю как работает GFS ... (


Но основная цель проста :


10 серверов без оптический адаптеров  и их надо подключить к новой полте.

Полка подключается к оптическому свитчу, далее 2 сервера на которых есть FC адаптеры  подключаются к оптическому свитчу.  
На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.

Возможно ли вообще такое ???
Работает ли GFS как простое хранилище файлов ??
Можно ли как-то синхронизировать содержание GFS нодов или это реально сделать только umount / mount партиции

Может есть где-то инфа с удовольствием погулял бы ссылкам !!!
В тех доках что находил, нигде не было ответа но мои вопросы


Заранее спасибо.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 07 май 2008, 07:38

x-speed писал(а):Может я просто не правильно понимаю как работает GFS ... (
У нас основные гуру по таким вещам Андрей Иванов в Москве и Сергей Тараненко в Питере. Оба сейчас очень сильно заняты несколькими проектами. По возможности ответят, но поймите правильно, :).

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 07 май 2008, 12:12

Спасибо!  Есь надежда :)  Буду дальше ботанить.
Борюсь с траблой 4-й день :(

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 07 май 2008, 12:39

А почему бы просто файлер нетапповский не поставить?
Да и с какой целью GFS? HA кластер и без нее прекрасно управится. Или нагрузка такая чудовищная, что надо балансировать между двумя нодами о четырех (минимум) эзернет стволах каждая? Сомневаюсь я что-то...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 07 май 2008, 13:27

Значит так, по порядку.
Из описания не очень понял работаем ли мы с двумя виртуалками или двумя железками-серверами.
В случае виртуалок косяк с разделением доступа к FC адаптеру.
Если тестим виртуалки то нужно подцеплять для тестов не полку а виртуальные же образы-хранилища.
Естественно синхронизация должна проходить без перемонтирования.

10 серверов (и более) абсолютно нормально шлюзуются двумя нодами на дисковую полку, такое решение отработано и постоянно используется в кластерах.
На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.
вот это уже не совсем правильно но тоже возможно. по идее все работающие с данными GFS должны быть в связке, от этого скорость работы системы только возрастает. само собой есть условия ограничивающие возможность включения в GFS - например win ОС

Как простое файловое хранилище GFS собственно и работает, никакой  дополнительной синхронизации не нужно.

Из рекомендаций: используйте GLUSTERFS или GPFS (комерческая)

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 07 май 2008, 15:05

Спасибо за помощ!!!   Обязательно гляну по  GlusterFS


1) Сейчас тестирую все на вирт. машинах
Есть  2 сервера CentOS 5.1 к которым подключено виртуальное хранилище (ещё один диск) . В настройках вирт. машин сказано чтобы не лочили диски. Диски видны в системе как sdb (в жизни на сколько я знаю будет так же (Сторадж подмапленный через FC определяется как sdb)

пробую и GFS и GFS2  в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта :( если не тяжело пошлите меня к нужным манам что читать.  единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df  вижу что меняется количество свободного места, а сами данные не вижу до ремаунта :(

2) А в жизни ситуация след.


Есть 10 ESX серверов без оптических карт.
Есть полка на 10TB скоммутированная в оптический свитч
Есть 2 сервеа с FC and Eth интерфейсами

ESX кушает или NFS или iSCSI или FC(как интерфейс)
Задумка проста хочется чтобы клиенты(ESX servers) могли работать как с Fault_tolerans так и с Loading Balansing.  прото NFS тут не поможет :(

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 07 май 2008, 15:09

Так зачем лоад балансинг на уровне серверов-то? Неужто одна машина с потребным количеством стволов не управится? А вторая на подхвате (ну или другой лун ей отдать). Я просто пока не очень понимаю смысла в GFS в данном случае - просвятите плиз.

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 07 май 2008, 15:33

Сори, какраз писал ответ по поводу балансинга по Вашемо предидущему посту.  Немного не правильно выразился суть в том, чтобы можно было подключится к любому из NFS серверов и получить доступ к стораджу. а если первый отвалился, то подключатся по-второму.
Т.е. реально лун один.
Последний раз редактировалось x-speed 07 май 2008, 15:35, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 07 май 2008, 15:35

НА кластер и так лун перекинет на вторую ноду при сбое первой. Причем даже виндовый :)

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 07 май 2008, 15:40

Это да!

Идея состоит в том что 2 сервера GFS  в кластере, т.е. в идеале полуяается есть возможность писать с любого из нодов в один ЛУН, далее лун на 2-х серверах отдается по NFS .  При этом половина клиентов подключена через 1 NFS к ЛУНУ, а вторая половина к второму NFS и к тому же луну.  И если NFS сервер номер 1 отваливается(он же GFS1), то клиента перекидываются на NFS сервер номер2.  Т.е.  получается конечно не автоматичский лоад балансинг :)  но что-то на-подобии :)

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 07 май 2008, 16:55

Идея в параллельной файловой системы не в переходе лунов, они там не переходят никуда, оба сервера работают изначально с одним и тем же луном без локов, блокировки разруливаются самой параллельной файловой системой.

Идея в ускорении засчёт сквозного кеширования и топологии "не звезда" где все в одно узкое горлышко ломятся, а связь всех со всеми, или даже связь с приоритетами основанными на загрузке узла - приоритетная синхронизация ведётся с менее загруженным узлом.

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 08 май 2008, 10:15

Спасибо!

А вот по этому поводу нет идей???  Сори, реал не могу найти ответ (

пробую и GFS и GFS2  в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта  если не тяжело пошлите меня к нужным манам что читать.  единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df  вижу что меняется количество свободного места, а сами данные не вижу до ремаунта

x-speed
Junior member
Сообщения: 8
Зарегистрирован: 06 май 2008, 11:18
Откуда: Moscow

Сообщение x-speed » 08 май 2008, 15:15

Все, тема закрыта.    в настройках каждой из машин надо было сказать
scsi1:0.shared = "true"

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 8 гостей