GFS кластер

[x-speed]

Всем привет!
Сори что напрягаю вопросом.

Возникла задача отдавать клиентам один сторадж с двух NFS серверов. Для этого  возникла идея юзать  GFS и NFS HA кластер..

По-порядку:

1)Есть полка.
2)Два GFS сервера

Ситуация следущая:

Есть две GFS node с подмапленым к ним диском. (В тестах использую под VmWare  два linux сервера (CentOS 5.1)  c подмапленным персистент диском и в настройках говорю не лочить)
настроил GFS кластер и сказал маунт на обоих нодах.
Когда на первом ноде изменяю   некий тестовый файл test, то на втором ноде вижу что файл изменился только после перемонтирования этой gfs   попробовал в настройках файла (я юзаю gfs2)  сказать
gfs2_tool setflag sync /gfs1/test   В таком случае происходит вообще не обьяснимое  1 изменение файла test синхронизируется на обоих нодах, второе и последующие изменения уже не синхронизируется (

Не подскажете в чем может быть косяк ???  Спасибо!

Если нужны какие либо настройки\подробности все выложу

Еще раз спасибо!

[x-speed]

Может я просто не правильно понимаю как работает GFS ... (


Но основная цель проста :


10 серверов без оптический адаптеров  и их надо подключить к новой полте.

Полка подключается к оптическому свитчу, далее 2 сервера на которых есть FC адаптеры  подключаются к оптическому свитчу.  
На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.

Возможно ли вообще такое ???
Работает ли GFS как простое хранилище файлов ??
Можно ли как-то синхронизировать содержание GFS нодов или это реально сделать только umount / mount партиции

Может есть где-то инфа с удовольствием погулял бы ссылкам !!!
В тех доках что находил, нигде не было ответа но мои вопросы


Заранее спасибо.

[Stranger03]

Может я просто не правильно понимаю как работает GFS ... (

У нас основные гуру по таким вещам Андрей Иванов в Москве и Сергей Тараненко в Питере. Оба сейчас очень сильно заняты несколькими проектами. По возможности ответят, но поймите правильно, .

[x-speed]

Спасибо!  Есь надежда  Буду дальше ботанить.
Борюсь с траблой 4-й день

[gs]

А почему бы просто файлер нетапповский не поставить?
Да и с какой целью GFS? HA кластер и без нее прекрасно управится. Или нагрузка такая чудовищная, что надо балансировать между двумя нодами о четырех (минимум) эзернет стволах каждая? Сомневаюсь я что-то...

[setar]

Значит так, по порядку.
Из описания не очень понял работаем ли мы с двумя виртуалками или двумя железками-серверами.
В случае виртуалок косяк с разделением доступа к FC адаптеру.
Если тестим виртуалки то нужно подцеплять для тестов не полку а виртуальные же образы-хранилища.
Естественно синхронизация должна проходить без перемонтирования.

10 серверов (и более) абсолютно нормально шлюзуются двумя нодами на дисковую полку, такое решение отработано и постоянно используется в кластерах.

На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.

вот это уже не совсем правильно но тоже возможно. по идее все работающие с данными GFS должны быть в связке, от этого скорость работы системы только возрастает. само собой есть условия ограничивающие возможность включения в GFS - например win ОС

Как простое файловое хранилище GFS собственно и работает, никакой  дополнительной синхронизации не нужно.

Из рекомендаций: используйте GLUSTERFS или GPFS (комерческая)

[x-speed]

Спасибо за помощ!!!   Обязательно гляну по  GlusterFS


1) Сейчас тестирую все на вирт. машинах
Есть  2 сервера CentOS 5.1 к которым подключено виртуальное хранилище (ещё один диск) . В настройках вирт. машин сказано чтобы не лочили диски. Диски видны в системе как sdb (в жизни на сколько я знаю будет так же (Сторадж подмапленный через FC определяется как sdb)

пробую и GFS и GFS2  в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта если не тяжело пошлите меня к нужным манам что читать.  единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df  вижу что меняется количество свободного места, а сами данные не вижу до ремаунта

2) А в жизни ситуация след.


Есть 10 ESX серверов без оптических карт.
Есть полка на 10TB скоммутированная в оптический свитч
Есть 2 сервеа с FC and Eth интерфейсами

ESX кушает или NFS или iSCSI или FC(как интерфейс)
Задумка проста хочется чтобы клиенты(ESX servers) могли работать как с Fault_tolerans так и с Loading Balansing.  прото NFS тут не поможет

[gs]

Так зачем лоад балансинг на уровне серверов-то? Неужто одна машина с потребным количеством стволов не управится? А вторая на подхвате (ну или другой лун ей отдать). Я просто пока не очень понимаю смысла в GFS в данном случае - просвятите плиз.

[x-speed]

Сори, какраз писал ответ по поводу балансинга по Вашемо предидущему посту.  Немного не правильно выразился суть в том, чтобы можно было подключится к любому из NFS серверов и получить доступ к стораджу. а если первый отвалился, то подключатся по-второму.
Т.е. реально лун один.

[gs]

НА кластер и так лун перекинет на вторую ноду при сбое первой. Причем даже виндовый

[x-speed]

Это да!

Идея состоит в том что 2 сервера GFS  в кластере, т.е. в идеале полуяается есть возможность писать с любого из нодов в один ЛУН, далее лун на 2-х серверах отдается по NFS .  При этом половина клиентов подключена через 1 NFS к ЛУНУ, а вторая половина к второму NFS и к тому же луну.  И если NFS сервер номер 1 отваливается(он же GFS1), то клиента перекидываются на NFS сервер номер2.  Т.е.  получается конечно не автоматичский лоад балансинг  но что-то на-подобии

[setar]

Идея в параллельной файловой системы не в переходе лунов, они там не переходят никуда, оба сервера работают изначально с одним и тем же луном без локов, блокировки разруливаются самой параллельной файловой системой.

Идея в ускорении засчёт сквозного кеширования и топологии "не звезда" где все в одно узкое горлышко ломятся, а связь всех со всеми, или даже связь с приоритетами основанными на загрузке узла - приоритетная синхронизация ведётся с менее загруженным узлом.

[x-speed]

Спасибо!

А вот по этому поводу нет идей???  Сори, реал не могу найти ответ (

пробую и GFS и GFS2  в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта  если не тяжело пошлите меня к нужным манам что читать.  единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df  вижу что меняется количество свободного места, а сами данные не вижу до ремаунта

[x-speed]

Все, тема закрыта.    в настройках каждой из машин надо было сказать
scsi1:0.shared = "true"