GFS кластер
Модераторы: Trinity admin`s, Free-lance moderator`s
GFS кластер
Всем привет!
Сори что напрягаю вопросом.
Возникла задача отдавать клиентам один сторадж с двух NFS серверов. Для этого возникла идея юзать GFS и NFS HA кластер..
По-порядку:
1)Есть полка.
2)Два GFS сервера
Ситуация следущая:
Есть две GFS node с подмапленым к ним диском. (В тестах использую под VmWare два linux сервера (CentOS 5.1) c подмапленным персистент диском и в настройках говорю не лочить)
настроил GFS кластер и сказал маунт на обоих нодах.
Когда на первом ноде изменяю некий тестовый файл test, то на втором ноде вижу что файл изменился только после перемонтирования этой gfs попробовал в настройках файла (я юзаю gfs2) сказать
gfs2_tool setflag sync /gfs1/test В таком случае происходит вообще не обьяснимое 1 изменение файла test синхронизируется на обоих нодах, второе и последующие изменения уже не синхронизируется (
Не подскажете в чем может быть косяк ??? Спасибо!
Если нужны какие либо настройки\подробности все выложу
Еще раз спасибо!
Сори что напрягаю вопросом.
Возникла задача отдавать клиентам один сторадж с двух NFS серверов. Для этого возникла идея юзать GFS и NFS HA кластер..
По-порядку:
1)Есть полка.
2)Два GFS сервера
Ситуация следущая:
Есть две GFS node с подмапленым к ним диском. (В тестах использую под VmWare два linux сервера (CentOS 5.1) c подмапленным персистент диском и в настройках говорю не лочить)
настроил GFS кластер и сказал маунт на обоих нодах.
Когда на первом ноде изменяю некий тестовый файл test, то на втором ноде вижу что файл изменился только после перемонтирования этой gfs попробовал в настройках файла (я юзаю gfs2) сказать
gfs2_tool setflag sync /gfs1/test В таком случае происходит вообще не обьяснимое 1 изменение файла test синхронизируется на обоих нодах, второе и последующие изменения уже не синхронизируется (
Не подскажете в чем может быть косяк ??? Спасибо!
Если нужны какие либо настройки\подробности все выложу
Еще раз спасибо!
Может я просто не правильно понимаю как работает GFS ... (
Но основная цель проста :
10 серверов без оптический адаптеров и их надо подключить к новой полте.
Полка подключается к оптическому свитчу, далее 2 сервера на которых есть FC адаптеры подключаются к оптическому свитчу.
На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.
Возможно ли вообще такое ???
Работает ли GFS как простое хранилище файлов ??
Можно ли как-то синхронизировать содержание GFS нодов или это реально сделать только umount / mount партиции
Может есть где-то инфа с удовольствием погулял бы ссылкам !!!
В тех доках что находил, нигде не было ответа но мои вопросы
Заранее спасибо.
Но основная цель проста :
10 серверов без оптический адаптеров и их надо подключить к новой полте.
Полка подключается к оптическому свитчу, далее 2 сервера на которых есть FC адаптеры подключаются к оптическому свитчу.
На них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.
Возможно ли вообще такое ???
Работает ли GFS как простое хранилище файлов ??
Можно ли как-то синхронизировать содержание GFS нодов или это реально сделать только umount / mount партиции
Может есть где-то инфа с удовольствием погулял бы ссылкам !!!
В тех доках что находил, нигде не было ответа но мои вопросы
Заранее спасибо.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Значит так, по порядку.
Из описания не очень понял работаем ли мы с двумя виртуалками или двумя железками-серверами.
В случае виртуалок косяк с разделением доступа к FC адаптеру.
Если тестим виртуалки то нужно подцеплять для тестов не полку а виртуальные же образы-хранилища.
Естественно синхронизация должна проходить без перемонтирования.
10 серверов (и более) абсолютно нормально шлюзуются двумя нодами на дисковую полку, такое решение отработано и постоянно используется в кластерах.
Как простое файловое хранилище GFS собственно и работает, никакой дополнительной синхронизации не нужно.
Из рекомендаций: используйте GLUSTERFS или GPFS (комерческая)
Из описания не очень понял работаем ли мы с двумя виртуалками или двумя железками-серверами.
В случае виртуалок косяк с разделением доступа к FC адаптеру.
Если тестим виртуалки то нужно подцеплять для тестов не полку а виртуальные же образы-хранилища.
Естественно синхронизация должна проходить без перемонтирования.
10 серверов (и более) абсолютно нормально шлюзуются двумя нодами на дисковую полку, такое решение отработано и постоянно используется в кластерах.
вот это уже не совсем правильно но тоже возможно. по идее все работающие с данными GFS должны быть в связке, от этого скорость работы системы только возрастает. само собой есть условия ограничивающие возможность включения в GFS - например win ОСНа них средствами GFS создан кластер и далее средствами NFS кластера GFS отдается клиентам.
Как простое файловое хранилище GFS собственно и работает, никакой дополнительной синхронизации не нужно.
Из рекомендаций: используйте GLUSTERFS или GPFS (комерческая)
Спасибо за помощ!!! Обязательно гляну по GlusterFS
1) Сейчас тестирую все на вирт. машинах
Есть 2 сервера CentOS 5.1 к которым подключено виртуальное хранилище (ещё один диск) . В настройках вирт. машин сказано чтобы не лочили диски. Диски видны в системе как sdb (в жизни на сколько я знаю будет так же (Сторадж подмапленный через FC определяется как sdb)
пробую и GFS и GFS2 в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта если не тяжело пошлите меня к нужным манам что читать. единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df вижу что меняется количество свободного места, а сами данные не вижу до ремаунта
2) А в жизни ситуация след.
Есть 10 ESX серверов без оптических карт.
Есть полка на 10TB скоммутированная в оптический свитч
Есть 2 сервеа с FC and Eth интерфейсами
ESX кушает или NFS или iSCSI или FC(как интерфейс)
Задумка проста хочется чтобы клиенты(ESX servers) могли работать как с Fault_tolerans так и с Loading Balansing. прото NFS тут не поможет
1) Сейчас тестирую все на вирт. машинах
Есть 2 сервера CentOS 5.1 к которым подключено виртуальное хранилище (ещё один диск) . В настройках вирт. машин сказано чтобы не лочили диски. Диски видны в системе как sdb (в жизни на сколько я знаю будет так же (Сторадж подмапленный через FC определяется как sdb)
пробую и GFS и GFS2 в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта если не тяжело пошлите меня к нужным манам что читать. единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df вижу что меняется количество свободного места, а сами данные не вижу до ремаунта
2) А в жизни ситуация след.
Есть 10 ESX серверов без оптических карт.
Есть полка на 10TB скоммутированная в оптический свитч
Есть 2 сервеа с FC and Eth интерфейсами
ESX кушает или NFS или iSCSI или FC(как интерфейс)
Задумка проста хочется чтобы клиенты(ESX servers) могли работать как с Fault_tolerans так и с Loading Balansing. прото NFS тут не поможет
Сори, какраз писал ответ по поводу балансинга по Вашемо предидущему посту. Немного не правильно выразился суть в том, чтобы можно было подключится к любому из NFS серверов и получить доступ к стораджу. а если первый отвалился, то подключатся по-второму.
Т.е. реально лун один.
Т.е. реально лун один.
Последний раз редактировалось x-speed 07 май 2008, 15:35, всего редактировалось 1 раз.
Это да!
Идея состоит в том что 2 сервера GFS в кластере, т.е. в идеале полуяается есть возможность писать с любого из нодов в один ЛУН, далее лун на 2-х серверах отдается по NFS . При этом половина клиентов подключена через 1 NFS к ЛУНУ, а вторая половина к второму NFS и к тому же луну. И если NFS сервер номер 1 отваливается(он же GFS1), то клиента перекидываются на NFS сервер номер2. Т.е. получается конечно не автоматичский лоад балансинг но что-то на-подобии
Идея состоит в том что 2 сервера GFS в кластере, т.е. в идеале полуяается есть возможность писать с любого из нодов в один ЛУН, далее лун на 2-х серверах отдается по NFS . При этом половина клиентов подключена через 1 NFS к ЛУНУ, а вторая половина к второму NFS и к тому же луну. И если NFS сервер номер 1 отваливается(он же GFS1), то клиента перекидываются на NFS сервер номер2. Т.е. получается конечно не автоматичский лоад балансинг но что-то на-подобии
Идея в параллельной файловой системы не в переходе лунов, они там не переходят никуда, оба сервера работают изначально с одним и тем же луном без локов, блокировки разруливаются самой параллельной файловой системой.
Идея в ускорении засчёт сквозного кеширования и топологии "не звезда" где все в одно узкое горлышко ломятся, а связь всех со всеми, или даже связь с приоритетами основанными на загрузке узла - приоритетная синхронизация ведётся с менее загруженным узлом.
Идея в ускорении засчёт сквозного кеширования и топологии "не звезда" где все в одно узкое горлышко ломятся, а связь всех со всеми, или даже связь с приоритетами основанными на загрузке узла - приоритетная синхронизация ведётся с менее загруженным узлом.
Спасибо!
А вот по этому поводу нет идей??? Сори, реал не могу найти ответ (
пробую и GFS и GFS2 в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта если не тяжело пошлите меня к нужным манам что читать. единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df вижу что меняется количество свободного места, а сами данные не вижу до ремаунта
А вот по этому поводу нет идей??? Сори, реал не могу найти ответ (
пробую и GFS и GFS2 в связке с lock_dlm при этом синхронизация данных происходит только после ремаунта если не тяжело пошлите меня к нужным манам что читать. единственное дополнение если я копирую что-то на одну из нодов, то на второй gfs_tool df вижу что меняется количество свободного места, а сами данные не вижу до ремаунта
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей