Серверный Форум Тринити

Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, .

Stranger03 писал(а):

skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, .

Конкретно вас, агрессора, я о помощи не просил

skeletor писал(а):Конкретно вас, агрессора, я о помощи не просил

skeletor писал(а):Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Как я понимаю, хочется бесплатного решения? Нечто вроде Семантека?

В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html

skeletor писал(а):В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html

Восстанавливать пробовали?

Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).

skeletor писал(а):Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).

Ну я на своей практике видел столько падений самых разных систем, что ничто меня не убедит в отсутствии необходимости бекапа,

skeletor
Да и изначальный вопрос был в бекапе схд, а не в построении кластера

Нет. Изначальный вопрос был в дублировании слабого звена - NFS. Это как раз и является единой точкой отказа. Все остальные узлы - задублированы.

Ну это не я писал, да и тема "методы бекапа". Ну ладно, не суть, все равно ж я агрессор,

skeletor писал(а):Как можно бэкапить/дублировать это хранилище?