hadoop: методы backup'a

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Аватара пользователя
skeletor
Advanced member
Сообщения: 86
Зарегистрирован: 19 май 2008, 13:45
Откуда: Kiev
Контактная информация:

hadoop: методы backup'a

Сообщение skeletor » 15 май 2015, 11:10

Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 15 май 2015, 13:49

skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, :).
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
skeletor
Advanced member
Сообщения: 86
Зарегистрирован: 19 май 2008, 13:45
Откуда: Kiev
Контактная информация:

Re: hadoop: методы backup'a

Сообщение skeletor » 15 май 2015, 20:58

Stranger03 писал(а):
skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, :).
Конкретно вас, агрессора, я о помощи не просил :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 27 май 2015, 10:21

skeletor писал(а):Конкретно вас, агрессора, я о помощи не просил :)
:lol: :lol: :lol: :lol: :lol:
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 28 май 2015, 09:18

skeletor писал(а):Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
Как я понимаю, хочется бесплатного решения? Нечто вроде Семантека?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
skeletor
Advanced member
Сообщения: 86
Зарегистрирован: 19 май 2008, 13:45
Откуда: Kiev
Контактная информация:

Re: hadoop: методы backup'a

Сообщение skeletor » 28 май 2015, 09:23

В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 28 май 2015, 09:37

skeletor писал(а):В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html
Восстанавливать пробовали?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
skeletor
Advanced member
Сообщения: 86
Зарегистрирован: 19 май 2008, 13:45
Откуда: Kiev
Контактная информация:

Re: hadoop: методы backup'a

Сообщение skeletor » 28 май 2015, 10:19

Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 28 май 2015, 11:01

skeletor писал(а):Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).
Ну я на своей практике видел столько падений самых разных систем, что ничто меня не убедит в отсутствии необходимости бекапа, :mrgreen:
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 28 май 2015, 11:02

skeletor
Да и изначальный вопрос был в бекапе схд, а не в построении кластера
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
skeletor
Advanced member
Сообщения: 86
Зарегистрирован: 19 май 2008, 13:45
Откуда: Kiev
Контактная информация:

Re: hadoop: методы backup'a

Сообщение skeletor » 28 май 2015, 11:04

Нет. Изначальный вопрос был в дублировании слабого звена - NFS. Это как раз и является единой точкой отказа. Все остальные узлы - задублированы.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: hadoop: методы backup'a

Сообщение Stranger03 » 28 май 2015, 11:14

Ну это не я писал, да и тема "методы бекапа". Ну ладно, не суть, все равно ж я агрессор, :mrgreen:
skeletor писал(а):Как можно бэкапить/дублировать это хранилище?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей