hadoop: методы backup'a
Модераторы: Trinity admin`s, Free-lance moderator`s
- skeletor
- Advanced member
- Сообщения: 86
- Зарегистрирован: 19 май 2008, 13:45
- Откуда: Kiev
- Контактная информация:
hadoop: методы backup'a
Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, .skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
- skeletor
- Advanced member
- Сообщения: 86
- Зарегистрирован: 19 май 2008, 13:45
- Откуда: Kiev
- Контактная информация:
Re: hadoop: методы backup'a
Конкретно вас, агрессора, я о помощи не просилStranger03 писал(а):Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, .skeletor писал(а):Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
skeletor писал(а):Конкретно вас, агрессора, я о помощи не просил
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
Как я понимаю, хочется бесплатного решения? Нечто вроде Семантека?skeletor писал(а):Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.
- skeletor
- Advanced member
- Сообщения: 86
- Зарегистрирован: 19 май 2008, 13:45
- Откуда: Kiev
- Контактная информация:
Re: hadoop: методы backup'a
В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
Восстанавливать пробовали?skeletor писал(а):В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html
- skeletor
- Advanced member
- Сообщения: 86
- Зарегистрирован: 19 май 2008, 13:45
- Откуда: Kiev
- Контактная информация:
Re: hadoop: методы backup'a
Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
Ну я на своей практике видел столько падений самых разных систем, что ничто меня не убедит в отсутствии необходимости бекапа,skeletor писал(а):Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
skeletor
Да и изначальный вопрос был в бекапе схд, а не в построении кластера
Да и изначальный вопрос был в бекапе схд, а не в построении кластера
- skeletor
- Advanced member
- Сообщения: 86
- Зарегистрирован: 19 май 2008, 13:45
- Откуда: Kiev
- Контактная информация:
Re: hadoop: методы backup'a
Нет. Изначальный вопрос был в дублировании слабого звена - NFS. Это как раз и является единой точкой отказа. Все остальные узлы - задублированы.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: hadoop: методы backup'a
Ну это не я писал, да и тема "методы бекапа". Ну ладно, не суть, все равно ж я агрессор,
skeletor писал(а):Как можно бэкапить/дублировать это хранилище?
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 17 гостей