Форум Тринити

Открытый технический форум по серверам и системам хранения данных, кластерным решениям, SAN, NAS.
Microsemi infortrend storage
Текущее время: 22 сен 2018, 04:59

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: hadoop: методы backup'a
СообщениеДобавлено: 15 май 2015, 12:10 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 19 май 2008, 13:45
Сообщения: 86
Откуда: Kiev
Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 15 май 2015, 14:49 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor писал(а):
Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, :).

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 15 май 2015, 21:58 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 19 май 2008, 13:45
Сообщения: 86
Откуда: Kiev
Stranger03 писал(а):
skeletor писал(а):
Всем привет.
Планирую поднимать кластер с общим хранилищем для метаданных через nfs, но в данном кластере слабое звено - это как раз NFS. Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Киев, Украина, мы ж для вас заклятые враги, агрессоры так сказать, :).

Конкретно вас, агрессора, я о помощи не просил :)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 27 май 2015, 11:21 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor писал(а):
Конкретно вас, агрессора, я о помощи не просил :)

:lol: :lol: :lol: :lol: :lol:

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 10:18 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor писал(а):
Как можно бэкапить/дублировать это хранилище? Rsync+inotify может не спасти, так как там данные в бинарном формате.

Как я понимаю, хочется бесплатного решения? Нечто вроде Семантека?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 10:23 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 19 май 2008, 13:45
Сообщения: 86
Откуда: Kiev
В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 10:37 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor писал(а):
В общем случае да. Проблему решил методом дублирования NameNode, ResMan с использованием журнала. Конкретно так:
http://hadoop.apache.org/docs/r2.7.0/ha ... thQJM.html
http://hadoop.apache.org/docs/r2.7.0/ha ... gerHA.html

Восстанавливать пробовали?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 11:19 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 19 май 2008, 13:45
Сообщения: 86
Откуда: Kiev
Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 12:01 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor писал(а):
Это не бэкап, а что-то наподобии кластера: при отпадании одной NN, RM автоматически выбирается резервный и становится главным. То есть единой точки отказа уже нет. Понятное дело, что там существуют свои ограничения (максимально только 2 NN, 2RM).

Ну я на своей практике видел столько падений самых разных систем, что ничто меня не убедит в отсутствии необходимости бекапа, :mrgreen:

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 12:02 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
skeletor
Да и изначальный вопрос был в бекапе схд, а не в построении кластера

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 12:04 
Не в сети
Advanced member
Аватара пользователя

Зарегистрирован: 19 май 2008, 13:45
Сообщения: 86
Откуда: Kiev
Нет. Изначальный вопрос был в дублировании слабого звена - NFS. Это как раз и является единой точкой отказа. Все остальные узлы - задублированы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: hadoop: методы backup'a
СообщениеДобавлено: 28 май 2015, 12:14 
Не в сети
Сотрудник Тринити
Сотрудник Тринити
Аватара пользователя

Зарегистрирован: 14 ноя 2003, 17:25
Сообщения: 13040
Откуда: СПб, Екатеринбург
Ну это не я писал, да и тема "методы бекапа". Ну ладно, не суть, все равно ж я агрессор, :mrgreen:
skeletor писал(а):
Как можно бэкапить/дублировать это хранилище?

_________________
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB