распределенная ФС

Модераторы: Trinity admin`s, Free-lance moderator`s

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

распределенная ФС

Сообщение paparazzo » 23 сен 2006, 12:03

Есть необходимость организовать для файлового сервера "кластер"; из 2-х узлов, на которых будет запущено по копии самбы но дисковый массив каждого хочется объединить в один для уменьшения количества запросов к каждому, поскольку способ объедининения их в псевдо 0-й рейд посредством nbd enbd и ATA-over-еthernet работали но только повышали общую нагрузку на каждый узел в отдельности, что еще уменьшало суммарную производительность. Вот и хочу узнать кто и какие кластерные ФС уже использовал и может поделится опытом.

P.S. ОС Linux, отказоустоийчивость не требуется, главное требование производительность и возможность обслуживать максимольно количество параллельных звпросов.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 сен 2006, 21:08

Опишите подробнее железо, нагрузку, задачу и бюджет. ФС такие есть, но нюансов тут миллион. Сразу предупреждаю, если у Вас нет десятков килобаксов, лучше сразу забудьте про эту тему...

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 26 сен 2006, 00:30

gs писал(а):Опишите подробнее железо, нагрузку, задачу и бюджет. ФС такие есть, но нюансов тут миллион. Сразу предупреждаю, если у Вас нет десятков килобаксов, лучше сразу забудьте про эту тему...
  Железо весьма скромное, но достаточное для максимальной отдачи от ЖД (после работы с  $500 игрушками "Intel® server board", Hudson-II и SCSI контролерами с 64MB кєшем стало ясно, что это излишне если не нужна доступность в 5-ть девяток).

  Итак 2(3) системы: CPU - 1xAthlon64 3000, MB - на NForce4 Ultra, 2GB DDR 400 в Dual Chanel без PC и пр., 4x80GB SATA2 (NCQ) HDD 7200 RPM в SoftRAID L0, 1xGE (Intel® PRO/1000 GT) + 1GE NF4 Nic (TCP offloads).

  Каждый узел в отдельности отдает(после игры с TCP стеком) на 1 потоке прямого чтения с массива 90 МB/s (мегабайт, для уточнения), на 10 потоках - 60-70 MB/s и на 100 потоках не более 45 MB/s, проблему как понимаете увеличением дисков массиве не решить(вариации 4-8 дисков давали прирост в 20% и не более)

  Было решено объединить массивы двух узлов в 1 виртуальный рейд 0-го уровня(как это делается в CoRAID), но это привело к увеличению нагрузки на систему ввода-ввывода, что сильно снизило реактивность системы и повысило время отклика от узла в целом, что привело с снижению производительности и дало в сумме по 2-м узлам прирост 1,2 раза.

  Другим путем было выбрано использование кластерной ФС - первой была изучена Lustre недавно ставшая свободной, но в ней отсутствовала возможность записи "внахлест" при раздельном чтении. Сследующей испытанной ФС была PVFS2, которая имела требуемую функцию параллельной записи и независимого чтения, но являясь надстройкой над родительской ФС т.е. производила все операции 2-жды и имела медленную синхронизацию между мета-серверами, что особенно замедляло операции записи и иногда приводило к не возможности их завершения.

  Вот после всех этих экспериментов было принято решение о прекращении дальнейших опытов и объединении массивов только посредством распараллеливания нагрузки TCP/IP стека через деление запросов между ними и синхронизацией информации в виде примитивного копирования(информация остается актуальной в течении суток), такая система удовлетворяет требованию масштабируемости производительности простым добавлением узлов и почти линейна. Но этот путь мне не кажется прогрессивным и я решил обратится за советом к настоящим специалистам, чтобы окончательно разобраться в проблеме.

  Задачи весьма просты, как для файлового сервера – каждый клиент должен получить как можно большую скорость получения информации (избыточность по надежности не треюуется). Бюджет – затраты на высшее описанное аппаратное обеспечение (по моему опыту большего от системы вплоть  до $3-5К не добится деже если значительно увеличивать бюджет), ПО – OpenSource, так что оно в бюджете не учитывается.

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 30 сен 2006, 13:25

Как я понимаю, ответа можно уже не ждать...

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 01 окт 2006, 17:38

Не совсем понял чего не получилось с Lustre, страйпинг там рабочий. Упенсурсной она, кстати, всегда была. Просто не всегда свежей версией ;)

Вместо nbd советую попробвать gnbd от RedHat GFS. Можно и сам GFS попробовать поверх этого. Покупать его не надо, он входит в Ubuntu и в Fedora.

Игрушки за $500 не могут обеспечить надёжность в пять девяток. Там и контроллер является точкой отказа и шина одна на все диски и тд и тп.

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 14 окт 2006, 15:28

2 CrazyFrog - Спасибо, за совет. С GFS уже пробую работать.
А вот местные спецы-владельцы форума на нестандартном вопросе просели, берем цей факт до уваги.

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 16 окт 2006, 12:37

paparazzo писал(а):А вот местные спецы-владельцы форума на нестандартном вопросе просели, берем цей факт до уваги.
Зря ты так. Камрады из триниты -- классные практические специалисты, которым просто неинтересны теоритеческие изыскания на фантастически ненадёжных системах.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 16 окт 2006, 13:12

Именно так. Помочь решить реальную проблему - завсегда пожалуйста. А изыскивать возможность потрахаться - не по нашей части.

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 19 окт 2006, 11:26

А вот зря так, я ничего фантастического не высказывал и задача весьма приземленная и она воплощалащь в железе и софте полностью практически без каких либо траханий мозгов себе и другим, хотя для меня и не тривиальная. Вопрос был поставлен четко и однозначно, меня смутил жесткий ответ заканчивающий килобаксами и попыткой отшить очередного ламера страшной суммой. Я понял только одно, если проэкт не поподает в сферу интересов 3nity то ответ будет подобный, что и был дан, а если человеку надо с "пользой" потратить несколько $K - все объясним и расскажем и что купить и где и с помощью каких специалистов все запустить и наладить - одним словом форум поиска клиентов, только все красивее сделано: напугать сложностью задачи и после этого клиент сам попросит решить все проблеммы за него, темболее если он платит тысячи $, то заплатить еще чуть и забыть о проблемме самое милое дело.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 окт 2006, 13:23

Извините, но Вы неправы.
Задача из разряда "хочу новый 600-ый Мерс за 1000 руб".
А специалисты Тринити отвечают Вам так потому, что они привыкли отвечать за потраченные клиентом деньги, и абсолютно не хотят увидеть потом в этом же форуме - вот мол, какие Тринити ламеры, такое посоветовали - а оно на второй день работы грохнулось  :D

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 19 окт 2006, 17:23

Вас понял. Но я думаю можно было помочь добрым советом в личку не теряя балов из-за использования юнцом не комерческого ПО и не дорогих аппаратных решений и его плачевных результатов в итоге.

P.S. Система запущенна и успешно работает в течении нескольких недель , хотя это не срок, но успешно отработала несколько искусственных сбоев и мета-серверов и связи между узлами и "расщипления-разума" (кластер active/active) и все на скромном высше описанном мной оборудовании и организованно на свободно-расспространяемом ПО. Не ограничивайте свой гругозор на использовании тяжелых аппвратно-программных решений в стиле "из коробки" а следуйте примеру специалистов из Goole Labs которые пошли своим путем и организовали выдающуся систему.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 19 окт 2006, 17:33

Мы следуем своим путем - никакие гуглы нам не указ. Есть два варианта построения систем - баловаться и работать. Ваш вариант - баловаться - ни нам, ни подавляющему большинству наших клиентов не интересен. Второй вариант предусматривает нормальное железо, нормальный саппорт и ГАРАНТИРОВАННУЮ работоспособность, за которую мы башкой отвечаем. Это наш путь. Деньги тут принципиального значения не имеют - если в фирме есть тяжелые задачи, то в подавляющем большинстве случаев денег у них есть. Иногда приходится убедить их потратить - но после этого еще никто не жаловался. Как и те, кто пересел с жигулей на фольксваген...

Мы тоже когда-то были такими, как Вы. Детские игрушки когда-то должны заканчиваться...

Когда станете гуглом - позвоните. Я оближу Ваши тапки :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 19 окт 2006, 17:35

Кстати система гугла, да будет Вам известно, НЕ ПРЕДУСМАТРИВАЕТ отказоустойчивость. Т.е. вааще. Упал сервер, пропала транзакция - ну и пес с ней - это проблема клиента, а не гугла. Если единица информации имеет ценность - метод гугла просто неприменим в принципе. Сначала Вам стоило бы разобраться с вопросом, прежде чем нам что-то советовать...

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 19 окт 2006, 18:12

Эх :) Gs все уже ответил пока я писал. Но все же.
paparazzo писал(а):Не ограничивайте свой гругозор на использовании тяжелых аппвратно-программных решений в стиле "из коробки" а следуйте примеру специалистов из Goole Labs которые пошли своим путем и организовали выдающуся систему.
Хочу высказать несколько соображений против.

1. Про гугль. Там ключевое слово специалисты. Т.е. именно множественное число. Т.е. большая команда разработчиков, тестеров, менеджеров и многих других. В случае чего, например недостатка функции в ПО, прекращения поддержки они в состоянии осуществить доработку/поддержку/миграцию. Обычно в организации такого кол-ва народа нет и это правильно. Многие организации вообще скидывают ИТ на аутсорсинг и оставляют одного вменяемо-толкового человека (по большей части менеджера) и платит он НЕ за железки, а за гарантию того, что проблем который гугль может решит у него не будет.

2. Про деньги. 15-20 штук зеленых. Много ли это? Годичная зарплата одного человека. Сколько нужно таких что бы сооружать кластера и прочее? Вряд ли они сумеют соорудить то, что обеспечивают железки за эти деньги. А поддерживать все это? Так же с большой долей вероятности можно утверждать, что те задачи которые решают большие железки стоят перед фирмами для которых это смешная сумма.

3. Про людей и квалификацию. Хорошо. Вы сумели или Вася Пупкин сумел. Завтра Васю пригласили в другую контору и сис-ма которую он построил сломалась? Или, не приведи Господи, его сбила машина. Должна быть взаимозаменяемость и автономность от текущих кадров.

4. Про время. Предлагаемый подход самосбора в самом общем понимании "термина" был актуален лет 15-20 назад. А сейчас он актуален при инженерных и научных изысканиях.

5. Про этот форум. Вопрос подобный вашему интересен. Но он НЕ ПОПАДАЕТ в специфику этого форума, а именно из-за этой специфики этот форум уважаем, равно как и спецы из Тринити.

6. Про вашу систему. Раз уж пошел разговор, то к словам неплохо бы прилагать что и КАК сделано и самое главное :) ... результаты тестов.

paparazzo
Junior member
Сообщения: 7
Зарегистрирован: 23 сен 2006, 11:56
Откуда: Крым, Украина/Россия (по вкусу)
Контактная информация:

Сообщение paparazzo » 19 окт 2006, 18:14

Все, я понял. Больше не буду отвлекать, только я сразу в своем вопросе указал - "...отказоустоийчивость не требуется, главное требование производительность и возможность обслуживать максимольно количество параллельных запросов."

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей