Поделитесь опытом использования сетевых файловых систем.

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Поделитесь опытом использования сетевых файловых систем.

Сообщение setar » 09 ноя 2006, 11:25

Всем привет :)

Недавно по работе мне пришлось настраивать параллельную файловую систему от IBM ( gpfs ). Мне понравился этот продукт в основном идеей ( просто я впервые на практике сполкнулся с сетевыми распределёнными файловыми системами).
Весьма впечатлила скорость работы и отказоустойчивость при выпадении нод кластера.

Но есть НО - во первых это коммерческий продукт, во вторых он встаёт только на коммерческие платформы (RHEL, SLES).

Начал искать в сети нечто аналогичное, но информации крайне мало (или ищу не то). Пока с ходу нашел OpenAFS, Coda, редхатовская GFS. Есть традиционная NFS но она похоже весьма ограниченна в возможностях.

Было бы интересно услышать Ваш опыт в использовании сетевых файловых систем - их применимость на задачах, скорость, надёжность и удобство приминения и администрирования.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 09 ноя 2006, 12:50

Пользуюсь NFS, хватает по уши, если не требовать от неё странных вещей. У меня с неё nginx раздаёт статические файлы - т.е. доступ к файлам простейший. Даже в пьяном бреду мне не прийдёт в голову идея заставить работать с базой на NFS какую-нибудь СУБД, или cyrus-imapd, или нечто подобное.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 09 ноя 2006, 13:02

Так,  к информации:
на gpfs делается 90% вего что мы видим по телевизору (видеомонтаж, подготовка трансляций).

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 09 ноя 2006, 13:06

Параллельная файловая система !== Сетевая файловая система !==Сетевая  Распределённая Файловая Система

Про какую из них вопрос?  :wink:

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 09 ноя 2006, 13:09

apelsin писал(а):Параллельная файловая система !== Сетевая файловая система !==Сетевая  Распределённая Файловая Система

Про какую из них вопрос?  :wink:
Про все :)
заодно бы кратко просветить в чём кардинальные отличия, я пока не совсем улавливаю.

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 09 ноя 2006, 14:37

Сетевая файловая система  
обеспечивает доступ к файлам через сеть. Пользователь видит  папку "файлы", а на самом деле эта папка находится не на его компьютере а на сервере и доступ к ней осуществляется через сеть.     Наиболее распространённые системы  NFS и CIFS (ака SMB aka Microsoft Printing and file sharing ).  Иделаьно подходят для хранения файлов.  Недостатки: а. проблематично использование в качетсве back-end'а для различных серверов, ( например /var/spool/mail  монтированный по NFS) из за того что сложно обеспечить одновременный доступ к файлам. б.  доступ к ресурсу зависит от IP/имени сервера, например если  в офисе на всех машинах %Docoments and settings% на самом  деле находится  на //fileserver1/some/path/ то при падении fileserver1 все машины зависают.    Сюда еще входит davfs* -- это доступ к файлам и папкам через http/https по спецификации WebDAV. Не входит в линукс кернел. Подходить для удалённого доступа к документам небольшого размера через инет, недостатком является скорость и глюки в реализациях.   OpenAFS  -- лишена второго недостатка (доступ к файлам не зависит от IP/node name) . Так же поддерживает репликацию например папка Important_files может физически хранится на двух серверах одновременно  afsnode1 и afsnode2.  Недостатки: 1,  сложность в настройке (требует кербероса), сложности с поддержкой, и проч. так же вероятны глюки связанные  с тем что эта фс широко не используется (но тут хз, сам личного опыта по afs нету  )   CODA  -- так же как и AFS из университета Cornegie Mellon. Написано что базируется она на AFS.  В кернел линукса входит ее драйвер, но для работы система требует запуска еще нескольких программ с правами пользователя.  Кто и как использует эту систему я не знаю.  

параллельная файловая система  Обеспечивает параллельный доступ к файловой системе для программ физически находящихся на разных машинах.
Пример:  load balancing кластер баз данных -- одновременно работают два компьютера  на которых крутятся серверы базы данных, а сами данные лежат на  общем дисковом массиве подключённом к обоим компьютерам  через fiber channel. Одновременный достпуп и разграничение блокировок на файлы.   Примеры:  GPFS -- для больших файлов, типа видео.  ОCFS -- Oracle Cluster File System под базы данных оrаcle -- входит в линукс кернел,  GFS  Global File System редхат -- входит в линукс kernel, для общего случая.  Ibrix -- коммерческая, для выч. кластеров.


распределено-параллельная файловая система  обеспечивает одновременный доступ к данным и распределённое их хранение на компьютерах соединены по сети.  Пример: файловая система распределённая среди нод вычислительного кластера. Пример реализации:  Lustre FS, Google FS.     Такие  файловые системы это очень крутая весщь, недостатком является сложность реализации и эксплуатации,  т.е. сложно потянуть если у вас нет  высоко-квалифицированных!! сотрудников .

увсе.  8)

____
* с davfs и coda  вышла интересная ошибка., из за того что davfs в линуксе загружает кернел драйвер coda как зависимость.  вот с ним то и были глюки, поэтому я попутал coda  с davfs  
Последний раз редактировалось apelsin 10 ноя 2006, 13:05, всего редактировалось 1 раз.

Flintus
member
Сообщения: 20
Зарегистрирован: 21 июл 2005, 20:10
Откуда: Москва

Сообщение Flintus » 09 ноя 2006, 23:06

Хороший топик, почти в мою тему, у себя на работе столкнулся с проблемой, есть несколько внешних массивов по несколько терабайт, к которым подключены по паре серверов, с данных серверов идет разбор больших файлов (по несколько гигабайт) и весьма интенсивно,  на текущий момент масштабирование производится посредством клонирования с последующей репликацией содержимого, хочется уйти от этого, и прийти к распределенной файловой системе с возможностью масштабирования, на серверах используется FreeBSD, начал смотреть в сторону CODA, но в портах написано что на версия 6.0 и выше разваливается кернел иногда, собственно хотелось быы услышать мнение общественности, на линукс пока не хочется переводить сервера.. Какие переспективы сфетят по данному вопросу?

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 10 ноя 2006, 09:33

Перевести сервера на солярку и пользоваться NFS. Я у себя так и сделал. Там где сервер NFS не нужен, можно использовать freebsd. Впрочем, если NFS используется в режиме read only, freebsd и сервером работает неплохо. Опять же, фришники обещают к весне NFS переписать - можно надеяться на то, что наконец-то там оно заработает.

Coda - лет 5 назад я её успешно использовал именно на freebsd - работала, ни разу систему не завалила, никаких претензий нет.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 10 ноя 2006, 10:52

Flintus писал(а):Хороший топик, почти в мою тему, у себя на работе столкнулся с проблемой, есть несколько внешних массивов по несколько терабайт, к которым подключены по паре серверов, с данных серверов идет разбор больших файлов (по несколько гигабайт) и весьма интенсивно,  на текущий момент масштабирование производится посредством клонирования с последующей репликацией содержимого, хочется уйти от этого, и прийти к распределенной файловой системе с возможностью масштабирования, на серверах используется FreeBSD, начал смотреть в сторону CODA, но в портах написано что на версия 6.0 и выше разваливается кернел иногда, собственно хотелось быы услышать мнение общественности, на линукс пока не хочется переводить сервера.. Какие переспективы сфетят по данному вопросу?
Несколько массивов и у них несколько серверов, да в придачу большие файлы - не видеопотоки ли ?
если да, это прямой путь на SLES + GPFS + VIDI

Аватара пользователя
apelsin
Advanced member
Сообщения: 470
Зарегистрирован: 09 окт 2004, 12:32

Сообщение apelsin » 10 ноя 2006, 13:13

Flintus  Хотя из вашего сообщения я не понял как все организовано,  тем не менее зачем вам файловая система типа CODA я тоже не понял.  Если нужна сетевая файловая система под *никс  то это однозначно NFS.   Вам ИМХО надо с задачей четко определится и после этого выбрать right tool  for the job (это я о бсд)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 ноя 2006, 18:34

Если не только *никс, то еще ADIC StorNext (ex Centravision), Sanbolic MelioFS, IBM SAN FS (ex Tivoli SANergy), раньше у веритаса был SANpoint Direct - сейчас не знаю как переименован.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 ноя 2006, 18:34

Tiger MetaSAN - правда это не совсем ФС, впрочем как и ИБМ САН ФС собственно...

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 ноя 2006, 18:37

GPFS кстати совсем недорого стоит...

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 11 ноя 2006, 20:19

Для Flintus.

Решение: менеджер томов + файловая система, умеющая на лету увеличивать емкость раздела.

Для Солярки это Veritas Volume Manager + vxFS.

Для Линукса это LVM + XFS или ext3.

По роду работы пришлось тесно занятся Tru64. Черт, возьми, там все есть и сразу из коробки. И менеджер томов и правильная файловая система со всеми погремушками (AdvFS).
Жаль убили платформу. Жаль...

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 12 ноя 2006, 11:25

and3008 писал(а):Для Flintus.
Решение: менеджер томов + файловая система, умеющая на лету увеличивать емкость раздела.
Для Солярки это Veritas Volume Manager + vxFS.
Для Линукса это LVM + XFS или ext3.
Так это-ж не сетевое. Однако, в солярке 10-6/06 совершенно бесплатно есть ZFS, которая пожалуй может заменить и соляркин volume manager, и veritas.
По роду работы пришлось тесно занятся Tru64. Черт, возьми, там все есть и сразу из коробки. И менеджер томов и правильная файловая система со всеми погремушками (AdvFS).
Жаль убили платформу. Жаль...
С этим согласен - всё лучшее, что сейчас есть (солярка) и рядом не стояло с Tru64. Портировали бы её ХэПэшники на amd64, сильно много народу им спасибо сказали бы (типа размечтался...). Да это и не сложно, она же на микроядре, там не так много переписать придётся.

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 39 гостей