Поделитесь опытом использования сетевых файловых систем.
Модераторы: Trinity admin`s, Free-lance moderator`s
Поделитесь опытом использования сетевых файловых систем.
Всем привет
Недавно по работе мне пришлось настраивать параллельную файловую систему от IBM ( gpfs ). Мне понравился этот продукт в основном идеей ( просто я впервые на практике сполкнулся с сетевыми распределёнными файловыми системами).
Весьма впечатлила скорость работы и отказоустойчивость при выпадении нод кластера.
Но есть НО - во первых это коммерческий продукт, во вторых он встаёт только на коммерческие платформы (RHEL, SLES).
Начал искать в сети нечто аналогичное, но информации крайне мало (или ищу не то). Пока с ходу нашел OpenAFS, Coda, редхатовская GFS. Есть традиционная NFS но она похоже весьма ограниченна в возможностях.
Было бы интересно услышать Ваш опыт в использовании сетевых файловых систем - их применимость на задачах, скорость, надёжность и удобство приминения и администрирования.
Недавно по работе мне пришлось настраивать параллельную файловую систему от IBM ( gpfs ). Мне понравился этот продукт в основном идеей ( просто я впервые на практике сполкнулся с сетевыми распределёнными файловыми системами).
Весьма впечатлила скорость работы и отказоустойчивость при выпадении нод кластера.
Но есть НО - во первых это коммерческий продукт, во вторых он встаёт только на коммерческие платформы (RHEL, SLES).
Начал искать в сети нечто аналогичное, но информации крайне мало (или ищу не то). Пока с ходу нашел OpenAFS, Coda, редхатовская GFS. Есть традиционная NFS но она похоже весьма ограниченна в возможностях.
Было бы интересно услышать Ваш опыт в использовании сетевых файловых систем - их применимость на задачах, скорость, надёжность и удобство приминения и администрирования.
-
- Advanced member
- Сообщения: 229
- Зарегистрирован: 25 окт 2005, 09:30
- Откуда: Краснодар
Сетевая файловая система
обеспечивает доступ к файлам через сеть. Пользователь видит папку "файлы", а на самом деле эта папка находится не на его компьютере а на сервере и доступ к ней осуществляется через сеть. Наиболее распространённые системы NFS и CIFS (ака SMB aka Microsoft Printing and file sharing ). Иделаьно подходят для хранения файлов. Недостатки: а. проблематично использование в качетсве back-end'а для различных серверов, ( например /var/spool/mail монтированный по NFS) из за того что сложно обеспечить одновременный доступ к файлам. б. доступ к ресурсу зависит от IP/имени сервера, например если в офисе на всех машинах %Docoments and settings% на самом деле находится на //fileserver1/some/path/ то при падении fileserver1 все машины зависают. Сюда еще входит davfs* -- это доступ к файлам и папкам через http/https по спецификации WebDAV. Не входит в линукс кернел. Подходить для удалённого доступа к документам небольшого размера через инет, недостатком является скорость и глюки в реализациях. OpenAFS -- лишена второго недостатка (доступ к файлам не зависит от IP/node name) . Так же поддерживает репликацию например папка Important_files может физически хранится на двух серверах одновременно afsnode1 и afsnode2. Недостатки: 1, сложность в настройке (требует кербероса), сложности с поддержкой, и проч. так же вероятны глюки связанные с тем что эта фс широко не используется (но тут хз, сам личного опыта по afs нету ) CODA -- так же как и AFS из университета Cornegie Mellon. Написано что базируется она на AFS. В кернел линукса входит ее драйвер, но для работы система требует запуска еще нескольких программ с правами пользователя. Кто и как использует эту систему я не знаю.
параллельная файловая система Обеспечивает параллельный доступ к файловой системе для программ физически находящихся на разных машинах.
Пример: load balancing кластер баз данных -- одновременно работают два компьютера на которых крутятся серверы базы данных, а сами данные лежат на общем дисковом массиве подключённом к обоим компьютерам через fiber channel. Одновременный достпуп и разграничение блокировок на файлы. Примеры: GPFS -- для больших файлов, типа видео. ОCFS -- Oracle Cluster File System под базы данных оrаcle -- входит в линукс кернел, GFS Global File System редхат -- входит в линукс kernel, для общего случая. Ibrix -- коммерческая, для выч. кластеров.
распределено-параллельная файловая система обеспечивает одновременный доступ к данным и распределённое их хранение на компьютерах соединены по сети. Пример: файловая система распределённая среди нод вычислительного кластера. Пример реализации: Lustre FS, Google FS. Такие файловые системы это очень крутая весщь, недостатком является сложность реализации и эксплуатации, т.е. сложно потянуть если у вас нет высоко-квалифицированных!! сотрудников .
увсе. 8)
____
* с davfs и coda вышла интересная ошибка., из за того что davfs в линуксе загружает кернел драйвер coda как зависимость. вот с ним то и были глюки, поэтому я попутал coda с davfs
обеспечивает доступ к файлам через сеть. Пользователь видит папку "файлы", а на самом деле эта папка находится не на его компьютере а на сервере и доступ к ней осуществляется через сеть. Наиболее распространённые системы NFS и CIFS (ака SMB aka Microsoft Printing and file sharing ). Иделаьно подходят для хранения файлов. Недостатки: а. проблематично использование в качетсве back-end'а для различных серверов, ( например /var/spool/mail монтированный по NFS) из за того что сложно обеспечить одновременный доступ к файлам. б. доступ к ресурсу зависит от IP/имени сервера, например если в офисе на всех машинах %Docoments and settings% на самом деле находится на //fileserver1/some/path/ то при падении fileserver1 все машины зависают. Сюда еще входит davfs* -- это доступ к файлам и папкам через http/https по спецификации WebDAV. Не входит в линукс кернел. Подходить для удалённого доступа к документам небольшого размера через инет, недостатком является скорость и глюки в реализациях. OpenAFS -- лишена второго недостатка (доступ к файлам не зависит от IP/node name) . Так же поддерживает репликацию например папка Important_files может физически хранится на двух серверах одновременно afsnode1 и afsnode2. Недостатки: 1, сложность в настройке (требует кербероса), сложности с поддержкой, и проч. так же вероятны глюки связанные с тем что эта фс широко не используется (но тут хз, сам личного опыта по afs нету ) CODA -- так же как и AFS из университета Cornegie Mellon. Написано что базируется она на AFS. В кернел линукса входит ее драйвер, но для работы система требует запуска еще нескольких программ с правами пользователя. Кто и как использует эту систему я не знаю.
параллельная файловая система Обеспечивает параллельный доступ к файловой системе для программ физически находящихся на разных машинах.
Пример: load balancing кластер баз данных -- одновременно работают два компьютера на которых крутятся серверы базы данных, а сами данные лежат на общем дисковом массиве подключённом к обоим компьютерам через fiber channel. Одновременный достпуп и разграничение блокировок на файлы. Примеры: GPFS -- для больших файлов, типа видео. ОCFS -- Oracle Cluster File System под базы данных оrаcle -- входит в линукс кернел, GFS Global File System редхат -- входит в линукс kernel, для общего случая. Ibrix -- коммерческая, для выч. кластеров.
распределено-параллельная файловая система обеспечивает одновременный доступ к данным и распределённое их хранение на компьютерах соединены по сети. Пример: файловая система распределённая среди нод вычислительного кластера. Пример реализации: Lustre FS, Google FS. Такие файловые системы это очень крутая весщь, недостатком является сложность реализации и эксплуатации, т.е. сложно потянуть если у вас нет высоко-квалифицированных!! сотрудников .
увсе. 8)
____
* с davfs и coda вышла интересная ошибка., из за того что davfs в линуксе загружает кернел драйвер coda как зависимость. вот с ним то и были глюки, поэтому я попутал coda с davfs
Последний раз редактировалось apelsin 10 ноя 2006, 13:05, всего редактировалось 1 раз.
Хороший топик, почти в мою тему, у себя на работе столкнулся с проблемой, есть несколько внешних массивов по несколько терабайт, к которым подключены по паре серверов, с данных серверов идет разбор больших файлов (по несколько гигабайт) и весьма интенсивно, на текущий момент масштабирование производится посредством клонирования с последующей репликацией содержимого, хочется уйти от этого, и прийти к распределенной файловой системе с возможностью масштабирования, на серверах используется FreeBSD, начал смотреть в сторону CODA, но в портах написано что на версия 6.0 и выше разваливается кернел иногда, собственно хотелось быы услышать мнение общественности, на линукс пока не хочется переводить сервера.. Какие переспективы сфетят по данному вопросу?
-
- Advanced member
- Сообщения: 229
- Зарегистрирован: 25 окт 2005, 09:30
- Откуда: Краснодар
Перевести сервера на солярку и пользоваться NFS. Я у себя так и сделал. Там где сервер NFS не нужен, можно использовать freebsd. Впрочем, если NFS используется в режиме read only, freebsd и сервером работает неплохо. Опять же, фришники обещают к весне NFS переписать - можно надеяться на то, что наконец-то там оно заработает.
Coda - лет 5 назад я её успешно использовал именно на freebsd - работала, ни разу систему не завалила, никаких претензий нет.
Coda - лет 5 назад я её успешно использовал именно на freebsd - работала, ни разу систему не завалила, никаких претензий нет.
Несколько массивов и у них несколько серверов, да в придачу большие файлы - не видеопотоки ли ?Flintus писал(а):Хороший топик, почти в мою тему, у себя на работе столкнулся с проблемой, есть несколько внешних массивов по несколько терабайт, к которым подключены по паре серверов, с данных серверов идет разбор больших файлов (по несколько гигабайт) и весьма интенсивно, на текущий момент масштабирование производится посредством клонирования с последующей репликацией содержимого, хочется уйти от этого, и прийти к распределенной файловой системе с возможностью масштабирования, на серверах используется FreeBSD, начал смотреть в сторону CODA, но в портах написано что на версия 6.0 и выше разваливается кернел иногда, собственно хотелось быы услышать мнение общественности, на линукс пока не хочется переводить сервера.. Какие переспективы сфетят по данному вопросу?
если да, это прямой путь на SLES + GPFS + VIDI
Flintus Хотя из вашего сообщения я не понял как все организовано, тем не менее зачем вам файловая система типа CODA я тоже не понял. Если нужна сетевая файловая система под *никс то это однозначно NFS. Вам ИМХО надо с задачей четко определится и после этого выбрать right tool for the job (это я о бсд)
Для Flintus.
Решение: менеджер томов + файловая система, умеющая на лету увеличивать емкость раздела.
Для Солярки это Veritas Volume Manager + vxFS.
Для Линукса это LVM + XFS или ext3.
По роду работы пришлось тесно занятся Tru64. Черт, возьми, там все есть и сразу из коробки. И менеджер томов и правильная файловая система со всеми погремушками (AdvFS).
Жаль убили платформу. Жаль...
Решение: менеджер томов + файловая система, умеющая на лету увеличивать емкость раздела.
Для Солярки это Veritas Volume Manager + vxFS.
Для Линукса это LVM + XFS или ext3.
По роду работы пришлось тесно занятся Tru64. Черт, возьми, там все есть и сразу из коробки. И менеджер томов и правильная файловая система со всеми погремушками (AdvFS).
Жаль убили платформу. Жаль...
-
- Advanced member
- Сообщения: 229
- Зарегистрирован: 25 окт 2005, 09:30
- Откуда: Краснодар
Так это-ж не сетевое. Однако, в солярке 10-6/06 совершенно бесплатно есть ZFS, которая пожалуй может заменить и соляркин volume manager, и veritas.and3008 писал(а):Для Flintus.
Решение: менеджер томов + файловая система, умеющая на лету увеличивать емкость раздела.
Для Солярки это Veritas Volume Manager + vxFS.
Для Линукса это LVM + XFS или ext3.
С этим согласен - всё лучшее, что сейчас есть (солярка) и рядом не стояло с Tru64. Портировали бы её ХэПэшники на amd64, сильно много народу им спасибо сказали бы (типа размечтался...). Да это и не сложно, она же на микроядре, там не так много переписать придётся.По роду работы пришлось тесно занятся Tru64. Черт, возьми, там все есть и сразу из коробки. И менеджер томов и правильная файловая система со всеми погремушками (AdvFS).
Жаль убили платформу. Жаль...
Кто сейчас на конференции
Сейчас этот форум просматривают: Bing [Bot] и 23 гостя