CXFS или иное с GRIO.
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 27 май 2010, 11:31
- Откуда: S-Pb
CXFS или иное с GRIO.
В идеале хочется файловый сервер с гарантированой скоростью обмена с общим хранилищем для нескольких Windows (начиная от WinXP) клиентов, подключеных через медный гигабит.
Из пока найденых решений с GRIO только CXFS, но она требует и оптического дополнительного слоя и похоже неочень то бюджетная. Да и поиск по всему форуму вообще ничего про нее не находит - может ни у кого еще не нашлось денег купить.
Есть что-нить подешевле ? Вроде SGI уже давно отдала свободным юнихистам XFS. Тогда может реально построить аналог CXFS на безплатном Linux и через медный гигабитный LAN ?
Местами написано про аналог GRIO у ADIC Stornext (http://www.postmagazine.com/Media/Marke ... Detail.doc), но в мануале на текущую версию Stornext 4.0 конфигурации не показано. Да и требуется вроде поддержка на уровне приложения, а желательно поддержка на уровне назначения заданой полосы поклиентно.
Сейчас скорости среды передачи - гигабитного Ethernet хватает с избытком, но подключеное через типовой Samba сервис хранилище (режим NAS) часто перегружается неконтролируемыми и неограничеными клиентами и у остальных скорость падает ниже критически необходимой.
Из пока найденых решений с GRIO только CXFS, но она требует и оптического дополнительного слоя и похоже неочень то бюджетная. Да и поиск по всему форуму вообще ничего про нее не находит - может ни у кого еще не нашлось денег купить.
Есть что-нить подешевле ? Вроде SGI уже давно отдала свободным юнихистам XFS. Тогда может реально построить аналог CXFS на безплатном Linux и через медный гигабитный LAN ?
Местами написано про аналог GRIO у ADIC Stornext (http://www.postmagazine.com/Media/Marke ... Detail.doc), но в мануале на текущую версию Stornext 4.0 конфигурации не показано. Да и требуется вроде поддержка на уровне приложения, а желательно поддержка на уровне назначения заданой полосы поклиентно.
Сейчас скорости среды передачи - гигабитного Ethernet хватает с избытком, но подключеное через типовой Samba сервис хранилище (режим NAS) часто перегружается неконтролируемыми и неограничеными клиентами и у остальных скорость падает ниже критически необходимой.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: CXFS или иное с GRIO.
Вопрос только в перегрузке сетевухи или винты ложатся?
А то может поствить центральный коммутатор с 10Г и соответственно к нему сервер прицепить?
Это я так, мысль в лоб...
А то может поствить центральный коммутатор с 10Г и соответственно к нему сервер прицепить?
Это я так, мысль в лоб...
Re: CXFS или иное с GRIO.
Красивого решения c управлением из GUI я не знаю, но никто не мешает замутит шейпер на фаерволе.
вот только я не представляю схему деления пропускной полосы .
как Вы сами её видите ?
жесткое ограничение чтобы пользователь не превышал выделенного ему канала или процент от общей пропускной способности, или ещё как ???
вот только я не представляю схему деления пропускной полосы .
как Вы сами её видите ?
жесткое ограничение чтобы пользователь не превышал выделенного ему канала или процент от общей пропускной способности, или ещё как ???
t.me: @RoboforumSetar ; st@3nt.ru
-
- Advanced member
- Сообщения: 484
- Зарегистрирован: 05 май 2010, 13:56
- Откуда: Москва
- Контактная информация:
Re: CXFS или иное с GRIO.
ZFS, вроде, позволяет приложениям резервировать заданную пропускную способность ФС.
Может есть смысл обратить внимание на OpenSolaris?
Может есть смысл обратить внимание на OpenSolaris?
C уважением, Антон
a.utkin@trinitygroup.ru
a.utkin@trinitygroup.ru
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 27 май 2010, 11:31
- Откуда: S-Pb
Re: CXFS или иное с GRIO.
>Вопрос только в перегрузке сетевухи или винты ложатся?
Да сетевой гигабитный слой условно не нагружен - когда скорости становится мало - она падает где-нить до 5- мегабайт в секунду для одного клиента или меньше. При падении ниже 4 мегабайт в секунду у важного клиента нарушается выполнение задачи реального времени. Т.е. это сильно меньше половины пропускной способности гигабита. Да и по сообщениям от текущего адиминистратора NAS сервера с Samba - загрузка сервера в основном близка к 0. Итого остается проблема с подключеным к серверу дисковым массивом. Да и главная проблема в динамичности нагрузки, но критичности минимальной скорости для небольшого количества важных клиентов (у них операции реального времени, но с относительно малыми скоростями). А текущий сисадмин никак не может сказать что самое дешевое нужно докупить чтобы обезпечить непроваливание минимально необходимой скорости для важных клиентов. И при тестировании имеющейся системы обычно скорость заметно больше минимально необходимой, т.е. минимально необходимая производительность и хранилища и сетевого слоя достигается уже при имеющемся аппаратном обезпечении и вроде ничего докупать и не нужно. Но похоже имеющиеся программные решения (FreeBSD + Samba) не могут защитить эту производительность от перегрузки для важных клиентов все время функционирования комплекса.
>А то может поствить центральный коммутатор с 10Г и соответственно к нему сервер прицепить?
Это я так, мысль в лоб...
Вообще по результатам бесед с буржуинами - у них такие задачи решаются если не с помощью решений с GRIO - то вкладыванием бабла в хранилище и сервер (или сменой комплектов оборудования вместе с сисадминами и/или поставщиками решения) пока не получится. Но во время финансового кризиса да в бюджетной госорганизации такая технология подбора решения непригодна. Руководство требует гарантированого решения без подбора вариантов.
>Красивого решения c управлением из GUI
У CXFS для Windows клиента это выглядит где-то так -
http://techpubs.sgi.com/library/tpl/cgi ... 9188368lhj -
A Windows node can mount a GRIO-managed filesystem and supports application- and node-level reservations.
Т.е. можно задавать резервирование и по клиенту вцелом (ноде) и даже по приложению внутрях клиента. Для имеющейся задачи имхо достаточно задать важным клиентам режим Dynamic+4 MB/s Static и все решится. А неважных прицепить к CXFS как одного клиента без гарантий и раздавать им через ту же Samba.
>никто не мешает замутит шейпер на фаерволе.
Производительность дисковых систем падает весьма непропорционально. Чтобы обвалить быстрое чтение одному важному клиенту достаточно запустить побочное чтение (или запись) с существенно меньшей скоростью. Вообщем на уровне сетевого протокола только статическим ограничением скорости на каждое направление без анализа текущей производительности хранилища (для важных клиентов) имхо не решить.
>не представляю схему деления пропускной полосы .
как Вы сами её видите ?
жесткое ограничение чтобы пользователь не превышал выделенного ему канала или процент от общей пропускной способности, или ещё как ???
Есть ограниченый набор критичных к скорости клиентов и условно неограниченый набор некритичных.
Для всех критичных клиентов нужно обезпечить минимальное гарантированое значение скорости чтения или записи не менее 4 мегабайт в секунду. Предполагается, что физически хранилище это может обезпечить.
Далее если остается резерв производительности - делить его в произвольном соотношении между всеми клиентами.
Технически может это можно сделать и на уровне специального алгоритма шейпера IP - считать текущий поток на каждого важного клиента и если он падает ниже критичесого уровня - сначала ограничивать всех неважных, а потом если не поможет и остальных важных до уровня не ниже критического. Имхо в файловых системах с GRIO где-то также и сделано на уровне пакетов запроса ввода-вывода, которыми (в случае SAN с оптослоем) имхо рулит сервер метаданных.
>ZFS, вроде, позволяет приложениям резервировать заданную пропускную способность ФС.
Она сетевая и с ней могут общаться клиенты Windows ?
Да сетевой гигабитный слой условно не нагружен - когда скорости становится мало - она падает где-нить до 5- мегабайт в секунду для одного клиента или меньше. При падении ниже 4 мегабайт в секунду у важного клиента нарушается выполнение задачи реального времени. Т.е. это сильно меньше половины пропускной способности гигабита. Да и по сообщениям от текущего адиминистратора NAS сервера с Samba - загрузка сервера в основном близка к 0. Итого остается проблема с подключеным к серверу дисковым массивом. Да и главная проблема в динамичности нагрузки, но критичности минимальной скорости для небольшого количества важных клиентов (у них операции реального времени, но с относительно малыми скоростями). А текущий сисадмин никак не может сказать что самое дешевое нужно докупить чтобы обезпечить непроваливание минимально необходимой скорости для важных клиентов. И при тестировании имеющейся системы обычно скорость заметно больше минимально необходимой, т.е. минимально необходимая производительность и хранилища и сетевого слоя достигается уже при имеющемся аппаратном обезпечении и вроде ничего докупать и не нужно. Но похоже имеющиеся программные решения (FreeBSD + Samba) не могут защитить эту производительность от перегрузки для важных клиентов все время функционирования комплекса.
>А то может поствить центральный коммутатор с 10Г и соответственно к нему сервер прицепить?
Это я так, мысль в лоб...
Вообще по результатам бесед с буржуинами - у них такие задачи решаются если не с помощью решений с GRIO - то вкладыванием бабла в хранилище и сервер (или сменой комплектов оборудования вместе с сисадминами и/или поставщиками решения) пока не получится. Но во время финансового кризиса да в бюджетной госорганизации такая технология подбора решения непригодна. Руководство требует гарантированого решения без подбора вариантов.
>Красивого решения c управлением из GUI
У CXFS для Windows клиента это выглядит где-то так -
http://techpubs.sgi.com/library/tpl/cgi ... 9188368lhj -
A Windows node can mount a GRIO-managed filesystem and supports application- and node-level reservations.
Т.е. можно задавать резервирование и по клиенту вцелом (ноде) и даже по приложению внутрях клиента. Для имеющейся задачи имхо достаточно задать важным клиентам режим Dynamic+4 MB/s Static и все решится. А неважных прицепить к CXFS как одного клиента без гарантий и раздавать им через ту же Samba.
>никто не мешает замутит шейпер на фаерволе.
Производительность дисковых систем падает весьма непропорционально. Чтобы обвалить быстрое чтение одному важному клиенту достаточно запустить побочное чтение (или запись) с существенно меньшей скоростью. Вообщем на уровне сетевого протокола только статическим ограничением скорости на каждое направление без анализа текущей производительности хранилища (для важных клиентов) имхо не решить.
>не представляю схему деления пропускной полосы .
как Вы сами её видите ?
жесткое ограничение чтобы пользователь не превышал выделенного ему канала или процент от общей пропускной способности, или ещё как ???
Есть ограниченый набор критичных к скорости клиентов и условно неограниченый набор некритичных.
Для всех критичных клиентов нужно обезпечить минимальное гарантированое значение скорости чтения или записи не менее 4 мегабайт в секунду. Предполагается, что физически хранилище это может обезпечить.
Далее если остается резерв производительности - делить его в произвольном соотношении между всеми клиентами.
Технически может это можно сделать и на уровне специального алгоритма шейпера IP - считать текущий поток на каждого важного клиента и если он падает ниже критичесого уровня - сначала ограничивать всех неважных, а потом если не поможет и остальных важных до уровня не ниже критического. Имхо в файловых системах с GRIO где-то также и сделано на уровне пакетов запроса ввода-вывода, которыми (в случае SAN с оптослоем) имхо рулит сервер метаданных.
>ZFS, вроде, позволяет приложениям резервировать заданную пропускную способность ФС.
Она сетевая и с ней могут общаться клиенты Windows ?
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: CXFS или иное с GRIO.
Можно использовать iSCSI совместно с Sanbolic Melio Datacenter Suite.
Потребуется хранилище, которое способно выдавать iSCSI наружу и лицензии на Sanbolic на всех машинах, которым нужен доступ.
Чтобы сократить затраты, можно подключить машины для которых нужен QoS через iSCSI, а остальные - через файловый сервер. Тогда потребуется N+1 лицензия (N - машины с QoS, 1 - файловый сервер).
По всем вопросам можно связываться с питерским офисом (я думаю, что Владимир Романов с удовольствием поможет).
Потребуется хранилище, которое способно выдавать iSCSI наружу и лицензии на Sanbolic на всех машинах, которым нужен доступ.
Чтобы сократить затраты, можно подключить машины для которых нужен QoS через iSCSI, а остальные - через файловый сервер. Тогда потребуется N+1 лицензия (N - машины с QoS, 1 - файловый сервер).
По всем вопросам можно связываться с питерским офисом (я думаю, что Владимир Романов с удовольствием поможет).
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 27 май 2010, 11:31
- Откуда: S-Pb
Re: CXFS или иное с GRIO.
>Потребуется хранилище, которое способно выдавать iSCSI наружу
Его можно для тестов заменить на Win систему с установленым iSCSI target ? Т.е. Sanbolic ставится только на клиентах, а сервером может быть любое iSCSI target устройство ?
По поиску по местному форуму вариант с MelioFS тоже неочень дешевый. Отправил запрос про цену на 7 лицензий.
Если что-то колхозить в виде шейпера IP - оно должно влезать куда-то на уровень протокола SMB/CIFS чтобы понимать почему на важных клиентах упала скорость - или им не хватает производительности хранилища и надо ограничивать остальных, или им просто в настоящее время ничего не нужно.
Его можно для тестов заменить на Win систему с установленым iSCSI target ? Т.е. Sanbolic ставится только на клиентах, а сервером может быть любое iSCSI target устройство ?
По поиску по местному форуму вариант с MelioFS тоже неочень дешевый. Отправил запрос про цену на 7 лицензий.
Если что-то колхозить в виде шейпера IP - оно должно влезать куда-то на уровень протокола SMB/CIFS чтобы понимать почему на важных клиентах упала скорость - или им не хватает производительности хранилища и надо ограничивать остальных, или им просто в настоящее время ничего не нужно.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: CXFS или иное с GRIO.
На оба вопроса - ответ положительный.Andrey_RTR писал(а):Его можно для тестов заменить на Win систему с установленым iSCSI target ? Т.е. Sanbolic ставится только на клиентах, а сервером может быть любое iSCSI target устройство ?
Какова приемлемая цена вопроса в расчете на одного клиента? И каково их количество?Andrey_RTR писал(а):По поиску по местному форуму вариант с MelioFS тоже неочень дешевый.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 27 май 2010, 11:31
- Откуда: S-Pb
Re: CXFS или иное с GRIO.
Посмотрел что может MelioFS по части QoS в http://sanbolic.com/pdfs/MelioFS_Users_Guide022010.pdf - на стр 19. Там указан только приоритетный механизм в попугаях - точные минимально гарантированные мегабайты в секунду не задать. Да и подробно про механизм приоритизации не расписано. Что будет при малой загрузке файловой системы (хранилища) - для каждого клиента будет удерживаться установленное ограничение скорости (т.е. процент от производительности хранилища) или будут отдаваться все свободные ресурсы скорости ? Может в спб есть где развернутые примеры на 3..5 клиентов и можно придти потестить ?
>Какова приемлемая цена вопроса в расчете на одного клиента? И каково их количество?
По текущим представлениям порядка 1000 у.е. на одного клиента. Количество - минимум 5..7, в будущем возможно до 10..12.
>ZFS, вроде, позволяет приложениям резервировать заданную пропускную способность ФС.
В вики указано ZFS принципиально локальная (как минимум на 2010 год).
>Какова приемлемая цена вопроса в расчете на одного клиента? И каково их количество?
По текущим представлениям порядка 1000 у.е. на одного клиента. Количество - минимум 5..7, в будущем возможно до 10..12.
>ZFS, вроде, позволяет приложениям резервировать заданную пропускную способность ФС.
В вики указано ZFS принципиально локальная (как минимум на 2010 год).
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: CXFS или иное с GRIO.
Тогда MelioFS не пойдет.Andrey_RTR писал(а):По текущим представлениям порядка 1000 у.е. на одного клиента.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
-
- Junior member
- Сообщения: 9
- Зарегистрирован: 27 май 2010, 11:31
- Откуда: S-Pb
Re: CXFS или иное с GRIO.
>Тогда MelioFS не пойдет.
А сколько надо хотя бы на вариант с MelioFS ?
А сколько надо хотя бы на вариант с MelioFS ?
- VladimirR
- Сотрудник Тринити
- Сообщения: 160
- Зарегистрирован: 26 мар 2007, 18:22
- Откуда: St.-Petersburg
- Контактная информация:
Re: CXFS или иное с GRIO.
Ответил в почту ценами на Sanbolic MelioFS Datacenter Edition
-
- Junior member
- Сообщения: 4
- Зарегистрирован: 22 мар 2019, 05:19
- Откуда: Egypt
- Контактная информация:
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя