Посоветуйте решение транзитный сервер

[Oasis]

Стоит следующая задача:
Построить транзитный сервер.
Схема следующая 10 станция нелинейного монтажа пишут на этот сервер после чего, то что записано отправляется на другие сервера.
Сейчас станции пишут напрямую на сервера, но по идеологии построения это не правильно, в связи с чем нужно сделать промежуточный сервер и что бы при этом скорость попадания на конечные сервера снизилась как можно меньше:

Нагрузка 10 станций до 400 МБайт/c. желательно с запасом в 20%
Из предложеных решений NetApp 3140 с PAM модулем.
В итоге видео положеное на "транзитный сервер" на конечные будет ложиться уже из кеша, соответственно это быстрее чем писать на диски а потом эту же информаци считывать.
Размеры видеофайлов 4мб - 40ГБ.
Объем информации максимально лежащей до 10 ТБ. На 3140 с Raid-DP получилось 2 полки по 14 винтов.
Ну и стоимость решения сами понимаете не самая бюджетное, даже наоборот.

Какие есть варианты, что бы снизить стоимость решения, допустим если пожертвовать быстродействием в районе 10-20% по сравнению с NetApp3140 с PAM модулем.

Кто то организовывал Raid-Z с Read-Write кєш из SSD дисков... или как еще как то?
Такое кто то организовывал, тестировал http://blogs.sun.com/brendan/entry/test
Может есть какие то рейд контроллеры с большим размером кэша?

[Ziggy Stardust]

Схема следующая 10 станция нелинейного монтажа пишут на этот сервер после чего, то что записано отправляется на другие сервера.

А по каким сетям и протоколам идет обмен данными?

Нагрузка 10 станций до 400 МБайт/c. желательно с запасом в 20%

Под 10Гбит езернет коммутаторы есть?

Какие есть варианты, что бы снизить стоимость решения, допустим если пожертвовать быстродействием в районе 10-20% по сравнению с NetApp3140 с PAM модулем.

Если отказаться от аппаратного файловера, то бюджетным будет вариант 3-4У шасси с большим кол-вом дисков (16-24). В качестве ОС опенсолярис. Все диски отдавать напрямую в солярку. Файловую систему строить на ZFS RaidZ или RaidZ2. Пара небольших дисков под систему в зеркало (SAS 147Гб вполне пойдут). Один под ZIL логи. Один под кеш 1го уровня. Один под кеш 2го уровня. Под кеши и логи можно SSD использовать. Все остальные диски обычные SATA (один можно в хот-спейр выделить).

Сетевую подсистему лучше разделить на две: одна сеть для работы с клиентами, вторая для отдачи контента на сервера. Если нет возможности 10Гбит езернет использовать, то, чтобы обеспечить 400 Мб/сек, придется аггрегировать по нескольку (6-8) 1Гбит интерфейсов.

В бюджет то какой вписаться хотите?

[Oasis]

Спасибо за советы, буду пробовать. Бюджет ограничивается выполнением поставленной задачи, по принципу разумной достаточности.
Т.е. если реализуется проект с запасом по прочности в 20% то это подходит.
А не так, что купили железо, и на 10% оно загружено, потому что так получилось...

Сегодня случайно под руку попался IBM 3550 M2, ради интереса решил протестировать:
FreeBSD 8.1 rc2 не тюниная UFS
набортный контроллер
4 sas диска 10k rpm 300GB
поставил 0 рейд и прогнал на запись:
2 диска получил 220 МБ/c
3 получил 322 МБ/c
4 получил 370 МБ/c

Так вот появился вопрос, при добавлении еще одного диска разница между 2 и 3 100МБ.
а между 3 и 4 уже 50МБ... это контроллер там внутренний слабенький или чем это можно объяснить при остальных прочих равных?

2) Если ставить полки на 16-24 винта не на RaidZ а на обычный контроллер, какие есть контроллеры которые выжмут из 24 sas/sata дисков все что можно и не просядут по производительности?

Насколько я понимаю для мультимедиа данных чем больше размер блока, тем быстрее он запишется/считается и меньше будет фрагментация? Какой оптимальный размер?

Предыдущий тест проводил с размером блока в 128 к.
В понедельник если железка останется, попробую увеличить/уменьшить блока.

На что еще следует обратить внимание?

Знакомые коллеги, для подключение станция использовали FC. Хватит ли сдвоенного 1GbE что бы одна станция могла писать до 130 МБайт/c. Два порта на свиче все же дешевле FC.

В интернете много тестов ISCSI CIFS NFS... что на практике с медианными быстрее всего работает? В теории было бы логично ISCSI но по тестем иногда NFS впереди планеты всей... но тесты синтетические и выбрать из них то что реально тебе подходит очень сложно...

В связи с тем что станций всего 10 и максимум будет от них 70 поков(чтение/запись), еще до 10 поток(чтение) на конечные сервера, не будет ли узким местом SATA, какие могут быть подводные камни, бутылочные горлышки в данном случае?

Где то уже использовали это:
http://www.adaptec.com/ru-ru/products/C ... rformance/
Как впечатления?
Один Pam модуль стоит порядка 15 тыс. у.е. при том что такой контроллер с SSD порядка 1200 у.е..., а дальнейшие SSD докупать по мере надобновти. ? Но я так понимаю что
MaxIQ он больше влияет на Iops и не ускоряет запись чтение данных и если с базами данных он бы подошел, то в моем случае от него толку будет не много?

[Ziggy Stardust]

Сегодня случайно под руку попался IBM 3550 M2, ради интереса решил протестировать:
FreeBSD 8.1 rc2 не тюниная UFS
набортный контроллер
4 sas диска 10k rpm 300GB
поставил 0 рейд и прогнал на запись:
2 диска получил 220 МБ/c
3 получил 322 МБ/c
4 получил 370 МБ/c

Так вот появился вопрос, при добавлении еще одного диска разница между 2 и 3 100МБ.
а между 3 и 4 уже 50МБ... это контроллер там внутренний слабенький или чем это можно объяснить при остальных прочих равных?

И контроллер слабенький, и собственно и не должно быть линейного прироста...

Если ставить полки на 16-24 винта не на RaidZ а на обычный контроллер, какие есть контроллеры которые выжмут из 24 sas/sata дисков все что можно и не просядут по производительности?

Что-нить из последних LSI. У ИБМа это 5015 их контроллер.

Насколько я понимаю для мультимедиа данных чем больше размер блока, тем быстрее он запишется/считается и меньше будет фрагментация? Какой оптимальный размер?

Тут заранее трудно сказать. Придется экспериментальным путем вычислять :-) От 64 кб до 256 кб где-нить... На контроллере лучше по умолчанию оставить размер блока и играться с тюннингом файловой системы и ОС.

Знакомые коллеги, для подключение станция использовали FC. Хватит ли сдвоенного 1GbE что бы одна станция могла писать до 130 МБайт/c. Два порта на свиче все же дешевле FC.

Сильно вряд ли хватит. Лучше 4-6 портов опд это дело выделить.

В интернете много тестов ISCSI CIFS NFS... что на практике с медианными быстрее всего работает? В теории было бы логично ISCSI но по тестем иногда NFS впереди планеты всей... но тесты синтетические и выбрать из них то что реально тебе подходит очень сложно...

NFS реально быстрее всех. Но с iSCSI их некорректно сравнивать, NFS файловый протокол, а iSCSI блочный.

В связи с тем что станций всего 10 и максимум будет от них 70 поков(чтение/запись), еще до 10 поток(чтение) на конечные сервера, не будет ли узким местом SATA, какие могут быть подводные камни, бутылочные горлышки в данном случае?

При большом числе шпинделей не будет. Тем более сейчас можно уже поставить малооборотистые (7200) SAS диски большого объема. Они не намного дороже и несколько пошустрее обычных SATA будут.

Где то уже использовали это:
http://www.adaptec.com/ru-ru/products/C ... rformance/
Как впечатления?

Использовали. Впечатления самые положительные. Но боюсь все же не для вашего случая. Кеш (любой) дает положительный эффект, когда идут повторяющиеся обращения к одним и тем же блокам данных. У вас же много больших и неповторяющихся файлов. Думаю, что эффект от кеша будет минимальным...

[Oasis]

Огромное спасибо, за ответы.

Будем тюнить NFS, iSCSI, CIFS и сетку. Смотреть сколько получиться выжать.
Какие лучшие результаты удаеться добиться с большими файлами на 1GbE - 10GbE что бы знать к чему стремиться?
Вчера на тестах без тюнинга по NFS на чтение 40 МБ/с. на запись 25 МБ/с.
(тестовый рейд дает до 300МБ/с)

Есть ли какой то специализированный софт повышающий скорость за счет мультипоточности или других каких то изощерений, за счет UDP вместо TCP или другими методами?

На свиче Jumbo frames поможет не поможет, что то еще?

[Ziggy Stardust]

Будем тюнить NFS, iSCSI, CIFS и сетку. Смотреть сколько получиться выжать.
Какие лучшие результаты удаеться добиться с большими файлами на 1GbE - 10GbE что бы знать к чему стремиться?

От коммутаторов еще сильно зависит. От адаптеров. От ОС и драйверов.

Вчера на тестах без тюнинга по NFS на чтение 40 МБ/с. на запись 25 МБ/с.

На Вин2003 у меня примерно такие же показания были для 1 гбит канала.

Под соляркой при подключении напрямую сервера к серверу до 70-80 Мб/сек разогнать получалось.

Есть ли какой то специализированный софт повышающий скорость за счет мультипоточности или других каких то изощерений, за счет UDP вместо TCP или другими методами?

UDP шустрее должно быть. А так надо тюннинговать буфера, размеры пакетов и т.п.

На свиче Jumbo frames поможет не поможет, что то еще?

Да, до некоторой степени поможет.

[Oasis]

вообщем 65 МБайт/с на прием добились... - по фтп
теперь вопрос как добиться той же скорости на отправку, потому как на отправку макс 35 по фтп, по нфс 40... ?

[Ziggy Stardust]

Аггрегировать порты :-)

[Oasis]

Агрегировали, но на один мак это не работает.

Либо я что то не так делаю?

freebsd lagg bce0 bce1
windows 7 интеловским софтом линк агригейшн.
подключены друг к другу напрямую двумя шнурками...

но скорость не удваивается, даже на 10% не поднимается...

[Ziggy Stardust]

Надо, во-первых, на коммутаторе тоже порты в lacp-группу объединять.

А на фре я вот так делал:

В /etc/rc.conf:

cloned_interface="lagg0"
ifconfig_em1="up"
ifconfig_em2="up"
ifconfig_lagg0="laggproto lacp laggport em1 laggport em2 172.16.1.1 netmask 0xffffff00"

А получится или нет напрямую фрю и Вин7 по аггрегированным адаптерам так соединять, честно говоря, не знаю, ни разу не пробовал. Как то всегда через коммутатор получалось делать... :-)

[Tert]

Ziggy Stardust

ifconfig_lagg0="laggproto lacp laggport em1 laggport em2 172.16.1.1 netmask 0xffffff00"

Так работать не будет. Правильнее
ifconfig_lagg0_alias0="laggproto lacp laggport em1 laggport em2 172.16.1.1 netmask 0xffffff00"

Кстати, на сетевых картах Intel с драйвером igb LACP у меня так и не заработал.

[Ziggy Stardust]

Мамой клянусь из рабочего конфига скопировал :-)) Правда там 6.х фря.

[Tert]

Ziggy Stardust
В 7-й надо прописывать.
Без алиаса у меня не работало.

[Oasis]

сам lacp работает, но непонятно почему не происходит удвоения скорости.
Т.е. Видно что трафик бегает по разным сетевухам, но из разряда 98% нагрузка на одну сетевую и 2% на вторую...
И реальная скорость как на одной сетевой. Ну да ладно, будем допиливать.

Итак, пока добились нормальной скорости на 1Гбите 70МБ + на отправку и запись, правда для этого пришлось найти павильные сетевые карты, без них, 5 секунд загрузка 90% от гигабита и потом падает до 30-40%.

Предварительно остановились на IBM 3650 M2 и в него добавить контроллере ServeRAID M5025. (хотя если есть какие то аргументы в сторону других систем, контроллеров, буду рад).
На борту у него есть внешний разъем для подключения sas, но что он из себя представляет не понятно, на оф. сайте в спецификации кроме о том что он есть, больше ничего не говориться. Что там за чипсет тайна за 5 печатями.

Теперь интересует: полка расширения (sas) которую можно подлючить к нему (если я ничего не путаю), на 16, 24, 36 дисков.
Интересуют 2 параметра производительность и отказоустойячивость.
Если я правильно понимаю то полка расширения просто контроллеру отдает диски, и уже производительность дальше зависит от самого контроллера?

Как вообще SAS подключение по сравнению с FC?

Вот такая полка,
http://intel-nix.ru/index.php?option=co ... 7&Itemid=1
нормально ли подключиться, там 3 разъема SAS, кроме кластеров, для чего еще можно заюзать, объеденить несколько каналов для повышени пропускной способности повышения или отказоустойчивости или еще чего то?

на примере полка на 12 диское, есть ли побольше, а то 12 это вообще никуд...
для 10 ТБ либо 2 по 16 нужны, либо 1 на 24...

[Ziggy Stardust]

сам lacp работает, но непонятно почему не происходит удвоения скорости.
Т.е. Видно что трафик бегает по разным сетевухам, но из разряда 98% нагрузка на одну сетевую и 2% на вторую...
И реальная скорость как на одной сетевой. Ну да ладно, будем допиливать.

Дык, а с другой то стороны как настроено? Не исключено, что под ХР в принципе нельзя человеческое аггрегирование сделать, а только файловер. Впрочем я не уверен, не пробовал под ХР.

Предварительно остановились на IBM 3650 M2 и в него добавить контроллере ServeRAID M5025. (хотя если есть какие то аргументы в сторону других систем, контроллеров, буду рад).
На борту у него есть внешний разъем для подключения sas, но что он из себя представляет не понятно, на оф. сайте в спецификации кроме о том что он есть, больше ничего не говориться. Что там за чипсет тайна за 5 печатями.

Обычный мини-сас разъем.

Теперь интересует: полка расширения (sas) которую можно подлючить к нему (если я ничего не путаю), на 16, 24, 36 дисков.
Интересуют 2 параметра производительность и отказоустойячивость.

А ИБМ тоже и посмотрите. EXP3512 или EXP3524.

Если я правильно понимаю то полка расширения просто контроллеру отдает диски, и уже производительность дальше зависит от самого контроллера?

В принципе так. Но могут быть ньюансы, типа какой бэкплейн на полке, как сасэкспандер реализован и т.п.

Как вообще SAS подключение по сравнению с FC?

SAS в современных полках это 4 канала по 6 гбит каждый, экспандером винты равномерно по каналам распределяются. В итоге получается по 3-6 винтов на канал.

FC это когда все винты на одной шине 8 гбит висят.

При небольшом кол-ве винтов по большому счету без разницы файбер или сас.