ZFS-based RAID

[Dyr]

Думаю, давно назрела тема с вопросами по Solaris'овской файловой системе/менеджеру ZFS и её организации в RAIDоподобные массивы, тем более что и Trinity со своим TrinityNAS пустил пробный шар промышленного использования данных систем (через сильно допиленную Neхenta).
С теоретической точки зрения ZFS однозначно красив и изящен.
Как оно с практической точки зрения?
Имеет ли смысл использовать его для маленьких NAS'ов и SAN'ов: когда всяких QNAP'ов уже не хочется, а TrinityNAS с его 24 дисками и т.п. ещё не можется?
Скажем, я начал ZFS пробовать с домашнего сервера на FreeBSD 8.1 с Core2Quad, 2Гб памяти и 4xWD20EARS. Не смог выжать из конфигурации больше 20-30 Мбайт/с с одного диска.
На рабочем стенде (OpenIndiana, 16Гб, Xeon 3620, 3xWD10FYDS) всё уже гораздо веселее, под 200Мбайт/с с RAIDZ идёт. iSCSI через гигабит даёт запись порядка 80Мбайт/с, чтение порядка 110Мбайт/сек.

Теперь вот хочу собрать сервер для организации через iSCSI datastore двух серверов виртуализации.

А какой опыт использования у вас?

[setar]

Для домашних систем мне кажется лишено смысла ибо ZFS Open Storage Platform весьма требовательно к железу.
К слову валидацию под использование в качестве компонент TrinityNAS прошло не более 10% ассортимента склада.
В общем если есть возможность дома поставить двух-процессорную систему хранения с дисками SSD в качестве кеша ....
то да, это будет интересным решением.

На "допиливание" платформы ушло около года, если это о чем то говорит

[setar]

Вот с такими циферками мы работаем :
это без SSD

TrinityNAS
настройка и оптимизация

pool0 = RAIDZ2 ( 8 x SATA 2ТБ )

вариант оптимизации на чтение
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
245MB/s 24% 192MB/s 20% 794MB/s 35% 5257/sec
251MB/s 25% 196MB/s 21% 813MB/s 36% 5333/sec
--------- ---- --------- ---- --------- ---- ---------
497MB/s 24% 389MB/s 20% 1607MB/s 35% 5295/sec
загрузка 4 ядер проца при тесте равномерная ~75-85%

сбалансированная оптимизация
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
576MB/s 54% 269MB/s 30% 684MB/s 32% 594/sec
569MB/s 52% 267MB/s 30% 681MB/s 32% 617/sec
--------- ---- --------- ---- --------- ---- ---------
1145MB/s 53% 537MB/s 30% 1366MB/s 32% 605/sec
загрузка 4 ядер проца при тесте равномерная ~85-95%

[sivanov]

У меня дома стоит система на Opensolaris b145, на RAIDZ лиинейное чтение/запись порядка 400МБ/сек локально, при этом, система в плане доступа к памяти довольно тормозная, а шина - PCI-X а винты WD WD20EADS, green серия, тормозные. памяти 16GB DDR400
Тестировал iozone как оно себя ведет в плане отдачи по 2GB FC: могу порыться поискать результаты, так, на вскидку
IO мелкими блоками до 8Мб включительно раза в 2 медленне на каждую ступень, чем когда размер блока >=16, после чего стабилизируется
170-190Мб/сек линейные чтение/запись, 100-120МБ/сек случайные. Раздавал 8ГБ RAM диск по FC прибавка на random IO была в 2-3 раза.
Сам данным хранилищем ежедневно пользуюсь и могу сказать, что IOPS конечно мало, но с другой стороны и винты-то на 10 тысячники.

Если будете собирать сервер сервер ISCSI не пожалейте денег на SSD! Те, что на SandForce стоят весьма дешево, а iopsов у них заявлено больше чем у intel x25-e. И еще: COMSTAR FC работает, при некотором везении можно собрать скромную SAN сеть, дешевле чем будут стоить две Cisco 3750.

[dim-soft]

собирал ZFS систему на EON (мелкая live инсталляция opensolaris)
на атоме 330+ 2Гб (больше не умеет) на intel 945 с realtek - грусно
на 2хЗеон 601 сокет 3 Ггц + 3 Гб ecc reg ddr - грусно
на селероне 3200 + 8Гб на intel Q35 - намного бодрее
на Q57 + core i5 750 - обогнал windows 2008R2 на том же сервере на ICH10R загрузка процессора в пике 80-90%
особенно спасает кеш - до 1500-2000 IOPS на блоках 4K с 4 sata получается по сети

[sivanov]

Да, кэш спасает.
Но я тестировал iozone с размерами файлов в 2 раза превосходящими количество оперативки на клиенте и это тоже весьма грустно.
На 1КБ random write 9MB/sec на zvol или ~21MB/sec на ram-disk. Но у меня сервер на Оптеронах 290, скорость работы памяти ~1.5GB/sec.
Кстати, в соседней ветке напомнили, что WD EARS врут насчет физического размера блока, который у них 4К, а при невыровнянных операциях производительность падает в разы, и я припоминаю что вокруг этого была полемика и патчи в openslaris-* и freebsd-*, видимо по этому у ОП под фрей тормозит.

[Dyr]

Да, WDшки врут, сволочи, но я на Фре запускал их и через выравнивание, и без него. Здесь можно почитать мой тест и его обсуждение.

Несмотря на это, я по-прежнему думаю, что как раз для дома ZFS'ный сторадж весьма хорошая штука, особенно когда(если) сервер падает и начинается многочасовой fsck четырёхтерабайтного раздела. GJournal, конечно, должен был бы помочь, но на каком именно уровне его делать для gmirror stripe+mirror, решительно непонятно.

[Dyr]

Вот с такими циферками мы работаем :
...

Чем циферки получали, сколько и каких было процессоров и памяти?

[Perc]

Оперативной памяти должно быть много, от 8Гб и выше. Тогда можно говорить о скорости. При меньших объемах ZFS ставить особого смысла нет, разве что стабильности добавит и в некоторых очень специфических случаях можно добиться путем тюнинга прироста скорости.

[dim-soft]

насколько важен ECC в памяти для ZFS ?
решаю вопрос 16Гб простой или 8 Гб ECC ?