Настройка 3ware 9550SXU-12 KIT RAID10 в FreeBSD

[drakmor]

Добрый день.

Есть платформа Intel SR2400 + MB SE7520JR2 + 6xSATA Seagate 1TB ES2
Срочно нужно выбрать контроллер, который справиться с RAID10 из 6-ти этих винтов (линейная скорость чтения/записи - 100мегабайт/с), вариантов 2 (т.к. riser-card на pci-x, стоял LSI 150): AAR-2820SA/256+ и 3ware 9550SXU-12 KIT

Что выбрать ? Работать сервер будет или под линуrсом CentOS/SuSE или FreeBSD7 и отдавать данные по 2x1GB  в сеть по NFS и CIFS

[exLH]

drakmor
http://www.intel.com/support/motherboar ... 013740.htm
Здесь Вы с любой степенью срочности сможете найти ответ на заданный вопрос.

[drakmor]

Там я уже был, там нет ни того ни другого контроллера. И в данном случае меня больше интересует, какой из них справится с производительностью винтов, т.е. не будет узким местом в системе

[gs]

Никакой из известных мне внутренних контроллеров не способен проглотить 600МБ/с на реальной нагрузке. Еще более сомнительной представляется перспектива протолкнуть такой поток через эзернет.

[drakmor]

Заказал 3ware, буду мучаться с ним

[gs]

С триварью крайне редко надо мучаться - обычно надо радоваться

[drakmor]

Пришел контроллер, поставил и, честно говоря, не получил тех результатов, что хотел:

Код: Выделить всё

storage# dd if=/dev/zero of=/dev/da1 bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 4.175472 secs (251127536 bytes/sec)

storage# dd if=/dev/da1 of=/dev/null bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 4.815176 secs (217764833 bytes/sec)

storage# dd if=/dev/da1 of=/dev/null bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 4.652287 secs (225389362 bytes/sec)

storage# dd if=/dev/zero of=/dev/da1 bs=10m count=1000
1000+0 records in
1000+0 records out
10485760000 bytes transferred in 43.199508 secs (242728691 bytes/sec)

storage# dd if=/dev/da1 of=/dev/null bs=10m count=10000
10000+0 records in
10000+0 records out
104857600000 bytes transferred in 442.548735 secs (236940232 bytes/sec)

Какие настройки выставить в FreeBSD и в контроллере, чтобы получить максимум производительности?

Сейчас такие настройки:

Код: Выделить всё

storage# uname -a
FreeBSD storage.domain.ru 7.0-RELEASE FreeBSD 7.0-RELEASE #0: Sun Feb 24 10:35:36 UTC 2008     root@driscoll.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  amd64

/storage> /c0 show all
/c0 Driver Version = 3.70.05.001
/c0 Model = 9550SXU-12
/c0 Available Memory = 224MB
/c0 Firmware Version = FE9X 3.08.00.016
/c0 Bios Version = BE9X 3.08.00.004
/c0 Boot Loader Version = BL9X 3.02.00.001
/c0 Serial Number = L320704A7260027
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 1.60
/c0 Serial Number = L320704A72
/c0 Number of Ports = 12
/c0 Number of Drives = 6
/c0 Number of Units = 1
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = off
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Controller Bus Type = PCIX
/c0 Controller Bus Width = 64 bits
/c0 Controller Bus Speed = 100 Mhz

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-10   OK             -       -       64K     2793.94   ON     ON

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     OK               u0     931.51 GB   1953525168    5QJ01C3V
p1     OK               u0     931.51 GB   1953525168    5QJ00G47
p2     OK               u0     931.51 GB   1953525168    9QJ00M4M
p3     OK               u0     931.51 GB   1953525168    5QJ018X6
p4     OK               u0     931.51 GB   1953525168    9QJ00P00
p5     OK               u0     931.51 GB   1953525168    9QJ00WBM
p6     NOT-PRESENT      -      -           -             -
p7     NOT-PRESENT      -      -           -             -
p8     NOT-PRESENT      -      -           -             -
p9     NOT-PRESENT      -      -           -             -
p10    NOT-PRESENT      -      -           -             -
p11    NOT-PRESENT      -      -           -             -

Name  OnlineState  BBUReady  Status    Volt     Temp     Hours  LastCapTest
---------------------------------------------------------------------------
bbu   On           Yes       OK        OK       OK       0      xx-xxx-xxxx


//storage> /c0/u0 show all
/c0/u0 status = OK
/c0/u0 is not rebuilding, its current state is OK
/c0/u0 is not verifying, its current state is OK
/c0/u0 is initialized.
/c0/u0 Cache State = on
/c0/u0 volume(s) = 2
/c0/u0 name = R10
/c0/u0 serial number = 5QJ01C3VE13B59001796
/c0/u0 Ignore ECC policy = off
/c0/u0 Auto Verify Policy = on
/c0/u0 Storsave Policy = performance
/c0/u0 Command Queuing Policy = on

Unit     UnitType  Status         %RCmpl  %V/I/M  Port  Stripe  Size(GB)
------------------------------------------------------------------------
u0       RAID-10   OK             -       -       -     64K     2793.94
u0-0     RAID-1    OK             -       -       -     -       -
u0-0-0   DISK      OK             -       -       p0    -       931.312
u0-0-1   DISK      OK             -       -       p1    -       931.312
u0-1     RAID-1    OK             -       -       -     -       -
u0-1-0   DISK      OK             -       -       p2    -       931.312
u0-1-1   DISK      OK             -       -       p3    -       931.312
u0-2     RAID-1    OK             -       -       -     -       -
u0-2-0   DISK      OK             -       -       p4    -       931.312
u0-2-1   DISK      OK             -       -       p5    -       931.312
u0/v0    Volume    -              -       -       -     -       10
u0/v1    Volume    -              -       -       -     -       2783.94

[gs]

А что не так? 200-250МБ/с - вполне ожидаемые цифры.

[drakmor]

Я ориентировался по этой табличке
http://www.3ware.com/KB/article.aspx?id=15067

Где RAID 10-6 drives (9550SX/16) - 316.2 чтение/202.2 запись, при том, что используются менее емкие и более медленные жесткие диски, режим  balanced, но ОС - Windows 2003, попробую ее поставить и погонять IOMeter там.

Сейчас меня даже больше удивляет, то, что у меня скорость записи (250), больше скорости чтения (210-220), хотя чтение должно по идее распараллеливаться сразу на 6 дисков, а не на 3, как запись.

[Stranger03]

Я ориентировался по этой табличке

Насколько я помню dd - поблочное копирование и запись блоками по 512 байт. Разве он умеет эмулироваь нагрузку множественных потоков как в иометре?

[exLH]

drakmor
Я ориентировался по этой табличке
А Вас в этой табличке не смущают слова:
256 outstanding I/Os
?

Stranger03
блоками по 512 байт
dd if=/dev/zero of=/dev/da1 bs=10m
Гена, внимательнее.. Впрочем это все равно только один поток..

[Stranger03]

dd if=/dev/zero of=/dev/da1 bs=10m
Гена, внимательнее.. Впрочем это все равно только один поток..

Э, ну не суть, размер блока 512 байт по умолчанию. Я выразился не очень корректно, об одном потоке на запись.

[drakmor]

Поставил Windows2003 SP2 R2 и погонял IO Meter  с такими же параметрами, в результате - скорость чтения 380-390MB/s, ~5000 IO/s, ~30 ms среднее время операции на блоке в 256kb, это с отключенным NSQ, стоит его включить, как скорость тут же падает в 2 раза, время отклика также становится ужастным. Вывод - command queuing - приносит только вред ? или же всетаки есть толк при большом количество операций ввода-вывода ?

[gs]

Ну так прогоните на рандоме...

[drakmor]

на 100% рандоме выигрышь с NCQ ~ 40% (45mb/s,700io/s против 28mb/s, 450io/s)