[Trinity_NAS] 8xRAID0: запись 800Мб/сек, чтение...120Мб/с %О

[Dyr]

Получил долгожданный Trinity_NAS. Третий день бьюсь над вопросом iSCSI multipath - никак не удаётся добиться скорости чтения выше 120Мбайт/сек. Всё перепробовал, решил наконец проверить скорость локально.
Конфигурация сервера - 8 SATA в ZFS'овском RAID0, один SSD в кэш, 16Гб памяти, два Xeon'a, ZFS сделан по дефолту:

Код: Выделить всё

root@trinitynas:/volumes# zpool get all R0
NAME  PROPERTY       VALUE       SOURCE
R0    size           14.5T       -
R0    capacity       0%          -
R0    altroot        -           default
R0    health         ONLINE      -
R0    guid           17730566037784145085  default
R0    version        26          default
R0    bootfs         -           default
R0    delegation     on          default
R0    autoreplace    on          local
R0    cachefile      -           default
R0    failmode       continue    local
R0    listsnapshots  off         default
R0    autoexpand     off         default
R0    dedupditto     0           default
R0    dedupratio     1.00x       -
R0    free           14.5T       -
R0    allocated      41.9G       -
root@trinitynas:/volumes# zfs get all R0
NAME  PROPERTY              VALUE                  SOURCE
R0    type                  filesystem             -
R0    creation              Thu Feb 17 18:23 2011  -
R0    used                  41.9G                  -
R0    available             14.2T                  -
R0    referenced            41.9G                  -
R0    compressratio         1.00x                  -
R0    mounted               yes                    -
R0    quota                 none                   default
R0    reservation           none                   default
R0    recordsize            128K                   default
R0    mountpoint            /volumes/R0            local
R0    sharenfs              off                    default
R0    checksum              on                     default
R0    compression           off                    default
R0    atime                 on                     default
R0    devices               on                     default
R0    exec                  on                     default
R0    setuid                on                     default
R0    readonly              off                    default
R0    zoned                 off                    default
R0    snapdir               hidden                 default
R0    aclinherit            restricted             default
R0    canmount              on                     default
R0    xattr                 on                     default
R0    copies                1                      default
R0    version               5                      -
R0    utf8only              off                    -
R0    normalization         none                   -
R0    casesensitivity       sensitive              -
R0    vscan                 off                    default
R0    nbmand                off                    default
R0    sharesmb              off                    default
R0    refquota              none                   default
R0    refreservation        none                   default
R0    primarycache          all                    default
R0    secondarycache        all                    default
R0    usedbysnapshots       0                      -
R0    usedbydataset         41.9G                  -
R0    usedbychildren        123K                   -
R0    usedbyrefreservation  0                      -
R0    logbias               latency                default
R0    dedup                 off                    default
R0    mlslabel              none                   default
R0    sync                  standard               default

Проверяю из expert_mode'овского шелла.
Скорость записи прекрасна:

Код: Выделить всё

dd if=/dev/zero of=/volumes/R0/100G bs=10M count=10240
^C4293+0 records in
4293+0 records out
45015367680 bytes (45 GB) copied, 56.0096 seconds, 804 MB/s

Типичный вид zpool iostat -v Z2 во время операции записи:

Код: Выделить всё

                            capacity     operations    bandwidth
pool                     alloc   free   read  write   read  write
-----------------------  -----  -----  -----  -----  -----  -----
R0                       27.2G  14.5T      0  5.75K      0   721M
  c0t5000CCA222D9FD1Ed0  3.39G  1.81T      0    732      0  89.5M
  c0t5000CCA222D9FE0Ed0  3.38G  1.81T      0    695      0  85.1M
  c0t5000CCA222D9FE24d0  3.41G  1.81T      0    731      0  90.1M
  c0t5000CCA222D9FE25d0  3.39G  1.81T      0    738      0  90.3M
  c0t5000CCA222D9FF7Ad0  3.41G  1.81T      0    765      0  93.5M
  c0t5000CCA222D9FF7Dd0  3.37G  1.81T      0    763      0  93.4M
  c0t5000CCA222DA01B5d0  3.40G  1.81T      0    756      0  93.2M
  c0t5000CCA222DA22ABd0  3.42G  1.81T      0    705      0  86.1M
cache                        -      -      -      -      -      -
  c0t500151795940C4CEd0   838M  73.7G      0    210      0  25.9M
-----------------------  -----  -----  -----  -----  -----  -----

, а вот скорость чтения вызвало нехилый когнитивный диссонанс:

Код: Выделить всё

root@trinitynas:/volumes# 87920640+0 records in
87920640+0 records out
45015367680 bytes (45 GB) copied, 359.937 seconds, 125 MB/s

Типичный вид zpool iostat -v Z2 во время чтения, как до отключения cache:

Код: Выделить всё

                            capacity     operations    bandwidth
pool                     alloc   free   read  write   read  write
-----------------------  -----  -----  -----  -----  -----  -----
R0                       41.9G  14.5T    965      0   121M      0
  c0t5000CCA222D9FD1Ed0  5.24G  1.81T    110      0  13.8M      0
  c0t5000CCA222D9FE0Ed0  5.22G  1.81T    117      0  14.7M      0
  c0t5000CCA222D9FE24d0  5.27G  1.81T    127      0  15.8M      0
  c0t5000CCA222D9FE25d0  5.23G  1.81T    122      0  15.3M      0
  c0t5000CCA222D9FF7Ad0  5.25G  1.81T    119      0  14.9M      0
  c0t5000CCA222D9FF7Dd0  5.21G  1.81T    117      0  14.7M      0
  c0t5000CCA222DA01B5d0  5.24G  1.81T    121      0  15.2M      0
  c0t5000CCA222DA22ABd0  5.28G  1.81T    130      0  16.3M      0
cache                        -      -      -      -      -      -
  c0t500151795940C4CEd0  4.42G  70.1G      6    337  96.4K  42.2M
-----------------------  -----  -----  -----  -----  -----  -----

так и после отключения cache (zpool offline R0 c0t500151795940C4CEd0):

Код: Выделить всё

                           capacity     operations    bandwidth
pool                     alloc   free   read  write   read  write
-----------------------  -----  -----  -----  -----  -----  -----
R0                       41.9G  14.5T    874      0   109M      0
  c0t5000CCA222D9FD1Ed0  5.24G  1.81T    108      0  13.6M      0
  c0t5000CCA222D9FE0Ed0  5.22G  1.81T    108      0  13.5M      0
  c0t5000CCA222D9FE24d0  5.27G  1.81T    109      0  13.7M      0
  c0t5000CCA222D9FE25d0  5.23G  1.81T    108      0  13.5M      0
  c0t5000CCA222D9FF7Ad0  5.25G  1.81T    108      0  13.5M      0
  c0t5000CCA222D9FF7Dd0  5.21G  1.81T    115      0  14.5M      0
  c0t5000CCA222DA01B5d0  5.24G  1.81T    112      0  14.0M      0
  c0t5000CCA222DA22ABd0  5.28G  1.81T    103      0  12.8M      0
cache                        -      -      -      -      -      -
  c0t500151795940C4CEd0  5.24G  69.3G      0      0      0      0
-----------------------  -----  -----  -----  -----  -----  -----

WTF?

P.S dmesg тоже нехило доставляет:

Код: Выделить всё

Feb 17 17:38:27 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 17:38:27 trinitynas This may result in reduced system performance.
Feb 17 17:38:27 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 17:38:27 trinitynas This may result in reduced system performance.
Feb 17 17:38:33 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 17:38:33 trinitynas This may result in reduced system performance.
Feb 17 17:38:33 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 17:38:33 trinitynas This may result in reduced system performance.
Feb 17 17:38:35 trinitynas zfs: [ID 327478 kern.notice] NOTICE: The property is mountpoint
Feb 17 18:00:40 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 17 18:00:40 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:40 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:40 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:40 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:40 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:41 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 17 18:00:41 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:41 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:41 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:41 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:41 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 17 18:00:46 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 17 18:00:46 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:46 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:52 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 17 18:00:52 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:52 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:52 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:52 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:52 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:53 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 17 18:00:53 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:53 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:53 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:53 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:53 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:57 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 17 18:00:57 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:57 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:57 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:57 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:57 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:00:58 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 17 18:00:58 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:00:58 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:00:58 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:00:58 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:00:58 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 17 18:01:03 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 17 18:01:03 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:03 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:08 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 17 18:01:08 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:08 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:08 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:08 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:08 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:09 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 17 18:01:09 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:09 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:09 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:09 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:09 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:11 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g500151795940c4ce (sd7):
Feb 17 18:01:11 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:11 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:11 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number: CVPO0386017C
Feb 17 18:01:11 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:11 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 17 18:01:16 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 17 18:01:16 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:16 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:21 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 17 18:01:21 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:21 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:21 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:21 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:21 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:01:22 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 17 18:01:22 trinitynas      Error for Command: <undecoded cmd 0xa1>    Error Level: Recovered
Feb 17 18:01:22 trinitynas scsi: [ID 107833 kern.notice]        Requested Block: 0                         Error Block: 0
Feb 17 18:01:22 trinitynas scsi: [ID 107833 kern.notice]        Vendor: ATA                                Serial Number:       JK11A8
Feb 17 18:01:22 trinitynas scsi: [ID 107833 kern.notice]        Sense Key: Soft_Error
Feb 17 18:01:22 trinitynas scsi: [ID 107833 kern.notice]        ASC: 0x0 (<vendor unique code 0x0>), ASCQ: 0x1d, FRU: 0x0
Feb 17 18:22:13 trinitynas zfs: [ID 327478 kern.notice] NOTICE: The property is sharenfs
Feb 17 18:23:29 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 18:23:29 trinitynas This may result in reduced system performance.
Feb 17 18:23:29 trinitynas unix: [ID 954099 kern.info] NOTICE: IRQ19 is being shared by drivers with different interrupt levels.
Feb 17 18:23:29 trinitynas This may result in reduced system performance.
Feb 17 18:23:39 trinitynas zfs: [ID 249136 kern.info] created version 26 pool R0 using 26
Feb 17 18:23:39 trinitynas zfs: [ID 327478 kern.notice] NOTICE: The property is mountpoint

[Dyr]

Вдогонку, bonnie-benchmark:

Код: Выделить всё

nmc@trinitynas:/$ run benchmark bonnie-benchmark
Volume 'R0' is the only available volume, starting benchmark...
R0: running optimal mode benchmark
R0: generating 24558MB files, using 32768 blocks
R0: started 2 benchmark processes
R0: this may take a few minutes, please wait or press Ctrl-C to interrupt ............
R0: benchmark in progress, elapsed 60 sec............
R0: benchmark in progress, elapsed 120 sec............
R0: benchmark in progress, elapsed 180 sec............
R0: benchmark in progress, elapsed 240 sec............
R0: benchmark in progress, elapsed 300 sec........
WRITE     CPU    RE-WRITE  CPU    READ      CPU    RND-SEEKS
388MB/s   44%    177MB/s   23%    213MB/s   9%     448/sec
388MB/s   44%    174MB/s   22%    210MB/s   9%     452/sec
--------- ----   --------- ----   --------- ----   ---------
777MB/s   44%    352MB/s   22%    424MB/s   9%     450/sec

nmc@trinitynas:/$

Кстати, помощь в nmc, описывающая настройку bonnie-benchmark, неправильная:

Код: Выделить всё

nmc@trinitynas:/$ setup benchmark run bonnie-benchmark help
...
Example:

  nmc@trinitynas:/$ setup volume vol1 bonnie-benchmark -p 2 -b 8192
  Testing 'vol2'. Optimal mode. Using 1022MB files and 8192 blocks.
...

nmc@trinitynas:/$ setup volume R0 bonnie-benchmark -p 2 -b 8192
Unexpected option 'bonnie-benchmark'

[setar]

я иногда очень удивляюсь как столь простые вещи можно делать настолько сложно ...
1. отказать в использовании RAID0 (я пожалуй вырежу этот уровень из установок интерфейса)
ибо я совсем не хочу выслушивать впоследствии претензии о том что данные потеряны из за выхода из строя всего 1 диска
2. тестовые скорости должны быть такие примерно (учтите что это ранние модели с одним камнем, у Вас всё лучше):
pool0 = RAIDZ2 ( 8 x SATA 2ТБ)
$ run benchmark bonnie-benchmark
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
188MB/s 19% 104MB/s 11% 266MB/s 11% 164/sec
188MB/s 19% 104MB/s 11% 264MB/s 11% 166/sec
--------- ---- --------- ---- --------- ---- ---------
377MB/s 19% 209MB/s 11% 531MB/s 11% 165/sec
загрузка 4 ядер проца при тесте равномерная ~20%
# dd if=/dev/zero of=/volumes/pool0/10G bs=128k count=80000
80000+0 records in
80000+0 records out
10485760000 bytes (10 GB) copied, 23.443 seconds, 447 MB/s
загрузка 4 ядер проца при тесте равномерная ~25-35%
# dd if=/volumes/pool0/10G of=/dev/null bs=128k count=80000
80000+0 records in
80000+0 records out
10485760000 bytes (10 GB) copied, 17.9554 seconds, 584 MB/s
загрузка 4 ядер проца при тесте равномерная ~20-30%

вариант оптимизации на чтение (позвоните мне голосом на работу, расскажу КАК
не хочу светить как достигаются конкурентные преимущества)
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
245MB/s 24% 192MB/s 20% 794MB/s 35% 5257/sec
251MB/s 25% 196MB/s 21% 813MB/s 36% 5333/sec
--------- ---- --------- ---- --------- ---- ---------
497MB/s 24% 389MB/s 20% 1607MB/s 35% 5295/sec
загрузка 4 ядер проца при тесте равномерная ~75-85%


сбалансированная оптимизация
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
576MB/s 54% 269MB/s 30% 684MB/s 32% 594/sec
569MB/s 52% 267MB/s 30% 681MB/s 32% 617/sec
--------- ---- --------- ---- --------- ---- ---------
1145MB/s 53% 537MB/s 30% 1366MB/s 32% 605/sec
загрузка 4 ядер проца при тесте равномерная ~85-95%

P.S. А ошибок в Dmesg у Вас нету по крайней мере после создания пула
P.P.S TrinityNAS версии с SATA дисками не предназначен для оперативной работы это объёмная дешевая хранилка
(вы его к XEN цепляете ? - забудте, только на SAS дисках , и только при наличии второго SSD в кеше на запись можно получить приемлимые результаты). Такая задача не озвучивалась при приобретении, и не помню чтобы у Вас была лицензия на работу в VM - тогда бы я сразу сказал что нужны диски SAS.
Рекомендую замену на SAS (емкость меньше, цена дисков за "штуку" примерно одинакова), или приобретение доп пула SAS - будет два пула: быстрый и ёмкий

[dim-soft]

все ссылаются - у нас есть свой NAS , а где почитать что это и чем оно от nexenta отличается ?

[yuri-]

По поводу отсутствия ошибок в dmesg - не согласен.
Проблема у кучки SATA за экспандером есть.
Можно погуглить по "mpt timeouts".
Вот ещё чтиво http://gdamore.blogspot.com/search?q=sata Читать "Why SAS->SATA is not such a great idea" и выше.
Вообще ситуация гадская. По спецификациям должно нормально SATA за экспандерами работать, а на практике проблемы.
Установка SAS приводов конечно проблему решит, но это другие деньги уже. К тому же прекрасная концепция ZFS Hybrid Storage разваливается.
Ещё вариант - брать корпуса без экспандеров и вешать их на пучок адаптеров. Но тут теряем в расширяемости JBOD-ами и красоту в открытом корпусе
Почитывая news://news.gmane.org:119/gmane.os.solaris.opensolaris.zfs и news://news.gmane.org:119/gmane.os.solaris.opensolaris.storage.general я натыкался на сообщение, что вроде бы проблема с таймаутами у одного товарища решилась заменой LSI 1068 на LSI 2008 адаптер.

Интересно, как обстоят дела с 6 Gbit экспандерами в сочетании с новыми SATA3 дисками. Мы такую систему планируем брать в течение нескольких месяцев.

[setar]

все ссылаются - у нас есть свой NAS , а где почитать что это и чем оно от nexenta отличается ?

так я вам и рассказал
может ещё патчи выложить ?

почитать пока рано, оно только в серию выходит

[setar]

По поводу отсутствия ошибок в dmesg - не согласен.
Проблема у кучки SATA за экспандером есть.
Можно погуглить по "mpt timeouts".
Вот ещё чтиво http://gdamore.blogspot.com/search?q=sata Читать "Why SAS->SATA is not such a great idea" и выше.
Вообще ситуация гадская. По спецификациям должно нормально SATA за экспандерами работать, а на практике проблемы.
Установка SAS приводов конечно проблему решит, но это другие деньги уже. К тому же прекрасная концепция ZFS Hybrid Storage разваливается.
Ещё вариант - брать корпуса без экспандеров и вешать их на пучок адаптеров. Но тут теряем в расширяемости JBOD-ами и красоту в открытом корпусе
Почитывая news://news.gmane.org:119/gmane.os.solaris.opensolaris.zfs и news://news.gmane.org:119/gmane.os.solaris.opensolaris.storage.general я натыкался на сообщение, что вроде бы проблема с таймаутами у одного товарища решилась заменой LSI 1068 на LSI 2008 адаптер.

Интересно, как обстоят дела с 6 Gbit экспандерами в сочетании с новыми SATA3 дисками. Мы такую систему планируем брать в течение нескольких месяцев.

купите TrinityNAS потом и будите высказывать свои предположения
А нашему коммерческому клиенту заморачиваться о том КАК мы делаем систему работоспособной не требуется, и в этом вся прелесть.
А экспериментируйте сколько душе угодно - я на это развлекалово весь прошлый год положил,
и не планирую делиться наработками которые выделяют нас среди конкурентов.

[setar]

попил кофейку, подобрел и решил что высказался резковато
так что прошу не обижаться

в кратце так: мы выводим в серию продукт TrinityNAS, его описание пока готовится, ровно как и документация
от nexenta мы отличаемся принципиально - вы сравниваете софт c решением

ну и по поводу технических всяких деталей
тут все весьма забавно - клиента не должно волновать из каких деталек оно состоит,
какими прошивками поддерживается и по каким проводочкам оно информацию передает
главное чтобы оно работало : надежно, быстро, и по решению оказывалась своевременная поддержка
я прав ?

ну а какими методами эта поддержка и решение осуществляется - это уже наша головная боль.
моя задача убрать с плеч клиента эти заботы, и мне кажется это хорошая идея.
То что коллега Dyr начал препарировать систему делает честь ему как инженеру, но не правильно с точки зрения потребителя.
Ибо если у коллеги требуемый опыт для настройки системы на таком уровне то кто мешает обычный линукс превратить в прекрасную хранилку, зачем платить за решение готовое и поддержку ??

[Dyr]

setar, злой вы (можно на ты?) Я ж не в целях "фу, меня обманули" пишу, я из инженерных целей интересуюсь.
По пунктам:
1. RAID0 собран исключительно в целях тестирования максимальной скорости. В продакшене склоняюсь к RAID6 из одной группы в восемь дисков.
2. Ваши цифры с RAIDZ2 хороши, но всё равно совершенно непонятно, почему [с одного потока?] чтения в RAID0 было не выжать больше 120Мбайт/сек
3."А ошибок в Dmesg у Вас нету по крайней мере после создания пула" Ага, если бы. Каждый час вижу в логе такие записи.

Код: Выделить всё

root@trinitynas:/volumes#grep WARNING /var/log/messages
...
Feb 18 10:01:02 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 10:01:03 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 10:01:09 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 10:01:10 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 10:01:15 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 10:01:16 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 10:01:19 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g500151795940c4ce (sd7):
Feb 18 10:01:24 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 10:01:25 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 10:01:31 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 18 10:01:32 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 18 11:00:41 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 18 11:00:42 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 18 11:00:48 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 18 11:00:49 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 18 11:00:55 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 18 11:00:56 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 18 11:01:02 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 11:01:03 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 11:01:08 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 11:01:09 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 11:01:15 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 11:01:16 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 11:01:19 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g500151795940c4ce (sd7):
Feb 18 11:01:24 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 11:01:25 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 11:01:31 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 18 11:01:32 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 18 12:00:46 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 18 12:00:47 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe24 (sd1):
Feb 18 12:00:53 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 18 12:00:54 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7a (sd4):
Feb 18 12:01:00 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 18 12:01:01 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe0e (sd8):
Feb 18 12:01:07 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 12:01:07 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fe25 (sd3):
Feb 18 12:01:13 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 12:01:14 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9ff7d (sd6):
Feb 18 12:01:20 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 12:01:21 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222d9fd1e (sd9):
Feb 18 12:01:24 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g500151795940c4ce (sd7):
Feb 18 12:01:29 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 12:01:30 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da22ab (sd5):
Feb 18 12:01:36 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):
Feb 18 12:01:37 trinitynas scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/disk@g5000cca222da01b5 (sd2):

5. C SAS-дисками пока подождём, посмотрим, как будут работать виртуалки с этой хранилкой. Всё же SSD можно ещё поставить, да и самая напряжённая по диску будет виртуалка, работающая с netflow-файлами: большими и преимущественно на чтение.

главное чтобы оно работало : надежно, быстро, и по решению оказывалась своевременная поддержка
я прав ?

Ну тогда не мешало бы ещё документацию к решению прикладывать. И лицензию Тем более раз решение ещё только готовится, грех не побыть любимыми продакшн бета-тестерами.

Кстати, вот ещё вопрос, возникший из прочтения Nexent'овской доки: что, действительно придётся скачивать отдельную утилиту и записывать в какой корзинке стоит тот или иной диск с (в самом деле неудачными) именами вида c0t5000CCA222D9FD1Ed0?

P.S. Кстати, по небольшому опыту настройки Solaris'овского стораджа, рекомендую в /kernel/drv/igb.conf увеличить размер сетевых буферов rx_ring_size и tx_ring_size. Жаль, что multiqueue на сетевых картах, включаемая там же командами mr_enable=1 и rx_group_number, в Nexenta не работает, сетевухи просто отпадают (хотя такие же на OpenIndiana заводятся без проблем).

И ещё: можно ли сделать более verbose'ной процесс загрузки стораджа? Пока не привык казалось, что сторадж просто завис в процессе загрузки.

[Dyr]

Ах да, и ещё, по поводу iSCSI multipath. Как я и говорил, всё заработало (и должно было заработать!) без использования LACP и ему подобных техник nic teaming. Более того, при использовании iSCSI использование multipath, а не nic teaming, напрямую рекомендуется VmWare("iSCSI SAN Configuration Guide"), Oracle/Sun("USING ISCSI MULTIPATHING IN THE SOLARIS™ 10 OPERATING SYSTEM"), NetApp("NetApp and VMware Virtual Infrastructure 3 Storage Best Practices") и Microsoft("Microsoft iSCSI Software Initiator Version 2.X Users Guide"). Могу показать результаты тестов Iometer 2006 с Windows 2008 с подключенным через четыре гигабитных линка к стораджу.

[setar]

setar, злой вы (можно на ты?) Я ж не в целях "фу, меня обманули" пишу, я из инженерных целей интересуюсь.

скорее нужно на ты , так душевнее

По пунктам:
1. RAID0 собран исключительно в целях тестирования максимальной скорости. В продакшене склоняюсь к RAID6 из одной группы в восемь дисков.

Я его вообще ни разу на собирал, не интересно было в практическом применении.
Не уверен что у него максимальная производительность, всё же два проца мы ставим не просто так.
А в рейд 0 проц вообще не используется...

2. Ваши цифры с RAIDZ2 хороши, но всё равно совершенно непонятно, почему [с одного потока?] чтения в RAID0 было не выжать больше 120Мбайт/сек

что то не так, решим
пишите на icq или почту

3."А ошибок в Dmesg у Вас нету по крайней мере после создания пула" Ага, если бы. Каждый час вижу в логе такие записи.

не нужно туда смотреть, это для меня и коллег инфа

5. C SAS-дисками пока подождём, посмотрим, как будут работать виртуалки с этой хранилкой. Всё же SSD можно ещё поставить, да и самая напряжённая по диску будет виртуалка, работающая с netflow-файлами: большими и преимущественно на чтение.

Пробовать конечно можно, но не уверен...
Давайте попробуем вместе довести до ума, мне это интересно для опыта и статистики.

Ну тогда не мешало бы ещё документацию к решению прикладывать. И лицензию Тем более раз решение ещё только готовится, грех не побыть любимыми продакшн бета-тестерами.

тут да - не успеваем всего, поэтому я пока в массы и не спешу выпускать продукт

Кстати, вот ещё вопрос, возникший из прочтения Nexent'овской доки: что, действительно придётся скачивать отдельную утилиту и записывать в какой корзинке стоит тот или иной диск с (в самом деле неудачными) именами вида c0t5000CCA222D9FD1Ed0?

нет, не нужно, это решено, расскажу

P.S. Кстати, по небольшому опыту настройки Solaris'овского стораджа, рекомендую в /kernel/drv/igb.conf увеличить размер сетевых буферов rx_ring_size и tx_ring_size. Жаль, что multiqueue на сетевых картах, включаемая там же командами mr_enable=1 и rx_group_number, в Nexenta не работает, сетевухи просто отпадают (хотя такие же на OpenIndiana заводятся без проблем).

это делается прямо из web интерфейса

И ещё: можно ли сделать более verbose'ной процесс загрузки стораджа? Пока не привык казалось, что сторадж просто завис в процессе загрузки.

не нужен апплайнсу монитор, вообще ...
я его буду отключать или будем маму без оного брать )))

[setar]

Ах да, и ещё, по поводу iSCSI multipath. Как я и говорил, всё заработало (и должно было заработать!) без использования LACP и ему подобных техник nic teaming. ...

Может путаю, я не болшой знаток сети, но вроде бы это работает только на прямых соединениях точка-точка без коммутатора.

[diz]

Ах да, и ещё, по поводу iSCSI multipath. Как я и говорил, всё заработало (и должно было заработать!) без использования LACP и ему подобных техник nic teaming.

А какой mpio модуль используется для этого?

[dim-soft]

все равно не понятно - слышны дикие вопли:
- "наш Nas лучше"(с)
- чем лучше ?
- чем Nexenta

странно:
я купил у вас сервер на 8 дисков и поставил туда nexenta что я сделал не так ?
или если бы мне сразу надо было сервер под хранилку, то вы добавили бы $$$ и поставили свой ?
так он как кот в мешке, мне не надо патчи, все равно я их не использую, но хотя бы полу-маркетинговую инфу с цифрами.

PS ни на один мой пост про nexenta и ZFS никто не ответил.

[exLH]

я купил у вас сервер на 8 дисков и поставил туда nexenta что я сделал не так ?

Вы все сделали правильно - не потратили ни одной лишней копейки.
И теперь сами занимаетесь поиском ответов на свои вопросы. Так как

ни на один мой пост про nexenta и ZFS никто не ответил.

А если бы

сразу надо было сервер под хранилку, то вы добавили бы $$$ и поставили свой

И Вам не пришлось бы искать ответы на вопросы.