Падение скорости записи 9750-8i CentOS 6.6

[B.R@ven]

Добрый день собравшимся
досталась по наследству кучка серверов
в каждом свои тараканы(преднастроены по феншую сторонней организации без права апелляции и выбора ( )
Одна из проблем дикое падение скорости записи на аппаратный рейд (сервер используется под бекап)
остальное железо(только не ржите) Supermicro 2U на e5-2609 v2 4GB c 2x1TB + LSI 8x4TB SAS
iperf и прочие показывают 949 Mbits/sec
при копировании с него 100-110МБ/с
а при записи буквально через пару секунд скорость падает практически до 0

вопрос куда копать?
прошивка вроде как последняя("феншуйные" эксперименты ставили)
дрова, как я понял нативные...

[B.R@ven]

пока так никто и не написал ничего...
дополню, вдруг принципиально..

терабайтники ST1000NM0033-9ZM собраны mdadm в RAID1
про ЛСАй известно только Partition format:GPT, Type: Linux EXT на все 22.35ТБ

[root@backup ~]# hdparm -tT /dev/md4
/dev/md4:
Timing cached reads: 17870 MB in 2.00 seconds = 8948.01 MB/sec
Timing buffered disk reads: 468 MB in 3.01 seconds = 155.67 MB/sec

[root@backup ~]# hdparm -tT /dev/sda1
/dev/sda1:
Timing cached reads: 18156 MB in 2.00 seconds = 9092.14 MB/sec
Timing buffered disk reads: 1448 MB in 3.00 seconds = 482.58 MB/sec

[maverlife]

статистику "iostat -xdm 1" в это время гляньте, может там что интересного найдется.

[B.R@ven]

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 4.50 4.10 4.10
sdc 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 3.50 3.20 3.20
sda 0.00 0.00 0.00 11.00 0.00 1.38 256.00 144.56 715.64 90.91 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 6.00 0.00 0.02 8.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 14.00 0.00 1.75 256.00 141.66 1557.57 71.43 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 15.00 0.00 1.63 222.93 146.26 2483.93 66.67 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 17.00 0.00 2.12 256.00 143.16 3112.06 58.82 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

при перезаписи
скорость упала с 100 до 10

[maverlife]

запись локально идет или по сети?
попробуйте локально померить на примере http://habrahabr.ru/post/154235/, для начала тест на потоковую запись.

[B.R@ven]

readtest: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
fio-2.1.10
Starting 1 process
^Cbs: 1 (f=1): [r] [0.0% done] [3104KB/0KB/0KB /s] [776/0/0 iops] [eta 86d:08h:36m:14s]
fio: terminating on signal 2

readtest: (groupid=0, jobs=1): err= 0: pid=4693: Tue Feb 17 15:33:18 2015
read : io=420524KB, bw=3155.8KB/s, iops=788, runt=133256msec
slat (usec): min=3, max=251, avg= 7.55, stdev= 4.67
clat (msec): min=2, max=588, avg=40.52, stdev=33.69
lat (msec): min=2, max=588, avg=40.53, stdev=33.69
clat percentiles (msec):
| 1.00th=[ 7], 5.00th=[ 10], 10.00th=[ 13], 20.00th=[ 17],
| 30.00th=[ 21], 40.00th=[ 25], 50.00th=[ 30], 60.00th=[ 37],
| 70.00th=[ 46], 80.00th=[ 60], 90.00th=[ 83], 95.00th=[ 106],
| 99.00th=[ 167], 99.50th=[ 196], 99.90th=[ 277], 99.95th=[ 310],
| 99.99th=[ 375]
bw (KB /s): min= 2427, max= 3344, per=100.00%, avg=3158.56, stdev=81.02
lat (msec) : 4=0.11%, 10=5.29%, 20=23.99%, 50=44.29%, 100=20.41%
lat (msec) : 250=5.77%, 500=0.15%, 750=0.01%
cpu : usr=0.60%, sys=0.99%, ctx=102663, majf=0, minf=61
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
issued : total=r=105131/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
READ: io=420524KB, aggrb=3155KB/s, minb=3155KB/s, maxb=3155KB/s, mint=133256msec, maxt=133256msec

Disk stats (read/write):
sda: ios=105027/0, merge=0/0, ticks=4253778/0, in_queue=4254786, util=99.47%

[maverlife]

судя по названию теста это последовательное чтение. размер тестового образца маленький, всего 400МБ, и при этом очень низкий результат - всего 3МБ/сек. напишите параметры, с которыми запускали.
да и не с того я начал, нужно полное описание - контроллер, наличие кэша, диски, настройки массивов, описание блочных устройств в ос, файловые системы локальные и сетевые, какими средствами пишется и кто пишет.

[Stranger03]

да и не с того я начал, нужно полное описание - контроллер, наличие кэша, диски, настройки массивов, описание блочных устройств в ос, файловые системы локальные и сетевые, какими средствами пишется и кто пишет.

Контроллер LSI 9750-8i, про кеш непонятно. Для потоковой записи и чтения важен размер блока. Точно не помню пропорции, по моему чем бОльше размер блока, чем больше скорость и меньше IOPs. И наоборот.

[maverlife]

в линуксах размер блока фс не может быть больше размера страницы памяти ядра, по умолчанию для абсолютного большинства систем оно равно 4КиБ. думаю и в данном случае оно не менялось. в тесте видно, что чтение велось блоками такого размера.

[B.R@ven]

параметры с хабра
настройки производились не мной (
тест записи не делал , поскольку "чистого" раздела нет, а терять те бекапы что там есть не хотелось бы

чтение по сети идет плавно 98-115МБ/с
а вот при записи после первых 300-500МБ идет провал
(сегодня ночью пытался хайпер-в машинки туда скопировать для опытов, скорость упала до 1.2МБ/с, витоге за ночь 0-9 скопировано только около 100ГБ)

[maverlife]

вы на мои вопросы выше можете ответить? если нет, то гадание на кофейной гуще же.

[B.R@ven]

писал вроде как
разве что по железу
шасси Supermicro 2U
cse-825tq-r740lpb
E5-2609v2
4GB
2x740W
2x1TB 3.5" RE LinuxRAID
ST1000NM0033-9ZM
контроллер 9750-8i
8x4TB 3.5" RE
(тут не знаю, тк дальше рейда удаленно не вижу, это же относится к настройкам самого рейда)
CentOS 6.6

[B.R@ven]

случилось чудо
смог поставить 3DM2 на Центось
итак:
Rebuild|Migrate|Verify 1(Fastetst I/O) Adaptive
RAID6
Write Cache false
Read Cache Intelligent
Auto Verify true
Overwrite ECC false
Queuing true
StorSave Balance
Rapid RAID Recovery ALL

Auto Rebuild Enabled
Auto-Carving Disabled
Carve Size 2048 GB
Number of Drives per Spin-up 1
Delay between Spin-up 1sec
Export Unconfigured Disk No
Number of Controller Phys 8

Firmware FH9X 5.12.00.007

веники
HGST HUS724040ALA640

[B.R@ven]

свежих мыслей нет ?

[B.R@ven]

вынужден поднять тему
только что наконец -таки вытащил больного на свет
батарейка там физически стоит (BAT1S1P судя по наклейке свежая 23.09.14)
передергивание оном ник чему не привела
по прежнему в веэб-морде NOT PRESENT

куда копать?

ЗЫ: из наблюдений, кабель от нее (не ясно зачем такой длинный) сборщиками сложен в 4 раза и стянут двумя стяжками
на выходе достаточно тонкие провода, не могли повредить ?