Падение скорости записи 9750-8i CentOS 6.6
Модераторы: Trinity admin`s, Free-lance moderator`s
Падение скорости записи 9750-8i CentOS 6.6
Добрый день собравшимся
досталась по наследству кучка серверов
в каждом свои тараканы(преднастроены по феншую сторонней организации без права апелляции и выбора ( )
Одна из проблем дикое падение скорости записи на аппаратный рейд (сервер используется под бекап)
остальное железо(только не ржите) Supermicro 2U на e5-2609 v2 4GB c 2x1TB + LSI 8x4TB SAS
iperf и прочие показывают 949 Mbits/sec
при копировании с него 100-110МБ/с
а при записи буквально через пару секунд скорость падает практически до 0
вопрос куда копать?
прошивка вроде как последняя("феншуйные" эксперименты ставили)
дрова, как я понял нативные...
досталась по наследству кучка серверов
в каждом свои тараканы(преднастроены по феншую сторонней организации без права апелляции и выбора ( )
Одна из проблем дикое падение скорости записи на аппаратный рейд (сервер используется под бекап)
остальное железо(только не ржите) Supermicro 2U на e5-2609 v2 4GB c 2x1TB + LSI 8x4TB SAS
iperf и прочие показывают 949 Mbits/sec
при копировании с него 100-110МБ/с
а при записи буквально через пару секунд скорость падает практически до 0
вопрос куда копать?
прошивка вроде как последняя("феншуйные" эксперименты ставили)
дрова, как я понял нативные...
Re: Падение скорости записи 9750-8i CentOS 6.6
пока так никто и не написал ничего...
дополню, вдруг принципиально..
терабайтники ST1000NM0033-9ZM собраны mdadm в RAID1
про ЛСАй известно только Partition format:GPT, Type: Linux EXT на все 22.35ТБ
[root@backup ~]# hdparm -tT /dev/md4
/dev/md4:
Timing cached reads: 17870 MB in 2.00 seconds = 8948.01 MB/sec
Timing buffered disk reads: 468 MB in 3.01 seconds = 155.67 MB/sec
[root@backup ~]# hdparm -tT /dev/sda1
/dev/sda1:
Timing cached reads: 18156 MB in 2.00 seconds = 9092.14 MB/sec
Timing buffered disk reads: 1448 MB in 3.00 seconds = 482.58 MB/sec
дополню, вдруг принципиально..
терабайтники ST1000NM0033-9ZM собраны mdadm в RAID1
про ЛСАй известно только Partition format:GPT, Type: Linux EXT на все 22.35ТБ
[root@backup ~]# hdparm -tT /dev/md4
/dev/md4:
Timing cached reads: 17870 MB in 2.00 seconds = 8948.01 MB/sec
Timing buffered disk reads: 468 MB in 3.01 seconds = 155.67 MB/sec
[root@backup ~]# hdparm -tT /dev/sda1
/dev/sda1:
Timing cached reads: 18156 MB in 2.00 seconds = 9092.14 MB/sec
Timing buffered disk reads: 1448 MB in 3.00 seconds = 482.58 MB/sec
Re: Падение скорости записи 9750-8i CentOS 6.6
статистику "iostat -xdm 1" в это время гляньте, может там что интересного найдется.
Re: Падение скорости записи 9750-8i CentOS 6.6
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 4.50 4.10 4.10
sdc 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 3.50 3.20 3.20
sda 0.00 0.00 0.00 11.00 0.00 1.38 256.00 144.56 715.64 90.91 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 6.00 0.00 0.02 8.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 14.00 0.00 1.75 256.00 141.66 1557.57 71.43 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 15.00 0.00 1.63 222.93 146.26 2483.93 66.67 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 17.00 0.00 2.12 256.00 143.16 3112.06 58.82 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
при перезаписи
скорость упала с 100 до 10
sdb 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 4.50 4.10 4.10
sdc 0.00 1.00 0.00 10.00 0.00 0.03 5.60 0.04 3.50 3.20 3.20
sda 0.00 0.00 0.00 11.00 0.00 1.38 256.00 144.56 715.64 90.91 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 6.00 0.00 0.02 8.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 14.00 0.00 1.75 256.00 141.66 1557.57 71.43 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 15.00 0.00 1.63 222.93 146.26 2483.93 66.67 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda 0.00 0.00 0.00 17.00 0.00 2.12 256.00 143.16 3112.06 58.82 100.00
md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
при перезаписи
скорость упала с 100 до 10
Re: Падение скорости записи 9750-8i CentOS 6.6
запись локально идет или по сети?
попробуйте локально померить на примере http://habrahabr.ru/post/154235/, для начала тест на потоковую запись.
попробуйте локально померить на примере http://habrahabr.ru/post/154235/, для начала тест на потоковую запись.
Re: Падение скорости записи 9750-8i CentOS 6.6
readtest: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
fio-2.1.10
Starting 1 process
^Cbs: 1 (f=1): [r] [0.0% done] [3104KB/0KB/0KB /s] [776/0/0 iops] [eta 86d:08h:36m:14s]
fio: terminating on signal 2
readtest: (groupid=0, jobs=1): err= 0: pid=4693: Tue Feb 17 15:33:18 2015
read : io=420524KB, bw=3155.8KB/s, iops=788, runt=133256msec
slat (usec): min=3, max=251, avg= 7.55, stdev= 4.67
clat (msec): min=2, max=588, avg=40.52, stdev=33.69
lat (msec): min=2, max=588, avg=40.53, stdev=33.69
clat percentiles (msec):
| 1.00th=[ 7], 5.00th=[ 10], 10.00th=[ 13], 20.00th=[ 17],
| 30.00th=[ 21], 40.00th=[ 25], 50.00th=[ 30], 60.00th=[ 37],
| 70.00th=[ 46], 80.00th=[ 60], 90.00th=[ 83], 95.00th=[ 106],
| 99.00th=[ 167], 99.50th=[ 196], 99.90th=[ 277], 99.95th=[ 310],
| 99.99th=[ 375]
bw (KB /s): min= 2427, max= 3344, per=100.00%, avg=3158.56, stdev=81.02
lat (msec) : 4=0.11%, 10=5.29%, 20=23.99%, 50=44.29%, 100=20.41%
lat (msec) : 250=5.77%, 500=0.15%, 750=0.01%
cpu : usr=0.60%, sys=0.99%, ctx=102663, majf=0, minf=61
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
issued : total=r=105131/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32
Run status group 0 (all jobs):
READ: io=420524KB, aggrb=3155KB/s, minb=3155KB/s, maxb=3155KB/s, mint=133256msec, maxt=133256msec
Disk stats (read/write):
sda: ios=105027/0, merge=0/0, ticks=4253778/0, in_queue=4254786, util=99.47%
fio-2.1.10
Starting 1 process
^Cbs: 1 (f=1): [r] [0.0% done] [3104KB/0KB/0KB /s] [776/0/0 iops] [eta 86d:08h:36m:14s]
fio: terminating on signal 2
readtest: (groupid=0, jobs=1): err= 0: pid=4693: Tue Feb 17 15:33:18 2015
read : io=420524KB, bw=3155.8KB/s, iops=788, runt=133256msec
slat (usec): min=3, max=251, avg= 7.55, stdev= 4.67
clat (msec): min=2, max=588, avg=40.52, stdev=33.69
lat (msec): min=2, max=588, avg=40.53, stdev=33.69
clat percentiles (msec):
| 1.00th=[ 7], 5.00th=[ 10], 10.00th=[ 13], 20.00th=[ 17],
| 30.00th=[ 21], 40.00th=[ 25], 50.00th=[ 30], 60.00th=[ 37],
| 70.00th=[ 46], 80.00th=[ 60], 90.00th=[ 83], 95.00th=[ 106],
| 99.00th=[ 167], 99.50th=[ 196], 99.90th=[ 277], 99.95th=[ 310],
| 99.99th=[ 375]
bw (KB /s): min= 2427, max= 3344, per=100.00%, avg=3158.56, stdev=81.02
lat (msec) : 4=0.11%, 10=5.29%, 20=23.99%, 50=44.29%, 100=20.41%
lat (msec) : 250=5.77%, 500=0.15%, 750=0.01%
cpu : usr=0.60%, sys=0.99%, ctx=102663, majf=0, minf=61
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
issued : total=r=105131/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32
Run status group 0 (all jobs):
READ: io=420524KB, aggrb=3155KB/s, minb=3155KB/s, maxb=3155KB/s, mint=133256msec, maxt=133256msec
Disk stats (read/write):
sda: ios=105027/0, merge=0/0, ticks=4253778/0, in_queue=4254786, util=99.47%
Re: Падение скорости записи 9750-8i CentOS 6.6
судя по названию теста это последовательное чтение. размер тестового образца маленький, всего 400МБ, и при этом очень низкий результат - всего 3МБ/сек. напишите параметры, с которыми запускали.
да и не с того я начал, нужно полное описание - контроллер, наличие кэша, диски, настройки массивов, описание блочных устройств в ос, файловые системы локальные и сетевые, какими средствами пишется и кто пишет.
да и не с того я начал, нужно полное описание - контроллер, наличие кэша, диски, настройки массивов, описание блочных устройств в ос, файловые системы локальные и сетевые, какими средствами пишется и кто пишет.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Падение скорости записи 9750-8i CentOS 6.6
Контроллер LSI 9750-8i, про кеш непонятно. Для потоковой записи и чтения важен размер блока. Точно не помню пропорции, по моему чем бОльше размер блока, чем больше скорость и меньше IOPs. И наоборот.maverlife писал(а):да и не с того я начал, нужно полное описание - контроллер, наличие кэша, диски, настройки массивов, описание блочных устройств в ос, файловые системы локальные и сетевые, какими средствами пишется и кто пишет.
Re: Падение скорости записи 9750-8i CentOS 6.6
в линуксах размер блока фс не может быть больше размера страницы памяти ядра, по умолчанию для абсолютного большинства систем оно равно 4КиБ. думаю и в данном случае оно не менялось. в тесте видно, что чтение велось блоками такого размера.
Re: Падение скорости записи 9750-8i CentOS 6.6
параметры с хабра
настройки производились не мной (
тест записи не делал , поскольку "чистого" раздела нет, а терять те бекапы что там есть не хотелось бы
чтение по сети идет плавно 98-115МБ/с
а вот при записи после первых 300-500МБ идет провал
(сегодня ночью пытался хайпер-в машинки туда скопировать для опытов, скорость упала до 1.2МБ/с, витоге за ночь 0-9 скопировано только около 100ГБ)
настройки производились не мной (
тест записи не делал , поскольку "чистого" раздела нет, а терять те бекапы что там есть не хотелось бы
чтение по сети идет плавно 98-115МБ/с
а вот при записи после первых 300-500МБ идет провал
(сегодня ночью пытался хайпер-в машинки туда скопировать для опытов, скорость упала до 1.2МБ/с, витоге за ночь 0-9 скопировано только около 100ГБ)
Re: Падение скорости записи 9750-8i CentOS 6.6
вы на мои вопросы выше можете ответить? если нет, то гадание на кофейной гуще же.
Re: Падение скорости записи 9750-8i CentOS 6.6
писал вроде как
разве что по железу
шасси Supermicro 2U
cse-825tq-r740lpb
E5-2609v2
4GB
2x740W
2x1TB 3.5" RE LinuxRAID
ST1000NM0033-9ZM
контроллер 9750-8i
8x4TB 3.5" RE
(тут не знаю, тк дальше рейда удаленно не вижу, это же относится к настройкам самого рейда)
CentOS 6.6
разве что по железу
шасси Supermicro 2U
cse-825tq-r740lpb
E5-2609v2
4GB
2x740W
2x1TB 3.5" RE LinuxRAID
ST1000NM0033-9ZM
контроллер 9750-8i
8x4TB 3.5" RE
(тут не знаю, тк дальше рейда удаленно не вижу, это же относится к настройкам самого рейда)
CentOS 6.6
Re: Падение скорости записи 9750-8i CentOS 6.6
случилось чудо
смог поставить 3DM2 на Центось
итак:
Rebuild|Migrate|Verify 1(Fastetst I/O) Adaptive
RAID6
Write Cache false
Read Cache Intelligent
Auto Verify true
Overwrite ECC false
Queuing true
StorSave Balance
Rapid RAID Recovery ALL
Auto Rebuild Enabled
Auto-Carving Disabled
Carve Size 2048 GB
Number of Drives per Spin-up 1
Delay between Spin-up 1sec
Export Unconfigured Disk No
Number of Controller Phys 8
Firmware FH9X 5.12.00.007
веники
HGST HUS724040ALA640
смог поставить 3DM2 на Центось
итак:
Rebuild|Migrate|Verify 1(Fastetst I/O) Adaptive
RAID6
Write Cache false
Read Cache Intelligent
Auto Verify true
Overwrite ECC false
Queuing true
StorSave Balance
Rapid RAID Recovery ALL
Auto Rebuild Enabled
Auto-Carving Disabled
Carve Size 2048 GB
Number of Drives per Spin-up 1
Delay between Spin-up 1sec
Export Unconfigured Disk No
Number of Controller Phys 8
Firmware FH9X 5.12.00.007
веники
HGST HUS724040ALA640
Re: Падение скорости записи 9750-8i CentOS 6.6
свежих мыслей нет ?
Re: Падение скорости записи 9750-8i CentOS 6.6
вынужден поднять тему
только что наконец -таки вытащил больного на свет
батарейка там физически стоит (BAT1S1P судя по наклейке свежая 23.09.14)
передергивание оном ник чему не привела
по прежнему в веэб-морде NOT PRESENT
куда копать?
ЗЫ: из наблюдений, кабель от нее (не ясно зачем такой длинный) сборщиками сложен в 4 раза и стянут двумя стяжками
на выходе достаточно тонкие провода, не могли повредить ?
только что наконец -таки вытащил больного на свет
батарейка там физически стоит (BAT1S1P судя по наклейке свежая 23.09.14)
передергивание оном ник чему не привела
по прежнему в веэб-морде NOT PRESENT
куда копать?
ЗЫ: из наблюдений, кабель от нее (не ясно зачем такой длинный) сборщиками сложен в 4 раза и стянут двумя стяжками
на выходе достаточно тонкие провода, не могли повредить ?
Кто сейчас на конференции
Сейчас этот форум просматривают: Bing [Bot] и 27 гостей