Маленькая скорость I/O-операций с RAID-массивом

На доскональное знание данной темы, не может претендовать, пожалуй ни один спец, из ныне живущих на земле. ;-)
Так поможем друг другу.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
RNZ
Junior member
Сообщения: 5
Зарегистрирован: 07 сен 2007, 18:26
Откуда: Russia

Маленькая скорость I/O-операций с RAID-массивом

Сообщение RNZ » 07 сен 2007, 18:30

Есть железка Supermicro SYS-6025B-TR+B ( http://supermicro.com/products/system/2 ... B-TR+V.cfm ), два четырёх ядерника xeon E5310, RAM 6 GB, HDD 8x300gb SATA на 3ware 9550SX-8LP :

Код: Выделить всё

fbsrv001 ~ # uname -a
Linux fbsrv001 2.6.22-gentoo-r5 1 #SMP PREEMPT Mon Sep 3 01:18:32 MSD 2007 x86_64 Intel(R) Xeon(R) CPU E5310 @ 1.60GHz GenuineIntel GNU/Linux

Код: Выделить всё

fbsrv001 ~ # tw_cli show

Ctl   Model        Ports   Drives   Units   NotOpt   RRate   VRate   BBU
------------------------------------------------------------------------
c0    9550SX-8LP   8       8        3       0        1       1       -     

fbsrv001 ~ # tw_cli info c0

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-50   OK             -       -       64K     1192.05   ON     ON       
u1    SPARE     OK             -       -       -       298.082   -      OFF      
u2    SPARE     OK             -       -       -       298.082   -      OFF      

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     OK               u0     298.09 GB   625142448     9QF3E0KY            
p1     OK               u0     298.09 GB   625142448     9QF3GT4Z            
p2     OK               u0     298.09 GB   625142448     9QF3ENJB            
p3     OK               u0     298.09 GB   625142448     9QF37RV8            
p4     OK               u0     298.09 GB   625142448     9QF3ENZL            
p5     OK               u0     298.09 GB   625142448     9QF3EGXL            
p6     OK               u1     298.09 GB   625142448     9QF3EDZX            
p7     OK               u2     298.09 GB   625142448     9QF3GVCT       

Код: Выделить всё

fbsrv001 ~ # ./seeker /dev/sda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [1220660MB], wait 30 seconds.............................
Results: 72 seeks/second, 13.85 ms random access time

fbsrv001 ~ # hdparm -t /dev/sda
/dev/sda:
 Timing buffered disk reads:  680 MB in  3.00 seconds = 226.58 MB/sec

fbsrv001 ~ # hdparm -T /dev/sda
/dev/sda:
 Timing cached reads:   4620 MB in  2.00 seconds = 2312.27 MB/sec

fbsrv001 ~ # hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   4716 MB in  2.00 seconds = 2359.90 MB/sec
 Timing buffered disk reads:  636 MB in  3.00 seconds = 211.69 MB/sec
Скорость копирования в начале(первые 10 секунд) 180 мб/сек, затем падает до 35-37 мб/секунду, seek (видно выше) как у одного обычного винта. Это с кешем.
А без кеша скорость падает до 4-7 мб/сек

В чём может быть дело?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Маленькая скорость I/O-операций с RAID-массивом

Сообщение Stranger03 » 07 сен 2007, 19:38

Под линух поставьте иометр и померьте скорость. Мерять скорость записи и чтения тупым копированием файла туда-сюда просто глупо.

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 07 сен 2007, 21:49

Откуда и куда копировали-то?

RNZ
Junior member
Сообщения: 5
Зарегистрирован: 07 сен 2007, 18:26
Откуда: Russia

Сообщение RNZ » 07 сен 2007, 22:21

Stranger03
Вкурсе.  Под виндой только им и меряю. А вот под linux упарил этот iometer со своими зависимостями, на tсp ругается. Если есть подробная (от установки с приведением всех зависимостей) инструкция как мерять iometer'ом под linux - поделитесь пожалуйста.

Но вообще и без всякого iometer ясно что RAID пашет очень медленно.

Задачи которые будет решать сервер - крутить firebirdsql с тремя базами общим объёмом в 30-40 гб и ежедневный бекап на оставшуюся ёмкость, плюс писать на болванки, раз в неделю.

Но при такой скорости копирования бекап выполняется по 4 часа.

and3008
на одном и том же устройстве, с ext3 на xfs, с ext3 на ext3, с xfs на xfs
да и просто с dd проверял с 64кб - 8мб буферами

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Сообщение and3008 » 07 сен 2007, 23:39

Советы:
1. Попробовать протестировать работу с ОЗУ менее 4 Гиг.
2. Попробовать драйвер для RAID-контроллера поставить более свежий или чуть старее.
3. Внимательно изучить опции тюнинга драйвера. Возможно что-то вам поможет.

Пояснения:
Совет про 4 Гига ОЗУ - подозрение что ядро не очень эффективно работает с ОЗУ более 4 Гиг. Проще и быстрее ОЗУ маненько снять и проверить. Если это оно, то будем дальше соображать как это лечить.

Совет про драйвер из соображений "не все драйверы одинаково полезны". Проходил я это много раз.

Совет про тюнинг контроллера и драйвера - там есть кое-какие опции тюнинга. Там есть что немного покрутить.
Например тут пишут всякое:
http://www.3ware.com/KB/article.aspx?id=11050

fandr
Junior member
Сообщения: 18
Зарегистрирован: 06 сен 2007, 11:13
Откуда: SPb

Сообщение fandr » 10 сен 2007, 11:33

другой совет:

raid 5 - не самый удачный вариант для операций записи,
попробуйте использовать raid 10 (вроде по дисковому пространству должно хватить ~900Gb на вашей конфигурации)

RNZ
Junior member
Сообщения: 5
Зарегистрирован: 07 сен 2007, 18:26
Откуда: Russia

Сообщение RNZ » 10 сен 2007, 11:56

and3008
1. оперативка при копировании бывает занята максимум на 500 мегабайт
2. менял ядра от 18 до 22 (а соответственно и драйверы менялись), "эффекту - нуль"
3. попробую..

fandr
вообще-то конфигурация на raid50 (два raid5 в stripe'е)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 10 сен 2007, 15:53

Рэйд5 и 50 по скорости не отличаются...

RNZ
Junior member
Сообщения: 5
Зарегистрирован: 07 сен 2007, 18:26
Откуда: Russia

Сообщение RNZ » 11 сен 2007, 10:10

gs писал(а):Рэйд5 и 50 по скорости не отличаются...
Да действительно, как-то и забыл про это...

Ответить

Вернуться в «Серверы - ПО, Unix подобные системы»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей