вопрос по IBM DS4700

[april]

имеется сие поделие небезызвестной фирмы IBM, много прочитанно документации по оптимизации AIX но производительности обещаемой производителем так и не добился
мониторю каналы на fc свиче но болье 1гигабита не нагруженна система вообще (хотя стоят 4 гигабитные SFP модули как на серверах так и на хранилище)

пробовал напрямую с луна на лун (читаю с одного хранилища, пишу в другое) копировать, 300гигов копируются примерно 4 часа
самое странное поведение это мониторинг контроллеров на аиксе, нагрузка на читающий контроллер больше чем на пишущий, что меня собственно больше всего удивляет

[diz]

А сколько дисков в массиве и какой массив? А у вас задача завязана именно на копирование файлов?

[april]

задача много
1. на это хранилище (вообще их 2) подвешенно Balde Center (IBM) с 8 лезвиями под vmare
2. тот же блейд центр с 2 лезвиями с pSeries
3. 3 pSeries p550 express

есть одна специфическая задача называется т24 принцип работы как у 1С в файлсерверном варианте (jBase как СУБД t24 aka Temenos как фронтэнд)
скорость работы вот этой штуки крайне низкая, по сравнению даже с обычным сервером и рейдом 10 на 4 SAS винтах
дисков в массиве достаточно много в частности стоит 3 полки полностью забитые винтами + голова тоже забитая винтами
винты fc 146Gb (4Gb) рейд 10

[gs]

Какие политики кэширования и прочие параметры дисковой?

[april]

на стороне виоса
# lsattr -EHl hdisk5
attribute value description user_settable

PR_key_value none Persistant Reserve Key Value True
cache_method default Write Caching method False
ieee_volname 600A0B8000505EA80000043A4A8BCE0B IEEE Unique volume name False
lun_id 0x0001000000000000 Logical Unit Number False
max_transfer 0x100000 Maximum TRANSFER Size True
prefetch_mult 0 Multiple of blocks to prefetch on read False
pvid 00c0e994332a85040000000000000000 Physical volume identifier False
q_type simple Queuing Type False
queue_depth 64 Queue Depth True
raid_level 5 RAID Level False
reassign_to 120 Reassign Timeout value True
reserve_policy no_reserve Reserve Policy True
rw_timeout 8 Read/Write Timeout value True
scsi_id 0x20300 SCSI ID False
size 30719 Size in Mbytes False
write_cache no Write Caching enabled False

# lsattr -EHl fcs0
attribute value description user_settable

bus_intr_lvl Bus interrupt level False
bus_io_addr 0xff800 Bus I/O address False
bus_mem_addr 0xffe7e000 Bus memory address False
init_link al INIT Link flags True
intr_msi_1 533 Bus interrupt level False
intr_priority 3 Interrupt priority False
lg_term_dma 0x800000 Long term DMA True
max_xfer_size 0x100000 Maximum Transfer Size True
num_cmd_elems 2048 Maximum number of COMMANDS to queue to the adapter True
pref_alpa 0x1 Preferred AL_PA True
sw_fc_class 2 FC Class for Fabric True

на стороне хранилища высталены все настройки кешей, за исключением кеширования при отказе батарейки

странность хранилища в том что где то в настройках я видел одну фразу точно не помню, но примерно звучит так
кеш на контроллерах пристутвует, но отключен по причинам внутри самого хранилища

[diz]

Давайте подробнее по конфигурации хранилища.

[gs]

Если кэш отключен, то ничего удивительного нет.
Выясняйте, почему он выключен (может просто батарейка сдохла).

[april]

2 gs эта запись появилась после перепрошивки на последний фирмвейр, а тормозило оно всегда
2 diz что конкретно, в принципе любую информацию могу предоставить

[diz]

Прицепите конфигу хранилища. Storage Subsystem->Configuration->Save. Установите все галочки.
Версия прошивки?

[april]

Current configuration
 

    Firmware version:
07.60.28.00

    NVSRAM version:
N1814D47R1060V04

    EMW version:
10.60.G5.16

    AMW version:
10.60.G5.16

[diz]

Скажу сразу: опыт с такими системами у меня небольшой и понимать, как у вас все настроено по файлу очень неудобно, поэтому могу набредить. Надеюсь, специалисты тринити не надут мне премию им. Григория Остера.

1. IBM для 10го рейда не рекомендует более 12и дисков на группу. Вы пихаете сильно больше.
2. Контроллер А быстрее работает с дисками в слотах с нечетными номерами, соответственно B работает быстрей с четными. Учтите это при расфасовке.
3. Так же, раз делаете 10й рейд, то лучше раскладывать диски так, чтобы зеркальные пары были распределены между полками (на скорость не влияет, но будет слегка надежнее).
4. LUN`ы раздавайте контроллерам так, чтобы нагрузка на контроллеры была равномерна.
5. Раз реальная задача у вас состоит в случайном доступе (файловая БД и виртуализация), то readaheadmultiplier можно выставить в 0.

Кэш у Вас везде включен в настройках. Раз Вы говорите, что он выключен, значит его засаспендила система в связи с техническими проблемами. Еще такое иногда бывает при перепрошивке. Если значек СХД в SM горит зеленым, то можно сделать так:
set allLogicalDrives writeCacheEnabled=false; set allLogicalDrives mirrorCacheEnabled=false;

set logicalDrive ["logical_drive_name"] mirrorCacheEnabled=true; set logicalDrive ["logical_drive_name"] writeCacheEnabled=true;

Хотя для понимания проблемы лучше посмотреть саппорт лог.

Вот книга по оптимизации.

[april]

ок! попробуем последовать рекомендациям! тк в самом ИБМ ватные саппорты!!
кстати!
1. по поводу разброса по контроллерам что чет на А нечет на Б не знал
2. про 12 дисков на 10тку тоже не знал!!!

будем пробовать
ксати! тогда частично обЪясняется странное поведение что на 10тку пишет медленнее нежели на 5тый рейд!!! (это в соседней полке где одни 5терки)
тоесть с полки с 5тым рейдом на 10тый копируется медленнее нежели наоборот

[april]

Кэш у Вас везде включен в настройках. Раз Вы говорите, что он выключен, значит его засаспендила система в связи с техническими проблемами. Еще такое иногда бывает при перепрошивке. Если значек СХД в SM горит зеленым, то можно сделать так:
set allLogicalDrives writeCacheEnabled=false; set allLogicalDrives mirrorCacheEnabled=false;

set logicalDrive ["logical_drive_name"] mirrorCacheEnabled=true; set logicalDrive ["logical_drive_name"] writeCacheEnabled=true;

Хотя для понимания проблемы лучше посмотреть саппорт лог.

Вот книга по оптимизации.

могу прислать и саппорт лог это не проблема, было бы чем его разбирать
вопрос где выполнить указанные команды?

[diz]

Сразу как запустите Storage Manager, во вкладке Devices->Discovered Storage Subsystems->правой кнопкой на DS4700_1->Execute Script. В окне можно будет ткнуть в help->command reference для пояснений по командам и синтаксису.

[april]

спасибо всетаки я не админ СХД а просто AIX Linux админ