Включение Write Cache в Windows 2012 для Storwize v3700

[Roman14]

Всем привет.
Подскажите, пжлста, кто сталкивался.
Подал на сервер с ОС Windows 2012 молюм с СХД Storwize v3700. MPIO (SDDDSM) поставил.
Но в свойствах диска в самой ОС, write-caching-policy, не могу включить Write Cache - выдает ошибку "windows could not change the write-caching setting for the device".
Для DS35xx, эта опция включается сразу.
СХД подключена к серверу по оптике чере SAN свитчи.
Подскажите, как включить кэширование записи для сторвайза.

[brass]

Винда случаем не является DC?

[Roman14]

Винда случаем не является DC?

Нет, пока стандалон HYPER-V.

[gladchenko]

Обычно, эта опция синхронизируется с аппаратной настройкой (кажется, на уровне драйвера в системе). Однако, в случае с V3700 мы имеем дело с низкой производительностью записи, даже если у vd включено кеширование.
Как с этим бороться - не понятно.
Продемонстрировать проблему можно на простом примере, используя, например, SQLIO (как пользоваться SQLIO тем, кто захочет повторить демонстрацию, можно почитать тут: http://msmvps.com/blogs/gladchenko/arch ... 94801.aspx)
Берём один шпиндель и создаём на нём RAID0 (в нашем случае, ни на V3700 ни у DS3524 нет опции мапинга дисков к хосту без RAID).
Как это сделать у 3524 довольно понятно, на сторвайзе вот пример сценария:

svctask chdrive -use candidate 6
svctask mkarray -drive 6 -level raid0 -name a72 -strip 256 -sparegoal 0 0
svctask mkvdisk -cache readwrite -copies 1 -iogrp io_grp0 -mdiskgrp a -name a72 -size 557 -syncrate 50 -unit gb -vtype striped -node 2 -cache readwrite
svctask mkvdiskhostmap -force -host 0 -scsi 71 71

После мапинга, диск станет доступен серверу, нужно перевести его в онлайн и инициализировать. Форматировать нужды нет. Зато запомните, какой у него в системе идентификатор. Допустим, пусть это будет Disk 1.
Запускаем предварительно установленную утилиту со следующими параметрами:

sqlio -kW -s240 -b64 -f1 -i6250000 -o1 -t1 -R1 -LP -a0xffffffff -BY > W01.log

Это линейная запись в один поток, в одну очередь в файл нагрузки величиной почти во весь диск 600Гб. Размер нагрузки большой, что бы кеш не мешал
Показываю мои результаты для V3700 и DS3524

DS3524

sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2519)
1 thread writing for 360 secs to file 1:
using 64KB IOs over 64KB stripes with 3000000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to not use file nor disk caches (as is SQL Server)
affinity mask is 0xff (255)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 2008.59
MBs/sec: 125.53
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 0
Max_Latency(ms): 61
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 98 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Это вполне ожидаемый результат, который можно наблюдать на большинстве попадавших мне в руки СХД.

V3700

sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2238)
1 thread writing for 240 secs to file 11:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 576.46
MBs/sec: 36.02
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 1
Max_Latency(ms): 126
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 78 0 0 0 0 18 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Вначале, я подумал, что забыл включить -cache readwrite, но он включается по умолчанию и я видел, что кеш включён.
Мало того, если его явно выключить, картина станет ещё "ужасней".

sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2234)
1 thread writing for 240 secs to file 80:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 12.24
MBs/sec: 0.76
latency metrics:
Min_Latency(ms): 12
Avg_Latency(ms): 82
Max_Latency(ms): 278
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 99

Буду благодарен за любые идеи, как включить "правильный" райтбэк?

[Tert]

gladchenko
Вы бы SQLIO запускали с одинаковыми параметрами.
А то на DS3524 выключена буферизация (-BN).
А на V3700 она включена (-BY).
По крайней мере, мой опыт убеждает что на линейных операциях любое кеширование может только ухудшить ситуацию.

[diz]

Опишите всю схему и тип подключения. какие свитчи используются?

[gladchenko]

Схема простая. Два двухпортовых HBA напрямую воткнуты оптикой в контроллеры, каждый в оба. Включал через коммутатор посредством 4-х HBA, потом, для чистоты эксперимента, подключил напрямую...
Сервер для тестов - восьмисокетный IBM x3950 X5, с терабайтом оперативки. MPIO на Windows 2008 R2 Datacenter поставили. Прошивки и дрова везде обновили до последних, тоже, после того, как выявили тестами проблему... ничего не помогло.
Сегодня жду делегацию из IBM, вечером отчитаюсь об идеях и результатах. Переписка с ними и рекомендации из неё тоже пока не возымели ожидаемого действия. Очень надеюсь, что это я где-то лоханулся... иначе, картина не радует

[gladchenko]

Выяснилась странная особенность драйвера, через который работает сторвайз. Если используется MBR - партиция, производительность записи на малых размерах запроса ввода вывода в разы выше, чем для GPT на тех же дисках...

[gladchenko]

gladchenko
Вы бы SQLIO запускали с одинаковыми параметрами.
А то на DS3524 выключена буферизация (-BN).
А на V3700 она включена (-BY).
По крайней мере, мой опыт убеждает что на линейных операциях любое кеширование может только ухудшить ситуацию.

Это у меня в пример разные попали, я пробовал оба варианта... На самом деле, они не воспринимаются, о чём на экран sqlio выводит сообщения. Т.ч. не обращайте внимание на разницу, она не влияет.