Включение Write Cache в Windows 2012 для Storwize v3700
Модераторы: Trinity admin`s, Free-lance moderator`s
Включение Write Cache в Windows 2012 для Storwize v3700
Всем привет.
Подскажите, пжлста, кто сталкивался.
Подал на сервер с ОС Windows 2012 молюм с СХД Storwize v3700. MPIO (SDDDSM) поставил.
Но в свойствах диска в самой ОС, write-caching-policy, не могу включить Write Cache - выдает ошибку "windows could not change the write-caching setting for the device".
Для DS35xx, эта опция включается сразу.
СХД подключена к серверу по оптике чере SAN свитчи.
Подскажите, как включить кэширование записи для сторвайза.
Подскажите, пжлста, кто сталкивался.
Подал на сервер с ОС Windows 2012 молюм с СХД Storwize v3700. MPIO (SDDDSM) поставил.
Но в свойствах диска в самой ОС, write-caching-policy, не могу включить Write Cache - выдает ошибку "windows could not change the write-caching setting for the device".
Для DS35xx, эта опция включается сразу.
СХД подключена к серверу по оптике чере SAN свитчи.
Подскажите, как включить кэширование записи для сторвайза.
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Винда случаем не является DC?
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Нет, пока стандалон HYPER-V.brass писал(а):Винда случаем не является DC?
-
- Junior member
- Сообщения: 4
- Зарегистрирован: 17 май 2013, 11:18
- Откуда: Москва
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Обычно, эта опция синхронизируется с аппаратной настройкой (кажется, на уровне драйвера в системе). Однако, в случае с V3700 мы имеем дело с низкой производительностью записи, даже если у vd включено кеширование.
Как с этим бороться - не понятно.
Продемонстрировать проблему можно на простом примере, используя, например, SQLIO (как пользоваться SQLIO тем, кто захочет повторить демонстрацию, можно почитать тут: http://msmvps.com/blogs/gladchenko/arch ... 94801.aspx)
Берём один шпиндель и создаём на нём RAID0 (в нашем случае, ни на V3700 ни у DS3524 нет опции мапинга дисков к хосту без RAID).
Как это сделать у 3524 довольно понятно, на сторвайзе вот пример сценария:
svctask chdrive -use candidate 6
svctask mkarray -drive 6 -level raid0 -name a72 -strip 256 -sparegoal 0 0
svctask mkvdisk -cache readwrite -copies 1 -iogrp io_grp0 -mdiskgrp a -name a72 -size 557 -syncrate 50 -unit gb -vtype striped -node 2 -cache readwrite
svctask mkvdiskhostmap -force -host 0 -scsi 71 71
После мапинга, диск станет доступен серверу, нужно перевести его в онлайн и инициализировать. Форматировать нужды нет. Зато запомните, какой у него в системе идентификатор. Допустим, пусть это будет Disk 1.
Запускаем предварительно установленную утилиту со следующими параметрами:
sqlio -kW -s240 -b64 -f1 -i6250000 -o1 -t1 -R1 -LP -a0xffffffff -BY > W01.log
Это линейная запись в один поток, в одну очередь в файл нагрузки величиной почти во весь диск 600Гб. Размер нагрузки большой, что бы кеш не мешал
Показываю мои результаты для V3700 и DS3524
DS3524
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2519)
1 thread writing for 360 secs to file 1:
using 64KB IOs over 64KB stripes with 3000000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to not use file nor disk caches (as is SQL Server)
affinity mask is 0xff (255)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 2008.59
MBs/sec: 125.53
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 0
Max_Latency(ms): 61
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 98 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Это вполне ожидаемый результат, который можно наблюдать на большинстве попадавших мне в руки СХД.
V3700
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2238)
1 thread writing for 240 secs to file 11:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 576.46
MBs/sec: 36.02
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 1
Max_Latency(ms): 126
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 78 0 0 0 0 18 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Вначале, я подумал, что забыл включить -cache readwrite, но он включается по умолчанию и я видел, что кеш включён.
Мало того, если его явно выключить, картина станет ещё "ужасней".
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2234)
1 thread writing for 240 secs to file 80:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 12.24
MBs/sec: 0.76
latency metrics:
Min_Latency(ms): 12
Avg_Latency(ms): 82
Max_Latency(ms): 278
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 99
Буду благодарен за любые идеи, как включить "правильный" райтбэк?
Как с этим бороться - не понятно.
Продемонстрировать проблему можно на простом примере, используя, например, SQLIO (как пользоваться SQLIO тем, кто захочет повторить демонстрацию, можно почитать тут: http://msmvps.com/blogs/gladchenko/arch ... 94801.aspx)
Берём один шпиндель и создаём на нём RAID0 (в нашем случае, ни на V3700 ни у DS3524 нет опции мапинга дисков к хосту без RAID).
Как это сделать у 3524 довольно понятно, на сторвайзе вот пример сценария:
svctask chdrive -use candidate 6
svctask mkarray -drive 6 -level raid0 -name a72 -strip 256 -sparegoal 0 0
svctask mkvdisk -cache readwrite -copies 1 -iogrp io_grp0 -mdiskgrp a -name a72 -size 557 -syncrate 50 -unit gb -vtype striped -node 2 -cache readwrite
svctask mkvdiskhostmap -force -host 0 -scsi 71 71
После мапинга, диск станет доступен серверу, нужно перевести его в онлайн и инициализировать. Форматировать нужды нет. Зато запомните, какой у него в системе идентификатор. Допустим, пусть это будет Disk 1.
Запускаем предварительно установленную утилиту со следующими параметрами:
sqlio -kW -s240 -b64 -f1 -i6250000 -o1 -t1 -R1 -LP -a0xffffffff -BY > W01.log
Это линейная запись в один поток, в одну очередь в файл нагрузки величиной почти во весь диск 600Гб. Размер нагрузки большой, что бы кеш не мешал
Показываю мои результаты для V3700 и DS3524
DS3524
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2519)
1 thread writing for 360 secs to file 1:
using 64KB IOs over 64KB stripes with 3000000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to not use file nor disk caches (as is SQL Server)
affinity mask is 0xff (255)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 2008.59
MBs/sec: 125.53
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 0
Max_Latency(ms): 61
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 98 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Это вполне ожидаемый результат, который можно наблюдать на большинстве попадавших мне в руки СХД.
V3700
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2238)
1 thread writing for 240 secs to file 11:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 576.46
MBs/sec: 36.02
latency metrics:
Min_Latency(ms): 0
Avg_Latency(ms): 1
Max_Latency(ms): 126
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 78 0 0 0 0 18 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Вначале, я подумал, что забыл включить -cache readwrite, но он включается по умолчанию и я видел, что кеш включён.
Мало того, если его явно выключить, картина станет ещё "ужасней".
sqlio v1.5.SG
calibrating timestamp counter for latency timings... done (MHz measured at 2234)
1 thread writing for 240 secs to file 80:
using 64KB IOs over 64KB stripes with 6250000 IOs per run
enabling multiple I/Os per thread with 1 outstanding
buffering set to use both file and disk caches
affinity mask is 0xffffffff (-1)
initialization done
CUMULATIVE DATA:
throughput metrics:
IOs/sec: 12.24
MBs/sec: 0.76
latency metrics:
Min_Latency(ms): 12
Avg_Latency(ms): 82
Max_Latency(ms): 278
histogram:
ms: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24+
%: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 99
Буду благодарен за любые идеи, как включить "правильный" райтбэк?
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Включение Write Cache в Windows 2012 для Storwize v3700
gladchenko
Вы бы SQLIO запускали с одинаковыми параметрами.
А то на DS3524 выключена буферизация (-BN).
А на V3700 она включена (-BY).
По крайней мере, мой опыт убеждает что на линейных операциях любое кеширование может только ухудшить ситуацию.
Вы бы SQLIO запускали с одинаковыми параметрами.
А то на DS3524 выключена буферизация (-BN).
А на V3700 она включена (-BY).
По крайней мере, мой опыт убеждает что на линейных операциях любое кеширование может только ухудшить ситуацию.
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Опишите всю схему и тип подключения. какие свитчи используются?
-
- Junior member
- Сообщения: 4
- Зарегистрирован: 17 май 2013, 11:18
- Откуда: Москва
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Схема простая. Два двухпортовых HBA напрямую воткнуты оптикой в контроллеры, каждый в оба. Включал через коммутатор посредством 4-х HBA, потом, для чистоты эксперимента, подключил напрямую...
Сервер для тестов - восьмисокетный IBM x3950 X5, с терабайтом оперативки. MPIO на Windows 2008 R2 Datacenter поставили. Прошивки и дрова везде обновили до последних, тоже, после того, как выявили тестами проблему... ничего не помогло.
Сегодня жду делегацию из IBM, вечером отчитаюсь об идеях и результатах. Переписка с ними и рекомендации из неё тоже пока не возымели ожидаемого действия. Очень надеюсь, что это я где-то лоханулся... иначе, картина не радует
Сервер для тестов - восьмисокетный IBM x3950 X5, с терабайтом оперативки. MPIO на Windows 2008 R2 Datacenter поставили. Прошивки и дрова везде обновили до последних, тоже, после того, как выявили тестами проблему... ничего не помогло.
Сегодня жду делегацию из IBM, вечером отчитаюсь об идеях и результатах. Переписка с ними и рекомендации из неё тоже пока не возымели ожидаемого действия. Очень надеюсь, что это я где-то лоханулся... иначе, картина не радует
Последний раз редактировалось gladchenko 24 май 2013, 16:16, всего редактировалось 1 раз.
-
- Junior member
- Сообщения: 4
- Зарегистрирован: 17 май 2013, 11:18
- Откуда: Москва
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Выяснилась странная особенность драйвера, через который работает сторвайз. Если используется MBR - партиция, производительность записи на малых размерах запроса ввода вывода в разы выше, чем для GPT на тех же дисках...
-
- Junior member
- Сообщения: 4
- Зарегистрирован: 17 май 2013, 11:18
- Откуда: Москва
Re: Включение Write Cache в Windows 2012 для Storwize v3700
Это у меня в пример разные попали, я пробовал оба варианта... На самом деле, они не воспринимаются, о чём на экран sqlio выводит сообщения. Т.ч. не обращайте внимание на разницу, она не влияет.Tert писал(а):gladchenko
Вы бы SQLIO запускали с одинаковыми параметрами.
А то на DS3524 выключена буферизация (-BN).
А на V3700 она включена (-BY).
По крайней мере, мой опыт убеждает что на линейных операциях любое кеширование может только ухудшить ситуацию.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 39 гостей