Размеры кластера, stripe-size
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Размеры кластера, stripe-size
Здравствуйте.
Опыта маловато, а в инете много противоречивых советов по данному поводу.
Имеется DS3512 и LSI SAS 9211-8i
raid 10.
виртуалок 25 W7. 2 гига оперативки на виртуалку. компьютерный класс. В виртуалках будут максимум в инете сидеть и в word печатать. Как вариант могут еще на youtube видео учебное смотреть. Самодеятельности в виртуалках мало будет.
Каковы оптимальные размеры stripe-size на рэйде и кластера в VHD файле, чтобы получить максимальную производительность в данной связке и при данной нагрузке.
Может кто поделится реальным опытом?
Спасибо
Опыта маловато, а в инете много противоречивых советов по данному поводу.
Имеется DS3512 и LSI SAS 9211-8i
raid 10.
виртуалок 25 W7. 2 гига оперативки на виртуалку. компьютерный класс. В виртуалках будут максимум в инете сидеть и в word печатать. Как вариант могут еще на youtube видео учебное смотреть. Самодеятельности в виртуалках мало будет.
Каковы оптимальные размеры stripe-size на рэйде и кластера в VHD файле, чтобы получить максимальную производительность в данной связке и при данной нагрузке.
Может кто поделится реальным опытом?
Спасибо
-
- Advanced member
- Сообщения: 68
- Зарегистрирован: 30 окт 2013, 17:07
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
При противоречивости советов, всегда лучше оставлять то значение, которое задал производитель оборудования по умолчанию.
В остальном, что может как-то повлиять на производительность, это несогласованность блоков. Это много уже где обсуждалось. Так же стоит настроить сами виртуалки, что бы они меньше запросов к дискам генерили (настройка свопа, отключение префетчинга, настроййка антивиря и т.п.)
Собственно для нормально работы 25ВМ при типовом профиле 30/70, вам нужно-то всего около 1200 +/- IOPS от Raid-10
В остальном, что может как-то повлиять на производительность, это несогласованность блоков. Это много уже где обсуждалось. Так же стоит настроить сами виртуалки, что бы они меньше запросов к дискам генерили (настройка свопа, отключение префетчинга, настроййка антивиря и т.п.)
Собственно для нормально работы 25ВМ при типовом профиле 30/70, вам нужно-то всего около 1200 +/- IOPS от Raid-10
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
антивирус в виртуалках отключил. своп установил до 2х от памяти. поиск и superfetch в виртуалках отключил.MAV писал(а):При противоречивости советов, всегда лучше оставлять то значение, которое задал производитель оборудования по умолчанию.
В остальном, что может как-то повлиять на производительность, это несогласованность блоков. Это много уже где обсуждалось. Так же стоит настроить сами виртуалки, что бы они меньше запросов к дискам генерили (настройка свопа, отключение префетчинга, настроййка антивиря и т.п.)
Собственно для нормально работы 25ВМ при типовом профиле 30/70, вам нужно-то всего около 1200 +/- IOPS от Raid-10
в виртуалке сделал кластер 64K. ТОлько вот на диске где vhd лежат кластер 4к (
raid 10 сейчас из восьми дисков. есть возможность добавить еще 4.
30/70 это чтение\запись или наоборот?)
ЗЫ. 1200 иопсов на 25 виртуалок это 48 на каждую. не многовато?) во многих документах пишут что для ссемерки достаточно 25
-
- Advanced member
- Сообщения: 68
- Зарегистрирован: 30 окт 2013, 17:07
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
я бы вообще его вырубил.... память стоит несколько дешевле, чем дискиAndrewVLGAFC писал(а): своп установил до 2х от памяти.
смысла в 64к в виртуалке особо не много... у вас там баз нет, другого софта котороый работает большими блоками тоже. Для самой же винды, кластер 4к вполне хороший выбор.AndrewVLGAFC писал(а): в виртуалке сделал кластер 64K. ТОлько вот на диске где vhd лежат кластер 4к (
чтение/записьAndrewVLGAFC писал(а): raid 10 сейчас из восьми дисков. есть возможность добавить еще 4.
30/70 это чтение\запись или наоборот?)
сама ОС генерит порядка 10+ запросов... если ваши пользователи делают меньше 30, то можно подсчитать под конкретный ваш профиль. я же прикинул на типовойAndrewVLGAFC писал(а): ЗЫ. 1200 иопсов на 25 виртуалок это 48 на каждую. не многовато?) во многих документах пишут что для ссемерки достаточно 25
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
а размер страйпа в данном случае сколько должен быть? тоже 4К? маловато )MAV писал(а): смысла в 64к в виртуалке особо не много... у вас там баз нет, другого софта котороый работает большими блоками тоже. Для самой же винды, кластер 4к вполне хороший выбор.
пользователи там максимум будут читать PDF,Word да сидеть в инете. Но последнее в щадящем режиме.MAV писал(а): сама ОС генерит порядка 10+ запросов... если ваши пользователи делают меньше 30, то можно подсчитать под конкретный ваш профиль. я же прикинул на типовой
Возможно ли с 12 дисков в RAID 10 на данной железке выжать 1200 IOPS? у меня когда 15 W7 стартовали мониторинг показывал до 1300 IOPS. Но в разное время при одном и том же IOPS очередь к диску была в районе 30-40 .
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
вот тут вот
https://www.ibm.com/developerworks/comm ... 26?lang=en
написано, что один sas 15K RPM дает 300-500 IOPS
Это реально так?)
https://www.ibm.com/developerworks/comm ... 26?lang=en
написано, что один sas 15K RPM дает 300-500 IOPS
Это реально так?)
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
300-500 - это пиковая производительность, достигаемая только при бешеной очереди.
Бест практис - считать 180-200.
Бест практис - считать 180-200.
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
пересчитал ) получается при 12 дисках и 30-70 чтение запись выжму на raid 10 1404 IOPSgs писал(а):300-500 - это пиковая производительность, достигаемая только при бешеной очереди.
Бест практис - считать 180-200.
А вот про пиковую 300-500 при бешеной очереди не понял ( На сколько я вразумею чем больше очередь, тем меньше IOPS. Тормоза однако
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
Это в приложениях тормоза при большой очереди и латенси. А диску-то как раз хорошо - он имет много данных для оптимизации траектории головок.
-
- Advanced member
- Сообщения: 68
- Зарегистрирован: 30 окт 2013, 17:07
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
Для файловой системы внутри ОС, да и той где лежат файлы виртуальных дисков, нормально... У вас не специфичная задача, смысла тюнить систему хранения как-то мало... Особенно под нагрузку от 25 пользователейAndrewVLGAFC писал(а):а размер страйпа в данном случае сколько должен быть? тоже 4К? маловато )MAV писал(а): смысла в 64к в виртуалке особо не много... у вас там баз нет, другого софта котороый работает большими блоками тоже. Для самой же винды, кластер 4к вполне хороший выбор.
Везде можно смело оставлять параметры по умолчанию.
12 дисков 10000 RPM в RAID-10 дадут, без учета профита от кеша, около 1100 IOPS (средняя цифра получаемая из параметров диска Avg. latency - 3 ms; Avg. seek time read(write) - 4.2 ms, что дает ~140 IOPS на диск)AndrewVLGAFC писал(а):пользователи там максимум будут читать PDF,Word да сидеть в инете. Но последнее в щадящем режиме.MAV писал(а): сама ОС генерит порядка 10+ запросов... если ваши пользователи делают меньше 30, то можно подсчитать под конкретный ваш профиль. я же прикинул на типовой
Возможно ли с 12 дисков в RAID 10 на данной железке выжать 1200 IOPS? у меня когда 15 W7 стартовали мониторинг показывал до 1300 IOPS. Но в разное время при одном и том же IOPS очередь к диску была в районе 30-40 .
Если померите отдельно количество операций чтения и записи, можете прикинуть сколько вам требуется IOPS от RAID-10, с учетом пенальти.
Что касается очереди, то вам уже ответили. Можно нагрузить систему столькими потоками, что очередь будет очень большой, но зато снимите много IOPSов... только кому они будут нужны при таких задержках)))
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
Диски 15к)
Я расчитывал на 180 иопс как сказал gs(
Померить количество операций чтения- записи это как?) не рафинированным же тестом?
Приходит на ум только так: включить счетчики (только вот какие) и запустить- поработать в одной виртуалке?
Но одно порадовали, что на 25 пользователей производительности хватит. Тк допполку расширения мне уже не купить(
Я расчитывал на 180 иопс как сказал gs(
Померить количество операций чтения- записи это как?) не рафинированным же тестом?
Приходит на ум только так: включить счетчики (только вот какие) и запустить- поработать в одной виртуалке?
Но одно порадовали, что на 25 пользователей производительности хватит. Тк допполку расширения мне уже не купить(
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
выше говорилось о 1100 IOPS для 12 дисков.
сейчас у меня в raid 10 c дисками 15K 8 дисков.
запустил iometer с такими параметрами
Transfer Request Size - 4Kb
random/sequential - 20-80
read-write 20-80
Align IO on 128 KB
параметры взял из
http://www.atlantiscomputing.com/downlo ... ve_1_0.pdf
на мониторинге DS Storage Manager увидел максиму 310 IOPS.
IOMeter по результату 5 минутного теста показал такие результаты
IOPS 309 максимум
MB per second - 1.2. что удручает
Average IOResponse Time - 3.2
Maximum response time - 12.7
Что-то не видать 1100 IOPS. Даже если учитывать, что дисков всего 8
сейчас у меня в raid 10 c дисками 15K 8 дисков.
запустил iometer с такими параметрами
Transfer Request Size - 4Kb
random/sequential - 20-80
read-write 20-80
Align IO on 128 KB
параметры взял из
http://www.atlantiscomputing.com/downlo ... ve_1_0.pdf
на мониторинге DS Storage Manager увидел максиму 310 IOPS.
IOMeter по результату 5 минутного теста показал такие результаты
IOPS 309 максимум
MB per second - 1.2. что удручает
Average IOResponse Time - 3.2
Maximum response time - 12.7
Что-то не видать 1100 IOPS. Даже если учитывать, что дисков всего 8
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
Спрошу еще в этой теме чтоб не создавать новую.
Помимо ds3512 имеется еще супермикровский jbod .
Возможно ли будет подключить ds и jbod через свич sas6160?
И чтобы на хосте были видны и массивы, созданный на dsке и создавать массивы с помощьюlsi sas9211 из дисков на jbod?
Помимо ds3512 имеется еще супермикровский jbod .
Возможно ли будет подключить ds и jbod через свич sas6160?
И чтобы на хосте были видны и массивы, созданный на dsке и создавать массивы с помощьюlsi sas9211 из дисков на jbod?
-
- Advanced member
- Сообщения: 68
- Зарегистрирован: 30 окт 2013, 17:07
- Откуда: Москва
- Контактная информация:
Re: Размеры кластера, stripe-size
Все очень даже правильно. При 8x15k дисках в RAID-10 будет около 940 IOPS. При нагрузке 20/80 получается ~560 IOPS. Почему у вас показывает меньше? Да много почему. Все вычисления основаны на усредненных параметрах, т.е. при условии что диски не забиты, характеристики используемые при расчете верны для конкретных дисков, используемых в массиве и т.п.AndrewVLGAFC писал(а):выше говорилось о 1100 IOPS для 12 дисков.
сейчас у меня в raid 10 c дисками 15K 8 дисков.
запустил iometer с такими параметрами
Transfer Request Size - 4Kb
random/sequential - 20-80
read-write 20-80
Align IO on 128 KB
параметры взял из
http://www.atlantiscomputing.com/downlo ... ve_1_0.pdf
на мониторинге DS Storage Manager увидел максиму 310 IOPS.
IOMeter по результату 5 минутного теста показал такие результаты
IOPS 309 максимум
MB per second - 1.2. что удручает
Average IOResponse Time - 3.2
Maximum response time - 12.7
Что-то не видать 1100 IOPS. Даже если учитывать, что дисков всего 8
Проверить на всякий случай наличие вашей полки в листе совместимости, но вообще конфигурация должна быть рабочая.AndrewVLGAFC писал(а):Спрошу еще в этой теме чтоб не создавать новую.
Помимо ds3512 имеется еще супермикровский jbod .
Возможно ли будет подключить ds и jbod через свич sas6160?
И чтобы на хосте были видны и массивы, созданный на dsке и создавать массивы с помощьюlsi sas9211 из дисков на jbod?
-
- Advanced member
- Сообщения: 93
- Зарегистрирован: 20 апр 2010, 18:05
- Откуда: VLuki
Re: Размеры кластера, stripe-size
Те в реальности можно рассчитывать на более правдопобную производительность?MAV писал(а):
Все очень даже правильно. При 8x15k дисках в RAID-10 будет около 940 IOPS. При нагрузке 20/80 получается ~560 IOPS. Почему у вас показывает меньше? Да много почему. Все вычисления основаны на усредненных параметрах, т.е. при условии что диски не забиты, характеристики используемые при расчете верны для конкретных дисков, используемых в массиве и т.п.
меня в данной конфигурации беспокоит другое. А именно, что массивы созданы с помощью DS3512. А на JBOD будут создаваться контроллером. Получается смешанный режим )MAV писал(а): Проверить на всякий случай наличие вашей полки в листе совместимости, но вообще конфигурация должна быть рабочая.
Кто сейчас на конференции
Сейчас этот форум просматривают: Google [Bot] и 72 гостя