RAID-0 на множестве HDD: вопросы

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

RAID-0 на множестве HDD: вопросы

Сообщение localhostroot » 27 авг 2016, 13:44

Всем привет!

Хочу сказать, что прочел, и в целом понял статью "Надежность жестких дисков: MTBF, AFR, UER. Почему не стоит использовать десктопные диски в аппаратных RAID'ах?".

Но даже несмотря на "если диск долго не отвечает, то контроллер считает его неисправным и выкидывает из массива, ... связка, ... Adaptec и десктопных WD Green работает с регулярной потерей дисков и постоянными ребилдами, вплоть до полного развала массива." речь пойдет о десктопных дисках :) О причинах ниже.

Разваливания планируемого массива, даже регулярные - это не критичная проблема. К потере данных не приведет, просто создаст неудобство. На этом массиве всегда будет идти работа с текущим этапом. Копия рабочих данных текущего этапа и копия сырья - хранятся на RAID-10 на отдельном хосте, плюс бэкап на внешних дисках.

Задача такая:
Мне нужен емкий (от 5-8тб) и, насколько возможно, быстрый (в т.ч. по иопсам) массив для работы программы сшивающей фотопанорамы. Очень большие фотопанорамы (гигапикслей так на 200-300) из тысяч и тысяч кадров. На таких задачах софт оптимизирован слабо, а туда-сюда гоняются терабайты. Особенно при конвертации одной проекции в другую (экви в куб).

Поскольку терабайтные ссд в количестве нескольких штук это еще очень дорого, мой выбор падает на RAID-0 из жестких дисков. Планируются к закупке ST1000VX000 или ST2000VX000. Есть парочка первых, уже несколько лет работают отлично, гарантия на них 3 года, скорости радуют. Цены радуют, в отличие от рейдовых дисков. Вроде как 1тб версия дисков пошустрее, и, в теории, понадежнее (1 пластина против 3), но у 2тб версии радует цена за гб.

Дисков планируется на массив 6-8 штук. Под систему есть 512гб NVMe, есть 96 гб памяти. Свободных сата портов как раз 8 шт. ОС - вин10. Корпус приличный, винты на вибропрокладках, вентиляция хорошая, блок питания отличный, ибп есть.

Сразу хочу сказать на счет кэширования на ссд (это часто предлагают). Практически наверняка, это бесполезно. Во-первых есть некие опыты на эту тему от более понимающего в рейдах и т.п. коллеги, и он не нашел решения. Во-вторых, для грамотной организации кэширования нужно еще поставить эксперимент, проанализировать результаты, сделать выводы. А это все время и требует знаний. И, напомню, временные файлы измеряются терабайтами - не накэшируется особо.

Вопросы:
1. Достаточно ли 100% программного рейда средствами ос?
2. Есть ли смысл покупать контроллер? Скажем, б\у адаптек 6\7й серии?

Извращенные вопросы:
3. Таки б\у Adaptec 71605 (могу купить за недорого, или вообще почти бесплатно старый 5805) + 6-8 ST2000VX000 (их нет в листе совместимости) - насколько велики шансы, что контроллер будет периодически их отстреливать?
4. Если уж брать 2тб диски, то целиком отдавать их под RAID-0 жалко. Ну очень много места пропадет. Да и хотелось бы под чередование только "быстрое" начало дисков использовать. Поэтому есть мысль половину пространства собрать в R0, а половину в R10 или R6. Тут опять всплывает вопрос нужен ли контроллер, не будет ли он откидывать диски.
5. Из описания Adaptec 6805E: "6-я серия не поддерживает и не будет поддерживать диски 4K". Я правильно понимаю, что цеплять к нему планируемые диски даже не стоит и пытаться?

Что еще я мог не учесть?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Stranger03 » 29 авг 2016, 13:10

localhostroot писал(а):Поэтому есть мысль половину пространства собрать в R0, а половину в R10 или R6.
Почему не собрать единый Р6 и порезать его на логические диски?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение gs » 29 авг 2016, 13:22

5ТБ на ССДшках можно поиметь меньше, чем за 100тыр. На фоне имеющихся 96ГБ оперативки, это не бог весть какие деньги.

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: RAID-0 на множестве HDD: вопросы

Сообщение localhostroot » 29 авг 2016, 13:36

Почему не собрать единый Р6 и порезать его на логические диски?
Или так, да. Но это точно нужен контроллер. А нужен ли он мне, и годится ли для ST2000VX000 - это вопрос к вам.
Так то да, минимально отказоустойчивый массив хотелось бы.

Пока я присматриваюсь к б\у LSI 9341-8i из одного магазина (только он R6 не умеет). Его можно сдать назад в течение двух недель, и продают с гарантией, несмотря на б\у статус. Правда придется на кабели потратиться в любом случае, даже под эксперименты. Еще на авито есть тьма разных вариантов, в т. ч. Adaptec 71605 за недорого. Но, помимо "не известно в каком они состоянии по факту и не вернуть потом" есть проблема "а если он начнет выкидывать диски?
5ТБ на ССДшках можно поиметь меньше, чем за 100тыр. На фоне имеющихся 96ГБ оперативки, это не бог весть какие деньги.
Не соглашусь. 96 гб приличной ддр4 мне недавно обошлись всего в 27 т.р. И она нужна чаще и сильнее, чем такой массив. SSD ниже 850 EVO брать смысла нет. А их 4тб (2х2) будет стоит минимум 80к руб, и это если брать у немцев (CU), а не тут.

К тому же вчера я купил 4 шт ST2000VX000 (за 21к) и уже собрал их в софтовый R0. По самому минимуму это мою потребность уже закрыло.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Stranger03 » 29 авг 2016, 13:45

localhostroot писал(а):Или так, да. Но это точно нужен контроллер. А нужен ли он мне, и годится ли для ST2000VX000 - это вопрос к вам.
Вы сами себе противоречите
Так то да, минимально отказоустойчивый массив хотелось бы.
Здесь также противоречие, при Р0 что бы вы не делали, шансы потерять все данные махом очень велики.
К тому же вчера я купил 4 шт ST2000VX000 (за 21к) и уже собрал их в софтовый R0. По самому минимуму это мою потребность уже закрыло.
Это бомба замедленного действия. Любой чих - и привет вашим данным.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Tert » 29 авг 2016, 14:12

Stranger03
Ген. Ну ведь выше написали, что нужен быстрый массив для промежуточных данных.
Важные данные лежат на других массивах.

localhostroot
Пока я присматриваюсь к б\у LSI 9341-8i из одного магазина
Контроллеры без кеша у LSI хорошо работают с SSD и медленно работают с жесткими дисками. Особенно на запись. Лучше уж использовать встроенный в чипсет контроллер.
И если вам нужна хорошая скорость записи, то лучше не делать массивы RAID 5 и RAID 6.

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: RAID-0 на множестве HDD: вопросы

Сообщение localhostroot » 29 авг 2016, 14:26

Вы сами себе противоречите
Не совсем.
Есть главная задача - большой быстрый R0. Он может даже разваливаться. Если не будет делать это через день-два, то все ок.

Есть хотелка второго уровня важности: На "медленной части дисков" собрать R10 или R6. Т.е. от этих двухтерабайтников половину отдать в R0, а половину в типа отказоустойчивый. Но тут, вероятно, нужен контроллер. Если да, то вопрос какой.
Это бомба замедленного действия. Любой чих - и привет вашим данным.
Не страшно. Пара-тройка часов (а когда таки подарю себе 10GbE - минут 20-30) и я выкопировал из хранилища\бэкапа.

Другой вопрос, это если пойти по извратному пути "на этих же дисках собрал R10 или R6.
Частые отстрелы десктопных дисков от контроллера это насколько реальная страшная сказка?

Код: Выделить всё

Контроллеры без кеша у LSI хорошо работают с SSD и медленно работают с жесткими дисками. Особенно на запись. Лучше уж использовать встроенный в чипсет контроллер. И если вам нужна хорошая скорость записи, то лучше не делать массивы RAID 5 и RAID 6.
Хм. А мне казалось в моем случае кэши контроллеров лучше и не использовать, т.к. в них один черт ничего не влезет, а все сразу и писать на диски.
9341-8i - как думаете, хотя бы поиграться стоит взять? Или ни к чему?

Вообще минимальной кровью основная задача решается через софтовый средствами венды R0. Просто жалко все место "терять". Да и "медленную часть дисков" хотелось бы отдать под R10\6.

Короче говоря:
Правильно ли я понимаю, что для просто R0 контроллер ни к чему и софтового средствами ОС решения заглаза?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение gs » 29 авг 2016, 14:32

Поставьте тупой ХБА или чипсетные порты и сделайте страйп виндой.
Все остальное как минимум не быстрее, капризнее и дороже - а конфета из дерьма все равно не получится.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Stranger03 » 29 авг 2016, 14:38

localhostroot писал(а):Не страшно. Пара-тройка часов (а когда таки подарю себе 10GbE - минут 20-30) и я выкопировал из хранилища\бэкапа.
Максимальная скорость копирования в сети 1Гбит составляет примерно 80МБ/сек. В случае потокового восстановления данных с бекапа эта скорость будет плавать в зависимости от десятков "И". Сколько времени вы будете восстанавливать, считайте сами. Сколько же раз в день, неделю, месяц это придется делать на Р0, никому не известно. Но часто - факт.
Частые отстрелы десктопных дисков от контроллера это насколько реальная страшная сказка?
Основной момент - диски должны быть валидированы контроллером. Если они есть в HCL, то как правило будут работать месяцами, пока не поползут ББ.
Короче говоря:
Правильно ли я понимаю, что для просто R0 контроллер ни к чему и софтового средствами ОС решения заглаза?
Все, что бОльше Р1, лучше строить на аппаратном контроллере, но в вашем случае один леший, конфету из дерьма не получишь.
П.С. Р0 можно применять в очень ограниченном списке задач:
- временные файлы
- архивные данные, которые дублируются на лентах например
- видеопоток, который особо не нужен, из которого нужные фрагменты убираются подальше
Вообщем все, что особо не нужно и потеря не представляет никакого интереса.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Stranger03 » 29 авг 2016, 14:38

gs писал(а):а конфета из дерьма все равно не получится.
:lol: :lol: :lol: :lol:
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: RAID-0 на множестве HDD: вопросы

Сообщение localhostroot » 29 авг 2016, 14:50

Основной момент - диски должны быть валидированы контроллером. Если они есть в HCL, то как правило будут работать месяцами, пока не поползут ББ.
Их в списке точно нет :)
Серьезные контролеры будут их выкидывать? Вообще не примут?
П.С. Р0 можно применять в очень ограниченном списке задач:
- временные файлы
Мне кажется, или я с этого и начал тему? :)
Это основная и самая важная задача.

Подзадача "на части емкости дисков попробовать организовать R6\10" - второстепенная.
а конфета из дерьма все равно не получится.
Кто бы спорил:?) Но хоть сахарной пудрой посыпать!

Вопрос:
На авито довольно много контроллеров занедорого. Можно даже сразу два брать. Чтоб был запасной на случай отказа используемого.
Ваше мнение об этой лотерее? Бывает ли такое, что их скидывают по причине каких-то не сразу проявляемых глюков?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение gs » 29 авг 2016, 14:59

Не нужен Вам аппаратный контроллер. Только гемор себе лишний найдете.
Софтовый страйп - наименее капризная штука по части совместимости с дисками. И самая быстрая на линейных потоках.

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: RAID-0 на множестве HDD: вопросы

Сообщение localhostroot » 29 авг 2016, 20:13

Ок. За эту часть ответов спасибо.

Теперь, если вы не против давайте рассмотрим вопрос целесообразности покупки б\у контроллера на авито. Пусть даже сразу двух (запасной положить в ящик), если речь о недорогих. Там можно за 5-7к руб найти контроллер с поддержкой R6.

- Видите ли вы какие-то аргументы против такой лотереи? Может ли быть такое, что у контроллеров какие-то баги, но сразу при проверке не найти, он будет как бы нормально работать.
- Дисков В HCL нет. Диски ST2000VX000. Можете ли поделиться своим "прогнозом" на такое сочетание?
- R6 для дома? Т.е. не под мега важную базу данных. Допускается иногда развал массива. Это будет куда сильнее неприятно, чем развал R0 (к этому я готов каждую минуту), но не фатально. Цель - экономия места и более производительный массив, чем одиночные диски.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID-0 на множестве HDD: вопросы

Сообщение Stranger03 » 30 авг 2016, 08:39

localhostroot писал(а):- Дисков В HCL нет. Диски ST2000VX000. Можете ли поделиться своим "прогнозом" на такое сочетание?
- как встретить динозавра в лесу, либо встретишь, либо нет
- не морочьте ни себе, ни нам голову, нужна помойка, ставьте на флешку FreeNAS: https://habrahabr.ru/post/196744/ и софтовый страйп. На 100% будет надежнее, чем ваше поделие. А вместо 2-х контроллеров возьмите пару лишних дисков в ЗИП.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 25 гостей