RAID-0 на множестве HDD: вопросы
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 27 авг 2016, 13:07
RAID-0 на множестве HDD: вопросы
Всем привет!
Хочу сказать, что прочел, и в целом понял статью "Надежность жестких дисков: MTBF, AFR, UER. Почему не стоит использовать десктопные диски в аппаратных RAID'ах?".
Но даже несмотря на "если диск долго не отвечает, то контроллер считает его неисправным и выкидывает из массива, ... связка, ... Adaptec и десктопных WD Green работает с регулярной потерей дисков и постоянными ребилдами, вплоть до полного развала массива." речь пойдет о десктопных дисках О причинах ниже.
Разваливания планируемого массива, даже регулярные - это не критичная проблема. К потере данных не приведет, просто создаст неудобство. На этом массиве всегда будет идти работа с текущим этапом. Копия рабочих данных текущего этапа и копия сырья - хранятся на RAID-10 на отдельном хосте, плюс бэкап на внешних дисках.
Задача такая:
Мне нужен емкий (от 5-8тб) и, насколько возможно, быстрый (в т.ч. по иопсам) массив для работы программы сшивающей фотопанорамы. Очень большие фотопанорамы (гигапикслей так на 200-300) из тысяч и тысяч кадров. На таких задачах софт оптимизирован слабо, а туда-сюда гоняются терабайты. Особенно при конвертации одной проекции в другую (экви в куб).
Поскольку терабайтные ссд в количестве нескольких штук это еще очень дорого, мой выбор падает на RAID-0 из жестких дисков. Планируются к закупке ST1000VX000 или ST2000VX000. Есть парочка первых, уже несколько лет работают отлично, гарантия на них 3 года, скорости радуют. Цены радуют, в отличие от рейдовых дисков. Вроде как 1тб версия дисков пошустрее, и, в теории, понадежнее (1 пластина против 3), но у 2тб версии радует цена за гб.
Дисков планируется на массив 6-8 штук. Под систему есть 512гб NVMe, есть 96 гб памяти. Свободных сата портов как раз 8 шт. ОС - вин10. Корпус приличный, винты на вибропрокладках, вентиляция хорошая, блок питания отличный, ибп есть.
Сразу хочу сказать на счет кэширования на ссд (это часто предлагают). Практически наверняка, это бесполезно. Во-первых есть некие опыты на эту тему от более понимающего в рейдах и т.п. коллеги, и он не нашел решения. Во-вторых, для грамотной организации кэширования нужно еще поставить эксперимент, проанализировать результаты, сделать выводы. А это все время и требует знаний. И, напомню, временные файлы измеряются терабайтами - не накэшируется особо.
Вопросы:
1. Достаточно ли 100% программного рейда средствами ос?
2. Есть ли смысл покупать контроллер? Скажем, б\у адаптек 6\7й серии?
Извращенные вопросы:
3. Таки б\у Adaptec 71605 (могу купить за недорого, или вообще почти бесплатно старый 5805) + 6-8 ST2000VX000 (их нет в листе совместимости) - насколько велики шансы, что контроллер будет периодически их отстреливать?
4. Если уж брать 2тб диски, то целиком отдавать их под RAID-0 жалко. Ну очень много места пропадет. Да и хотелось бы под чередование только "быстрое" начало дисков использовать. Поэтому есть мысль половину пространства собрать в R0, а половину в R10 или R6. Тут опять всплывает вопрос нужен ли контроллер, не будет ли он откидывать диски.
5. Из описания Adaptec 6805E: "6-я серия не поддерживает и не будет поддерживать диски 4K". Я правильно понимаю, что цеплять к нему планируемые диски даже не стоит и пытаться?
Что еще я мог не учесть?
Хочу сказать, что прочел, и в целом понял статью "Надежность жестких дисков: MTBF, AFR, UER. Почему не стоит использовать десктопные диски в аппаратных RAID'ах?".
Но даже несмотря на "если диск долго не отвечает, то контроллер считает его неисправным и выкидывает из массива, ... связка, ... Adaptec и десктопных WD Green работает с регулярной потерей дисков и постоянными ребилдами, вплоть до полного развала массива." речь пойдет о десктопных дисках О причинах ниже.
Разваливания планируемого массива, даже регулярные - это не критичная проблема. К потере данных не приведет, просто создаст неудобство. На этом массиве всегда будет идти работа с текущим этапом. Копия рабочих данных текущего этапа и копия сырья - хранятся на RAID-10 на отдельном хосте, плюс бэкап на внешних дисках.
Задача такая:
Мне нужен емкий (от 5-8тб) и, насколько возможно, быстрый (в т.ч. по иопсам) массив для работы программы сшивающей фотопанорамы. Очень большие фотопанорамы (гигапикслей так на 200-300) из тысяч и тысяч кадров. На таких задачах софт оптимизирован слабо, а туда-сюда гоняются терабайты. Особенно при конвертации одной проекции в другую (экви в куб).
Поскольку терабайтные ссд в количестве нескольких штук это еще очень дорого, мой выбор падает на RAID-0 из жестких дисков. Планируются к закупке ST1000VX000 или ST2000VX000. Есть парочка первых, уже несколько лет работают отлично, гарантия на них 3 года, скорости радуют. Цены радуют, в отличие от рейдовых дисков. Вроде как 1тб версия дисков пошустрее, и, в теории, понадежнее (1 пластина против 3), но у 2тб версии радует цена за гб.
Дисков планируется на массив 6-8 штук. Под систему есть 512гб NVMe, есть 96 гб памяти. Свободных сата портов как раз 8 шт. ОС - вин10. Корпус приличный, винты на вибропрокладках, вентиляция хорошая, блок питания отличный, ибп есть.
Сразу хочу сказать на счет кэширования на ссд (это часто предлагают). Практически наверняка, это бесполезно. Во-первых есть некие опыты на эту тему от более понимающего в рейдах и т.п. коллеги, и он не нашел решения. Во-вторых, для грамотной организации кэширования нужно еще поставить эксперимент, проанализировать результаты, сделать выводы. А это все время и требует знаний. И, напомню, временные файлы измеряются терабайтами - не накэшируется особо.
Вопросы:
1. Достаточно ли 100% программного рейда средствами ос?
2. Есть ли смысл покупать контроллер? Скажем, б\у адаптек 6\7й серии?
Извращенные вопросы:
3. Таки б\у Adaptec 71605 (могу купить за недорого, или вообще почти бесплатно старый 5805) + 6-8 ST2000VX000 (их нет в листе совместимости) - насколько велики шансы, что контроллер будет периодически их отстреливать?
4. Если уж брать 2тб диски, то целиком отдавать их под RAID-0 жалко. Ну очень много места пропадет. Да и хотелось бы под чередование только "быстрое" начало дисков использовать. Поэтому есть мысль половину пространства собрать в R0, а половину в R10 или R6. Тут опять всплывает вопрос нужен ли контроллер, не будет ли он откидывать диски.
5. Из описания Adaptec 6805E: "6-я серия не поддерживает и не будет поддерживать диски 4K". Я правильно понимаю, что цеплять к нему планируемые диски даже не стоит и пытаться?
Что еще я мог не учесть?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Почему не собрать единый Р6 и порезать его на логические диски?localhostroot писал(а):Поэтому есть мысль половину пространства собрать в R0, а половину в R10 или R6.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
5ТБ на ССДшках можно поиметь меньше, чем за 100тыр. На фоне имеющихся 96ГБ оперативки, это не бог весть какие деньги.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 27 авг 2016, 13:07
Re: RAID-0 на множестве HDD: вопросы
Или так, да. Но это точно нужен контроллер. А нужен ли он мне, и годится ли для ST2000VX000 - это вопрос к вам.Почему не собрать единый Р6 и порезать его на логические диски?
Так то да, минимально отказоустойчивый массив хотелось бы.
Пока я присматриваюсь к б\у LSI 9341-8i из одного магазина (только он R6 не умеет). Его можно сдать назад в течение двух недель, и продают с гарантией, несмотря на б\у статус. Правда придется на кабели потратиться в любом случае, даже под эксперименты. Еще на авито есть тьма разных вариантов, в т. ч. Adaptec 71605 за недорого. Но, помимо "не известно в каком они состоянии по факту и не вернуть потом" есть проблема "а если он начнет выкидывать диски?
Не соглашусь. 96 гб приличной ддр4 мне недавно обошлись всего в 27 т.р. И она нужна чаще и сильнее, чем такой массив. SSD ниже 850 EVO брать смысла нет. А их 4тб (2х2) будет стоит минимум 80к руб, и это если брать у немцев (CU), а не тут.5ТБ на ССДшках можно поиметь меньше, чем за 100тыр. На фоне имеющихся 96ГБ оперативки, это не бог весть какие деньги.
К тому же вчера я купил 4 шт ST2000VX000 (за 21к) и уже собрал их в софтовый R0. По самому минимуму это мою потребность уже закрыло.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Вы сами себе противоречитеlocalhostroot писал(а):Или так, да. Но это точно нужен контроллер. А нужен ли он мне, и годится ли для ST2000VX000 - это вопрос к вам.
Здесь также противоречие, при Р0 что бы вы не делали, шансы потерять все данные махом очень велики.Так то да, минимально отказоустойчивый массив хотелось бы.
Это бомба замедленного действия. Любой чих - и привет вашим данным.К тому же вчера я купил 4 шт ST2000VX000 (за 21к) и уже собрал их в софтовый R0. По самому минимуму это мою потребность уже закрыло.
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Stranger03
Ген. Ну ведь выше написали, что нужен быстрый массив для промежуточных данных.
Важные данные лежат на других массивах.
localhostroot
И если вам нужна хорошая скорость записи, то лучше не делать массивы RAID 5 и RAID 6.
Ген. Ну ведь выше написали, что нужен быстрый массив для промежуточных данных.
Важные данные лежат на других массивах.
localhostroot
Контроллеры без кеша у LSI хорошо работают с SSD и медленно работают с жесткими дисками. Особенно на запись. Лучше уж использовать встроенный в чипсет контроллер.Пока я присматриваюсь к б\у LSI 9341-8i из одного магазина
И если вам нужна хорошая скорость записи, то лучше не делать массивы RAID 5 и RAID 6.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 27 авг 2016, 13:07
Re: RAID-0 на множестве HDD: вопросы
Не совсем.Вы сами себе противоречите
Есть главная задача - большой быстрый R0. Он может даже разваливаться. Если не будет делать это через день-два, то все ок.
Есть хотелка второго уровня важности: На "медленной части дисков" собрать R10 или R6. Т.е. от этих двухтерабайтников половину отдать в R0, а половину в типа отказоустойчивый. Но тут, вероятно, нужен контроллер. Если да, то вопрос какой.
Не страшно. Пара-тройка часов (а когда таки подарю себе 10GbE - минут 20-30) и я выкопировал из хранилища\бэкапа.Это бомба замедленного действия. Любой чих - и привет вашим данным.
Другой вопрос, это если пойти по извратному пути "на этих же дисках собрал R10 или R6.
Частые отстрелы десктопных дисков от контроллера это насколько реальная страшная сказка?
Код: Выделить всё
Контроллеры без кеша у LSI хорошо работают с SSD и медленно работают с жесткими дисками. Особенно на запись. Лучше уж использовать встроенный в чипсет контроллер. И если вам нужна хорошая скорость записи, то лучше не делать массивы RAID 5 и RAID 6.
9341-8i - как думаете, хотя бы поиграться стоит взять? Или ни к чему?
Вообще минимальной кровью основная задача решается через софтовый средствами венды R0. Просто жалко все место "терять". Да и "медленную часть дисков" хотелось бы отдать под R10\6.
Короче говоря:
Правильно ли я понимаю, что для просто R0 контроллер ни к чему и софтового средствами ОС решения заглаза?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Поставьте тупой ХБА или чипсетные порты и сделайте страйп виндой.
Все остальное как минимум не быстрее, капризнее и дороже - а конфета из дерьма все равно не получится.
Все остальное как минимум не быстрее, капризнее и дороже - а конфета из дерьма все равно не получится.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Максимальная скорость копирования в сети 1Гбит составляет примерно 80МБ/сек. В случае потокового восстановления данных с бекапа эта скорость будет плавать в зависимости от десятков "И". Сколько времени вы будете восстанавливать, считайте сами. Сколько же раз в день, неделю, месяц это придется делать на Р0, никому не известно. Но часто - факт.localhostroot писал(а):Не страшно. Пара-тройка часов (а когда таки подарю себе 10GbE - минут 20-30) и я выкопировал из хранилища\бэкапа.
Основной момент - диски должны быть валидированы контроллером. Если они есть в HCL, то как правило будут работать месяцами, пока не поползут ББ.Частые отстрелы десктопных дисков от контроллера это насколько реальная страшная сказка?
Все, что бОльше Р1, лучше строить на аппаратном контроллере, но в вашем случае один леший, конфету из дерьма не получишь.Короче говоря:
Правильно ли я понимаю, что для просто R0 контроллер ни к чему и софтового средствами ОС решения заглаза?
П.С. Р0 можно применять в очень ограниченном списке задач:
- временные файлы
- архивные данные, которые дублируются на лентах например
- видеопоток, который особо не нужен, из которого нужные фрагменты убираются подальше
Вообщем все, что особо не нужно и потеря не представляет никакого интереса.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
gs писал(а):а конфета из дерьма все равно не получится.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 27 авг 2016, 13:07
Re: RAID-0 на множестве HDD: вопросы
Их в списке точно нетОсновной момент - диски должны быть валидированы контроллером. Если они есть в HCL, то как правило будут работать месяцами, пока не поползут ББ.
Серьезные контролеры будут их выкидывать? Вообще не примут?
Мне кажется, или я с этого и начал тему?П.С. Р0 можно применять в очень ограниченном списке задач:
- временные файлы
Это основная и самая важная задача.
Подзадача "на части емкости дисков попробовать организовать R6\10" - второстепенная.
Кто бы спорил:?) Но хоть сахарной пудрой посыпать!а конфета из дерьма все равно не получится.
Вопрос:
На авито довольно много контроллеров занедорого. Можно даже сразу два брать. Чтоб был запасной на случай отказа используемого.
Ваше мнение об этой лотерее? Бывает ли такое, что их скидывают по причине каких-то не сразу проявляемых глюков?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
Не нужен Вам аппаратный контроллер. Только гемор себе лишний найдете.
Софтовый страйп - наименее капризная штука по части совместимости с дисками. И самая быстрая на линейных потоках.
Софтовый страйп - наименее капризная штука по части совместимости с дисками. И самая быстрая на линейных потоках.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 27 авг 2016, 13:07
Re: RAID-0 на множестве HDD: вопросы
Ок. За эту часть ответов спасибо.
Теперь, если вы не против давайте рассмотрим вопрос целесообразности покупки б\у контроллера на авито. Пусть даже сразу двух (запасной положить в ящик), если речь о недорогих. Там можно за 5-7к руб найти контроллер с поддержкой R6.
- Видите ли вы какие-то аргументы против такой лотереи? Может ли быть такое, что у контроллеров какие-то баги, но сразу при проверке не найти, он будет как бы нормально работать.
- Дисков В HCL нет. Диски ST2000VX000. Можете ли поделиться своим "прогнозом" на такое сочетание?
- R6 для дома? Т.е. не под мега важную базу данных. Допускается иногда развал массива. Это будет куда сильнее неприятно, чем развал R0 (к этому я готов каждую минуту), но не фатально. Цель - экономия места и более производительный массив, чем одиночные диски.
Теперь, если вы не против давайте рассмотрим вопрос целесообразности покупки б\у контроллера на авито. Пусть даже сразу двух (запасной положить в ящик), если речь о недорогих. Там можно за 5-7к руб найти контроллер с поддержкой R6.
- Видите ли вы какие-то аргументы против такой лотереи? Может ли быть такое, что у контроллеров какие-то баги, но сразу при проверке не найти, он будет как бы нормально работать.
- Дисков В HCL нет. Диски ST2000VX000. Можете ли поделиться своим "прогнозом" на такое сочетание?
- R6 для дома? Т.е. не под мега важную базу данных. Допускается иногда развал массива. Это будет куда сильнее неприятно, чем развал R0 (к этому я готов каждую минуту), но не фатально. Цель - экономия места и более производительный массив, чем одиночные диски.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: RAID-0 на множестве HDD: вопросы
- как встретить динозавра в лесу, либо встретишь, либо нетlocalhostroot писал(а):- Дисков В HCL нет. Диски ST2000VX000. Можете ли поделиться своим "прогнозом" на такое сочетание?
- не морочьте ни себе, ни нам голову, нужна помойка, ставьте на флешку FreeNAS: https://habrahabr.ru/post/196744/ и софтовый страйп. На 100% будет надежнее, чем ваше поделие. А вместо 2-х контроллеров возьмите пару лишних дисков в ЗИП.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 25 гостей