Серверные SSD-диски в RAID-1 на контроллере Intel.

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Artyk
Junior member
Сообщения: 8
Зарегистрирован: 18 окт 2016, 19:44
Откуда: Сочи

Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Artyk » 18 окт 2016, 20:50

Здравствуйте.
Прошу строго не судить за этот вопрос, но как говориться у кого что болит.
Занимаюсь терминальными серверами под 1С для небольших предприятий - 20-50 пользователей максимум.
Использую только серверные SSD от Intel серии S3710 SSDSC2BA200G401.
Всегда считал, что достаточно собрать на этих дисках RAID-1 (зеркало) на встроенном контроллере Intel и всё будет приемлемо и по скорости и по надёжности.
Как известно (IMHO), TRIM не самая важная технология для серверного SSD, там действуют другие технологии.
К тому же, как я понял в RAID многие драйвера не поддерживают эту технологию, а ОС в итоге даже не знает что у неё стоит SSD-диск, она видит только массив.
Не знал, что делать с этим фактом - он просто завис в моём мозгу, но что то мне не нравится такая особенность этого решения.
А тут ещё прочитал комментарий OCZAVR на
https://geektimes.ru/company/ocz/blog/2 ... nt_8295896
....
Шифрование не является единственной помехой для восстановления данных.
Все реально восстановить, вопрос только денег и времени… Как в любом деле — проще предотвратить беду, чем потом героически, что-то там восстанавливать.
Репликация критичных данных прекрасно решает проблему. (Не RAID — эта хрень только для механики годна...) SSD как правило «цепляют простуду» коллективно,
т.к. воздействие — коллективное на них.
Данные на SSD всегда хранятся вперемешку, т.е. можно сказать скремблированы, это природа SSD, её не поменять.
Понять, где, что хранится, позволяют таблицы, вот их-то потеря и вызывает видимую «смерть» SSD. (на самом деле такой SSD можно восстановить заводским
методом прошивки, хотя данные будут утеряны, либо secure erase, если служебные таблицы хотя бы остались.)
Контроллеры потребительских SSD и стоковые FW под них, в силу своей простоты и дешевизны, не могут заботиться о сохранности таблиц во время внезапного
пропадания питания или сбоев по питанию, от того и мрут потребительские SSD — часто и с удовольствием, если не защищены бесперебойниками.
Но ситуация — меняется, проектируются новые контроллеры (хотя дело это дорогое и не быстрое), SSD уходят от ATA команд, которые им как собаке пятая нога,
писатели FW все больше уделяют внимания сохранности таблиц их дублированию или хотя бы сохранности работоспособности SSD после сбоя.
Зоопарк всевозможных «производителей» SSD сужается, всего год назад их было более 135, сейчас уже меньше 130 ;) Прогресс! Проще стандартизировать процессы
и технологии.
А шифрование, только слегка подливает масла в огонь, но не является первопричиной проблемы.
Например Vector 180 — будет иметь частичную защиту главных таблиц, что позволит им как минимум остаться работоспособными, хотя есть вероятность
потери данных. (В лаборатории не получилось их потерять, но уверен, что россияне найдут способ!) Очереди за ними точно не будет.
Intrepid 3600 — полная защита по питанию и RAID на N+1 на NAND, нет очередей за ними, что-то. А ведь там не Sand Force полный сюрпризов, как
его не программируй…
В следующее поколение контроллеров уже будет встроен еще более продвинутый механизм защиты таблиц размещения, и контроль питания.
FW будет более продвинутой. Не все сразу, забыли как первые HDD работали?
Я бы ставил вопрос иначе — не «как мне восстановить данные?», а «что делать, что бы не потерять их»!
...
Этот товарищ не ответил, что он имел введу - "Не RAID — эта хрень только для механики годна..."
Может Гуру SSD выскажут своё мнение по этому поводу?
Спасибо.
С уважением, Артюк Андрей. Сочи.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Stranger03 » 19 окт 2016, 10:47

Artyk писал(а):Я бы ставил вопрос иначе — не «как мне восстановить данные?», а «что делать, что бы не потерять их»!
Из всего написанного я нашел только один вопрос. Если что-то еще есть, задавайте, а то очень много написано.

По этому вопросу ответ один: консистентный бекап. Пусть даже на внешний USB диск, но ежедневный с проверкой консистентности данных. Раз в месяц крайне желательно проводить тестовое восстановление, чтобы проверять, что все норм.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение gs » 19 окт 2016, 11:58

Тоже не понял вопроса. Комментировать чей-то поток сознания?

Что касается SSD, то 3710 - это перебор для большинства задач в этом секторе. 3610 обычно за глаза и за уши. И защита кэша там есть, если вопрос об этом.

Artyk
Junior member
Сообщения: 8
Зарегистрирован: 18 окт 2016, 19:44
Откуда: Сочи

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Artyk » 19 окт 2016, 14:22

Вопросы простые -
1. есть ли смысл делать зеркало из SSD или зеркало действительно пережиток механики?
2. может нужен рейд-контроллер предназначенный для SSD-дисков и встроенный от Intel не подходит?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Stranger03 » 20 окт 2016, 09:49

Artyk писал(а):1. есть ли смысл делать зеркало из SSD или зеркало действительно пережиток механики?
Если это не писюк, то зеркало маст хэв.
2. может нужен рейд-контроллер предназначенный для SSD-дисков и встроенный от Intel не подходит?
Если дисков не бОльше 2-х, может быть 3-и, если 3-й назначен в качестве хотспаре, то мы советуем ставить на набортный SATA. Хотя можно и простой LSI поставить.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение gs » 20 окт 2016, 11:24

1. Интеловские серверные ССД в целом значительно надежнее, чем ХДД. Но тоже дохнут, просто реже.
2. Все современные контроллеры умеют работать с ССД. При небольшой нагрузке хватает и интеграшки с зеркалом. Если нужно больше перфоманса или более продвинутый мониторинг, то LSI 9341 вполне себе.

Artyk
Junior member
Сообщения: 8
Зарегистрирован: 18 окт 2016, 19:44
Откуда: Сочи

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Artyk » 20 окт 2016, 23:49

А что делать с фактом что в RAID`е я не могу получить данные SMART от SSD?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Stranger03 » 21 окт 2016, 09:07

Artyk писал(а):А что делать с фактом что в RAID`е я не могу получить данные SMART от SSD?
Это уже старый бородатый баян. Не получите, рейд наружу не отдает данные дисков. Смотрите утилиты от контроллера, возможно там что-то найдете.
П.С. укажите город в профиле
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение gs » 21 окт 2016, 11:18

Смарт Вы и от ХДД не получите. Ибо нафиг не надо - контроллер сам мониторит смарт и пришлет алерт, если что.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение gs » 21 окт 2016, 11:20

В конце концов, что мешает использовать софтовое зеркало виндой? Для одинески на 10-20 рыл достаточно...

Artyk
Junior member
Сообщения: 8
Зарегистрирован: 18 окт 2016, 19:44
Откуда: Сочи

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Artyk » 21 окт 2016, 18:36

Хватит теории, есть реальная ситуация -
собрал зеркало из двух SSD от Intel серии S3710 SSDSC2BA200G401 на набортном контролере Intel (материнка серверная от SuperMicro).
Сервер запитан через ИБП Powercom, который управляет этим сервером - т.е. сбой по питанию скорее всего исключаем.
Зеркало проработало 12 дней без нареканий.
После работы программист 1С сделал выгрузку и поставил на ночь обрезать базу торговли 1С8.2.
Каждую ночь сервер перегружается через планировщик - программист об этом забыл, поэтому база не обрезалась.
Наутро имеем нерабочую базу, программист попробовал загрузить выгрузку в 1С - она тоже оказалась битая.
В логах системы было указание на ошибки в файле подкачки и предложение сделать проверку диска.
Но при этом статус RAID`а был исправный.
Я запустил сервер с первого диска и несколькими программами восстановления данных извлёк выгрузку, после этого сделал образ диска и отправил диск на проверку.
В итоге на диске было более 400 мб бэдов.
После этого я сделал всё то же самое со вторым диском из зеркала. Одна из выгрузок, полученная таким способом загрузилась и оказалась полной базой.
Бэдов на этом диске не оказалось.
При всём этом утилита Intel для этих SSD-дисков показывает, что со SMART у обоих дисков всё хорошо?????
Сейчас ситуация следующая - система уже неделю работает на одном диске без сбоев, только я достал его из корзины и подключил напрямую.
Вопросы -
1. Как эта ситуация могла произойти?
2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов?
3. У SSD-дисков тоже бывают софтовые бэды?
4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый?
5. Могло ли это произойти, из-за того, что корзина не держит SATA-3?
6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать)?
7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,
то после Secure Erase он будет типа как новый и если я его сдам по гарантии, то мне его вернут назад?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Stranger03 » 24 окт 2016, 10:18

Artyk писал(а):1. Как эта ситуация могла произойти?
Штатная ситуация. Программист должен быть сначала сделать бекап базы, потом делать "обрезание". Поскольку в момент "обрезания" была дана команда на шут-даун, то ваша база оказалась частично битой.
2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов?
У SSD диска есть довольно большой объем резервной области для замены сбойных флеш ячеек. Это нормально. СМАРТ будет плохим, когда резервная область будет полностью забита.
4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый?
см выше, формально все в рамках штатной ситуации
5. Могло ли это произойти, из-за того, что корзина не держит SATA-3?
нет, диски обратно совместимы
6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать)?
как ни странно звучит, но спасет только бекап
7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,
то после Secure Erase он будет типа как новый и если я его сдам по гарантии, то мне его вернут назад?
Пока показатели СМАРТА в норме, с диском все хорошо. Дайте полную картинку.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Tert » 24 окт 2016, 15:02

Artyk
отправил диск на проверку.
Чем проверяли? У Intel есть официальная утилита для работы с их SSD дисками.
Проверьте диск с ее помощью.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение gs » 25 окт 2016, 15:09

Ну и не стоит забывать про банальную верификацию массива - независимо от типа носителя. Я как-то не очень представляю 400МБ (почти миллион!!!) бэдов от _корректного_ выключения. Или бага софтового контроллера. Или включенный кэш контроллера. Или... Или... в общем косяк надо искать, но причем тут собственно ССД?

Artyk
Junior member
Сообщения: 8
Зарегистрирован: 18 окт 2016, 19:44
Откуда: Сочи

Re: Серверные SSD-диски в RAID-1 на контроллере Intel.

Сообщение Artyk » 28 окт 2016, 10:02

Вопросы -
Artyk писал(а):1. Как эта ситуация могла произойти
- соглашусь, что некоректно заданный вопрос.
Artyk писал(а):2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов -
400 мб бэдов для серверного ссд за 12 дней это разве нормально, в механическом диске SMART БЫ УЖЕ ОРАЛ ПРО ПРОБЛЕМУ???
Artyk писал(а):3. У SSD-дисков тоже бывают софтовые бэды????
Повторю вопрос.
Artyk писал(а):4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый -
разве RAID не проверяет целостность записи, разве верификация массива не делается в автомате?
Artyk писал(а):5. Могло ли это произойти, из-за того, что корзина не держит SATA-3 -
понятно.
Artyk писал(а):6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать) -
я серверами и RAID-массивами занимаюсь где то с года 1997, ещё со времён Window NT 4 Terminal Server Edition (Hydra), разными - от RAID1 и RAID5 до RAID10 -
ни разу у меня не было такой ситуации - чтобы в массиве на одном из дисков пошли бэды, а RAID-контроллер делает вид, что всё хорошо????
Artyk писал(а):7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,то после Secure Erase он будет типа как новый и если я его сдам по гарантии,
то мне его вернут назад -
что имеется ввиду под полной картиной?
Tert писал(а):Artyk
отправил диск на проверку.
Чем проверяли? У Intel есть официальная утилита для работы с их SSD дисками.
Проверьте диск с ее помощью.
На бэды проверял конечно chkdsk, я других программ (кроме mhdd и victoria) просто не знаю - может вы сможете мне их подсказать?
Я же написал про Secure Erase, а его можно сделать только родной утилитой от производителя, поэтому я вообще не понял вашего ответа.
gs писал(а):Ну и не стоит забывать про банальную верификацию массива - независимо от типа носителя. Я как-то не очень представляю 400МБ (почти миллион!!!) бэдов от _корректного_ выключения. Или бага софтового контроллера. Или включенный кэш контроллера. Или... Или... в общем косяк надо искать, но причем тут собственно ССД?
А разве верификация массива не автоматически делается?
Вот я и спрашиваю, где баги искать - какая очерёдность подозрений, какие способы проверки и как исправить.

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 20 гостей