Серверные SSD-диски в RAID-1 на контроллере Intel.
Модераторы: Trinity admin`s, Free-lance moderator`s
Серверные SSD-диски в RAID-1 на контроллере Intel.
Здравствуйте.
Прошу строго не судить за этот вопрос, но как говориться у кого что болит.
Занимаюсь терминальными серверами под 1С для небольших предприятий - 20-50 пользователей максимум.
Использую только серверные SSD от Intel серии S3710 SSDSC2BA200G401.
Всегда считал, что достаточно собрать на этих дисках RAID-1 (зеркало) на встроенном контроллере Intel и всё будет приемлемо и по скорости и по надёжности.
Как известно (IMHO), TRIM не самая важная технология для серверного SSD, там действуют другие технологии.
К тому же, как я понял в RAID многие драйвера не поддерживают эту технологию, а ОС в итоге даже не знает что у неё стоит SSD-диск, она видит только массив.
Не знал, что делать с этим фактом - он просто завис в моём мозгу, но что то мне не нравится такая особенность этого решения.
А тут ещё прочитал комментарий OCZAVR на
https://geektimes.ru/company/ocz/blog/2 ... nt_8295896
....
Шифрование не является единственной помехой для восстановления данных.
Все реально восстановить, вопрос только денег и времени… Как в любом деле — проще предотвратить беду, чем потом героически, что-то там восстанавливать.
Репликация критичных данных прекрасно решает проблему. (Не RAID — эта хрень только для механики годна...) SSD как правило «цепляют простуду» коллективно,
т.к. воздействие — коллективное на них.
Данные на SSD всегда хранятся вперемешку, т.е. можно сказать скремблированы, это природа SSD, её не поменять.
Понять, где, что хранится, позволяют таблицы, вот их-то потеря и вызывает видимую «смерть» SSD. (на самом деле такой SSD можно восстановить заводским
методом прошивки, хотя данные будут утеряны, либо secure erase, если служебные таблицы хотя бы остались.)
Контроллеры потребительских SSD и стоковые FW под них, в силу своей простоты и дешевизны, не могут заботиться о сохранности таблиц во время внезапного
пропадания питания или сбоев по питанию, от того и мрут потребительские SSD — часто и с удовольствием, если не защищены бесперебойниками.
Но ситуация — меняется, проектируются новые контроллеры (хотя дело это дорогое и не быстрое), SSD уходят от ATA команд, которые им как собаке пятая нога,
писатели FW все больше уделяют внимания сохранности таблиц их дублированию или хотя бы сохранности работоспособности SSD после сбоя.
Зоопарк всевозможных «производителей» SSD сужается, всего год назад их было более 135, сейчас уже меньше 130 Прогресс! Проще стандартизировать процессы
и технологии.
А шифрование, только слегка подливает масла в огонь, но не является первопричиной проблемы.
Например Vector 180 — будет иметь частичную защиту главных таблиц, что позволит им как минимум остаться работоспособными, хотя есть вероятность
потери данных. (В лаборатории не получилось их потерять, но уверен, что россияне найдут способ!) Очереди за ними точно не будет.
Intrepid 3600 — полная защита по питанию и RAID на N+1 на NAND, нет очередей за ними, что-то. А ведь там не Sand Force полный сюрпризов, как
его не программируй…
В следующее поколение контроллеров уже будет встроен еще более продвинутый механизм защиты таблиц размещения, и контроль питания.
FW будет более продвинутой. Не все сразу, забыли как первые HDD работали?
Я бы ставил вопрос иначе — не «как мне восстановить данные?», а «что делать, что бы не потерять их»!
...
Этот товарищ не ответил, что он имел введу - "Не RAID — эта хрень только для механики годна..."
Может Гуру SSD выскажут своё мнение по этому поводу?
Спасибо.
С уважением, Артюк Андрей. Сочи.
Прошу строго не судить за этот вопрос, но как говориться у кого что болит.
Занимаюсь терминальными серверами под 1С для небольших предприятий - 20-50 пользователей максимум.
Использую только серверные SSD от Intel серии S3710 SSDSC2BA200G401.
Всегда считал, что достаточно собрать на этих дисках RAID-1 (зеркало) на встроенном контроллере Intel и всё будет приемлемо и по скорости и по надёжности.
Как известно (IMHO), TRIM не самая важная технология для серверного SSD, там действуют другие технологии.
К тому же, как я понял в RAID многие драйвера не поддерживают эту технологию, а ОС в итоге даже не знает что у неё стоит SSD-диск, она видит только массив.
Не знал, что делать с этим фактом - он просто завис в моём мозгу, но что то мне не нравится такая особенность этого решения.
А тут ещё прочитал комментарий OCZAVR на
https://geektimes.ru/company/ocz/blog/2 ... nt_8295896
....
Шифрование не является единственной помехой для восстановления данных.
Все реально восстановить, вопрос только денег и времени… Как в любом деле — проще предотвратить беду, чем потом героически, что-то там восстанавливать.
Репликация критичных данных прекрасно решает проблему. (Не RAID — эта хрень только для механики годна...) SSD как правило «цепляют простуду» коллективно,
т.к. воздействие — коллективное на них.
Данные на SSD всегда хранятся вперемешку, т.е. можно сказать скремблированы, это природа SSD, её не поменять.
Понять, где, что хранится, позволяют таблицы, вот их-то потеря и вызывает видимую «смерть» SSD. (на самом деле такой SSD можно восстановить заводским
методом прошивки, хотя данные будут утеряны, либо secure erase, если служебные таблицы хотя бы остались.)
Контроллеры потребительских SSD и стоковые FW под них, в силу своей простоты и дешевизны, не могут заботиться о сохранности таблиц во время внезапного
пропадания питания или сбоев по питанию, от того и мрут потребительские SSD — часто и с удовольствием, если не защищены бесперебойниками.
Но ситуация — меняется, проектируются новые контроллеры (хотя дело это дорогое и не быстрое), SSD уходят от ATA команд, которые им как собаке пятая нога,
писатели FW все больше уделяют внимания сохранности таблиц их дублированию или хотя бы сохранности работоспособности SSD после сбоя.
Зоопарк всевозможных «производителей» SSD сужается, всего год назад их было более 135, сейчас уже меньше 130 Прогресс! Проще стандартизировать процессы
и технологии.
А шифрование, только слегка подливает масла в огонь, но не является первопричиной проблемы.
Например Vector 180 — будет иметь частичную защиту главных таблиц, что позволит им как минимум остаться работоспособными, хотя есть вероятность
потери данных. (В лаборатории не получилось их потерять, но уверен, что россияне найдут способ!) Очереди за ними точно не будет.
Intrepid 3600 — полная защита по питанию и RAID на N+1 на NAND, нет очередей за ними, что-то. А ведь там не Sand Force полный сюрпризов, как
его не программируй…
В следующее поколение контроллеров уже будет встроен еще более продвинутый механизм защиты таблиц размещения, и контроль питания.
FW будет более продвинутой. Не все сразу, забыли как первые HDD работали?
Я бы ставил вопрос иначе — не «как мне восстановить данные?», а «что делать, что бы не потерять их»!
...
Этот товарищ не ответил, что он имел введу - "Не RAID — эта хрень только для механики годна..."
Может Гуру SSD выскажут своё мнение по этому поводу?
Спасибо.
С уважением, Артюк Андрей. Сочи.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Из всего написанного я нашел только один вопрос. Если что-то еще есть, задавайте, а то очень много написано.Artyk писал(а):Я бы ставил вопрос иначе — не «как мне восстановить данные?», а «что делать, что бы не потерять их»!
По этому вопросу ответ один: консистентный бекап. Пусть даже на внешний USB диск, но ежедневный с проверкой консистентности данных. Раз в месяц крайне желательно проводить тестовое восстановление, чтобы проверять, что все норм.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Тоже не понял вопроса. Комментировать чей-то поток сознания?
Что касается SSD, то 3710 - это перебор для большинства задач в этом секторе. 3610 обычно за глаза и за уши. И защита кэша там есть, если вопрос об этом.
Что касается SSD, то 3710 - это перебор для большинства задач в этом секторе. 3610 обычно за глаза и за уши. И защита кэша там есть, если вопрос об этом.
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Вопросы простые -
1. есть ли смысл делать зеркало из SSD или зеркало действительно пережиток механики?
2. может нужен рейд-контроллер предназначенный для SSD-дисков и встроенный от Intel не подходит?
1. есть ли смысл делать зеркало из SSD или зеркало действительно пережиток механики?
2. может нужен рейд-контроллер предназначенный для SSD-дисков и встроенный от Intel не подходит?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Если это не писюк, то зеркало маст хэв.Artyk писал(а):1. есть ли смысл делать зеркало из SSD или зеркало действительно пережиток механики?
Если дисков не бОльше 2-х, может быть 3-и, если 3-й назначен в качестве хотспаре, то мы советуем ставить на набортный SATA. Хотя можно и простой LSI поставить.2. может нужен рейд-контроллер предназначенный для SSD-дисков и встроенный от Intel не подходит?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
1. Интеловские серверные ССД в целом значительно надежнее, чем ХДД. Но тоже дохнут, просто реже.
2. Все современные контроллеры умеют работать с ССД. При небольшой нагрузке хватает и интеграшки с зеркалом. Если нужно больше перфоманса или более продвинутый мониторинг, то LSI 9341 вполне себе.
2. Все современные контроллеры умеют работать с ССД. При небольшой нагрузке хватает и интеграшки с зеркалом. Если нужно больше перфоманса или более продвинутый мониторинг, то LSI 9341 вполне себе.
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
А что делать с фактом что в RAID`е я не могу получить данные SMART от SSD?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Это уже старый бородатый баян. Не получите, рейд наружу не отдает данные дисков. Смотрите утилиты от контроллера, возможно там что-то найдете.Artyk писал(а):А что делать с фактом что в RAID`е я не могу получить данные SMART от SSD?
П.С. укажите город в профиле
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Смарт Вы и от ХДД не получите. Ибо нафиг не надо - контроллер сам мониторит смарт и пришлет алерт, если что.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
В конце концов, что мешает использовать софтовое зеркало виндой? Для одинески на 10-20 рыл достаточно...
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Хватит теории, есть реальная ситуация -
собрал зеркало из двух SSD от Intel серии S3710 SSDSC2BA200G401 на набортном контролере Intel (материнка серверная от SuperMicro).
Сервер запитан через ИБП Powercom, который управляет этим сервером - т.е. сбой по питанию скорее всего исключаем.
Зеркало проработало 12 дней без нареканий.
После работы программист 1С сделал выгрузку и поставил на ночь обрезать базу торговли 1С8.2.
Каждую ночь сервер перегружается через планировщик - программист об этом забыл, поэтому база не обрезалась.
Наутро имеем нерабочую базу, программист попробовал загрузить выгрузку в 1С - она тоже оказалась битая.
В логах системы было указание на ошибки в файле подкачки и предложение сделать проверку диска.
Но при этом статус RAID`а был исправный.
Я запустил сервер с первого диска и несколькими программами восстановления данных извлёк выгрузку, после этого сделал образ диска и отправил диск на проверку.
В итоге на диске было более 400 мб бэдов.
После этого я сделал всё то же самое со вторым диском из зеркала. Одна из выгрузок, полученная таким способом загрузилась и оказалась полной базой.
Бэдов на этом диске не оказалось.
При всём этом утилита Intel для этих SSD-дисков показывает, что со SMART у обоих дисков всё хорошо?????
Сейчас ситуация следующая - система уже неделю работает на одном диске без сбоев, только я достал его из корзины и подключил напрямую.
Вопросы -
1. Как эта ситуация могла произойти?
2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов?
3. У SSD-дисков тоже бывают софтовые бэды?
4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый?
5. Могло ли это произойти, из-за того, что корзина не держит SATA-3?
6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать)?
7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,
то после Secure Erase он будет типа как новый и если я его сдам по гарантии, то мне его вернут назад?
собрал зеркало из двух SSD от Intel серии S3710 SSDSC2BA200G401 на набортном контролере Intel (материнка серверная от SuperMicro).
Сервер запитан через ИБП Powercom, который управляет этим сервером - т.е. сбой по питанию скорее всего исключаем.
Зеркало проработало 12 дней без нареканий.
После работы программист 1С сделал выгрузку и поставил на ночь обрезать базу торговли 1С8.2.
Каждую ночь сервер перегружается через планировщик - программист об этом забыл, поэтому база не обрезалась.
Наутро имеем нерабочую базу, программист попробовал загрузить выгрузку в 1С - она тоже оказалась битая.
В логах системы было указание на ошибки в файле подкачки и предложение сделать проверку диска.
Но при этом статус RAID`а был исправный.
Я запустил сервер с первого диска и несколькими программами восстановления данных извлёк выгрузку, после этого сделал образ диска и отправил диск на проверку.
В итоге на диске было более 400 мб бэдов.
После этого я сделал всё то же самое со вторым диском из зеркала. Одна из выгрузок, полученная таким способом загрузилась и оказалась полной базой.
Бэдов на этом диске не оказалось.
При всём этом утилита Intel для этих SSD-дисков показывает, что со SMART у обоих дисков всё хорошо?????
Сейчас ситуация следующая - система уже неделю работает на одном диске без сбоев, только я достал его из корзины и подключил напрямую.
Вопросы -
1. Как эта ситуация могла произойти?
2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов?
3. У SSD-дисков тоже бывают софтовые бэды?
4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый?
5. Могло ли это произойти, из-за того, что корзина не держит SATA-3?
6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать)?
7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,
то после Secure Erase он будет типа как новый и если я его сдам по гарантии, то мне его вернут назад?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Штатная ситуация. Программист должен быть сначала сделать бекап базы, потом делать "обрезание". Поскольку в момент "обрезания" была дана команда на шут-даун, то ваша база оказалась частично битой.Artyk писал(а):1. Как эта ситуация могла произойти?
У SSD диска есть довольно большой объем резервной области для замены сбойных флеш ячеек. Это нормально. СМАРТ будет плохим, когда резервная область будет полностью забита.2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов?
см выше, формально все в рамках штатной ситуации4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый?
нет, диски обратно совместимы5. Могло ли это произойти, из-за того, что корзина не держит SATA-3?
как ни странно звучит, но спасет только бекап6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать)?
Пока показатели СМАРТА в норме, с диском все хорошо. Дайте полную картинку.7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,
то после Secure Erase он будет типа как новый и если я его сдам по гарантии, то мне его вернут назад?
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Artyk
Проверьте диск с ее помощью.
Чем проверяли? У Intel есть официальная утилита для работы с их SSD дисками.отправил диск на проверку.
Проверьте диск с ее помощью.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Ну и не стоит забывать про банальную верификацию массива - независимо от типа носителя. Я как-то не очень представляю 400МБ (почти миллион!!!) бэдов от _корректного_ выключения. Или бага софтового контроллера. Или включенный кэш контроллера. Или... Или... в общем косяк надо искать, но причем тут собственно ССД?
Re: Серверные SSD-диски в RAID-1 на контроллере Intel.
Вопросы -
ни разу у меня не было такой ситуации - чтобы в массиве на одном из дисков пошли бэды, а RAID-контроллер делает вид, что всё хорошо????
Я же написал про Secure Erase, а его можно сделать только родной утилитой от производителя, поэтому я вообще не понял вашего ответа.
Вот я и спрашиваю, где баги искать - какая очерёдность подозрений, какие способы проверки и как исправить.
- соглашусь, что некоректно заданный вопрос.Artyk писал(а):1. Как эта ситуация могла произойти
400 мб бэдов для серверного ссд за 12 дней это разве нормально, в механическом диске SMART БЫ УЖЕ ОРАЛ ПРО ПРОБЛЕМУ???Artyk писал(а):2. Почему SMART у обоих дисков показывает, что всё хорошо, хотя на одном из дисков куча бэдов -
Повторю вопрос.Artyk писал(а):3. У SSD-дисков тоже бывают софтовые бэды????
разве RAID не проверяет целостность записи, разве верификация массива не делается в автомате?Artyk писал(а):4. Почему в этой ситуации показывается что RAID целостный, когда один из дисков битый -
понятно.Artyk писал(а):5. Могло ли это произойти, из-за того, что корзина не держит SATA-3 -
я серверами и RAID-массивами занимаюсь где то с года 1997, ещё со времён Window NT 4 Terminal Server Edition (Hydra), разными - от RAID1 и RAID5 до RAID10 -Artyk писал(а):6. Как этого избежать в будущем (про наличие бэкапа и так всё ясно, можно не упоминать) -
ни разу у меня не было такой ситуации - чтобы в массиве на одном из дисков пошли бэды, а RAID-контроллер делает вид, что всё хорошо????
что имеется ввиду под полной картиной?Artyk писал(а):7. Что теперь делать с диском с бэдами - что то я так подозреваю, что если SMART хороший,то после Secure Erase он будет типа как новый и если я его сдам по гарантии,
то мне его вернут назад -
На бэды проверял конечно chkdsk, я других программ (кроме mhdd и victoria) просто не знаю - может вы сможете мне их подсказать?Tert писал(а):ArtykЧем проверяли? У Intel есть официальная утилита для работы с их SSD дисками.отправил диск на проверку.
Проверьте диск с ее помощью.
Я же написал про Secure Erase, а его можно сделать только родной утилитой от производителя, поэтому я вообще не понял вашего ответа.
А разве верификация массива не автоматически делается?gs писал(а):Ну и не стоит забывать про банальную верификацию массива - независимо от типа носителя. Я как-то не очень представляю 400МБ (почти миллион!!!) бэдов от _корректного_ выключения. Или бага софтового контроллера. Или включенный кэш контроллера. Или... Или... в общем косяк надо искать, но причем тут собственно ССД?
Вот я и спрашиваю, где баги искать - какая очерёдность подозрений, какие способы проверки и как исправить.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 63 гостя