"Замедление массива"? (R6, ASR-7805 - никакая запись)

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

"Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение localhostroot » 22 май 2019, 16:51

Всем привет!

Уже второй раз наступил на эти грабли. Надо попытаться понять.

Дано:
ASR-7805, с батарейкой, кэшем.

Вариант 1:
Был на нем собран 0й рейд из четырех жестких дисков. Поначалу очень радовал кэши и временные файлы лились на него реактивно. Практически 4х к скорости одного диска. Был на нем и 10й рейд на тех же дисках. Там тоже было все хорошо - практически 2х к скорости одного диска.
Но, со временем, все стало как-то жутко тормозно и медленно. Запись на него шла от силы 50-80 мбайт в сек. В один поток, крупные файлы. "Время отклика" (отображаемое в диспетчере задач вин 10) составляло 2 секунды и более. Даже после окончания (прерывания) записи массив еще очень долго дописывал в себя из дискового кэша (?) (памяти в компе много - 96гб). Смарт у дисков был в порядке. Диски вытаскивал, проверял - с ними все ок.

Вариант 2:
6й рейд (с HS диском) на 8 дисках. Поначалу - писал кипятком - так все круто было. Писало в 3 потока на 500+ мбайт\сек. Долго писало, устойчиво. См. скрин во вложении. "Время ответа" небольшое. Подвисонов не было. Сказка просто. Отказоустойчивый, быстрый, емкий массив.
Но радость была не долгой. Сейчас ситуция повторяется. Запись менее 100 мбайт сек. Адское время отклика. Долгая "дозапись" после прерывания процесса. Массив превратился в очень медленную и тупую хранилку.
Смарт статус опять ок. Пару дисков выдергивал на проверку - нет проблем с ним. Контроллер ни на что не ругается. В логах проблем не вижу. Запускал проверку массива - все ок. Даже "дефрагментацию" сделал. Хотя давно забыл что это.
Масси неюзабелен, хотя здоров.

Куда бежать? Что делать?

Обращу внимание:
Тезис "6й рейд медленно пишет" - не принимается. Т.к. недели 2-3 все было просто прекрасно. Восторг.
Настраивал вот так: http://3nity.ru/viewtopic.php?f=5&t=86674
Диски - 4 шт вд ред, 4 шт обычных тошибы.
Вложения
Аннотация 2019-04-02 154824.png

artphoen
Power member
Сообщения: 48
Зарегистрирован: 07 ноя 2018, 18:06

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение artphoen » 28 май 2019, 17:53

localhostroot писал(а):Всем привет!

Уже второй раз наступил на эти грабли. Надо попытаться понять.

Дано:
ASR-7805, с батарейкой, кэшем.

Вариант 1:
Был на нем собран 0й рейд из четырех жестких дисков. Поначалу очень радовал кэши и временные файлы лились на него реактивно. Практически 4х к скорости одного диска. Был на нем и 10й рейд на тех же дисках. Там тоже было все хорошо - практически 2х к скорости одного диска.
Но, со временем, все стало как-то жутко тормозно и медленно. Запись на него шла от силы 50-80 мбайт в сек. В один поток, крупные файлы. "Время отклика" (отображаемое в диспетчере задач вин 10) составляло 2 секунды и более. Даже после окончания (прерывания) записи массив еще очень долго дописывал в себя из дискового кэша (?) (памяти в компе много - 96гб). Смарт у дисков был в порядке. Диски вытаскивал, проверял - с ними все ок.

Вариант 2:
6й рейд (с HS диском) на 8 дисках. Поначалу - писал кипятком - так все круто было. Писало в 3 потока на 500+ мбайт\сек. Долго писало, устойчиво. См. скрин во вложении. "Время ответа" небольшое. Подвисонов не было. Сказка просто. Отказоустойчивый, быстрый, емкий массив.
Но радость была не долгой. Сейчас ситуция повторяется. Запись менее 100 мбайт сек. Адское время отклика. Долгая "дозапись" после прерывания процесса. Массив превратился в очень медленную и тупую хранилку.
Смарт статус опять ок. Пару дисков выдергивал на проверку - нет проблем с ним. Контроллер ни на что не ругается. В логах проблем не вижу. Запускал проверку массива - все ок. Даже "дефрагментацию" сделал. Хотя давно забыл что это.
Масси неюзабелен, хотя здоров.

Куда бежать? Что делать?

Обращу внимание:
Тезис "6й рейд медленно пишет" - не принимается. Т.к. недели 2-3 все было просто прекрасно. Восторг.
Настраивал вот так: http://3nity.ru/viewtopic.php?f=5&t=86674
Диски - 4 шт вд ред, 4 шт обычных тошибы.
Сколько процентов логических дисков занято информацией? От заполнения может зависеть производительность. Работает ли сервер непрерывно или периодически перезагружается? Влияет ли на производительность перезагрузки, включение-выключение? Какова температура контроллера и дисков?

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение localhostroot » 04 сен 2019, 15:28

Разбирал вчера массив и вспомнил, что тут не появлялся.

1. Ответы на вопросы:
- Заметил беду уже на занятости в 50-60%. Кстати массив поделен на два тома. На одном только крупные файлы, на другом только мелочь. Гибрида не было
- 24\7. Перезагрузки только с обновлениями, редко. (Венда)
- Не влияет. Казалось, что влияет (немного положительно) очистка массива (удаление файлов)
- Контроллер выше 42 не греется, сразу озадачился хорошим обдувом. Батарейка тоже холодная. Диски 30-40 градусов (7200 горячее, 5400 холоднее)

2. Новости:
"Подтвердилось" то, что подозревал ранее. Каким-то образом контроллер "убивает" десктопные диски.
Достали тошибы, с ними, всеми четырьмя одинаково, следующее:
- График чтения - прекрасен. Равномерный нисходящий от 180 и дальше вниз. Без запилов, без провалов. Ровно.
- Поверхность - отличная. И это после 30 тыс часов.
- Смарт статус, чем бы ни проверял - шикарный.
- Запись на диск - 30-40мбайт сек. Потолок. Реальная запись, в тестах запись.
- Подключал и как отдельный диск через контроллер, так и в мамку напрямую. Идентично.
- В терминах диспетчера задач 10й венды "активное время" этих дисков 100%, "время отклика" 3-4 секунды. После остановки записи на них (на 40 мбайтах сек, ага) он еще "дописывает" секунд по 30.

При этом ни один из четырех рэдов из этого же массива не имеет ни одной из этих проблем.
Подобное ранее было с десктопными сигейтами, теперь с тошибами.

Товарищ выдвигал тезис о фрагментации. Но нет. Я же из массива диск дернул. На нем ни таблицы, ни ФС. Разметил, форматировал (быстрым). Потом страдал. Сейчас пришла мысль: А может рейд как-то "сектора подвинул"? Вспомнилось, что в предыдущий раз оскверненные контроллером диски более менее спасло полное (не быстрое) форматирование.

Я, мягко говоря, не знаю за матчасть, но все это меня очень удивляет. Если разводить разговоры на тему TLER и т.п., то массив ни разу не отстреливал ни один диск.

Кончилось тем, что меня все это задрало. Я купил еще 4 рэда. И собираю опять шестой, но только на них.

Было бы интересно послушать ваши мысли.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение Umlyaut » 07 сен 2019, 20:56

artphoen писал(а): Сколько процентов логических дисков занято информацией? От заполнения может зависеть производительность.
Мммм-м-м-м... А почему?

Ну т.е. понятно, что LUN на первых N (гига/тера)байт рейд-группы будет быстрее LUN`а "в хвосте" - просто потому, что у внешних цилиндров выше линейная скорость дорожек.

Но именно ситуация с производительностью как функции от заполненности диска или рейд-группы характерна для SSD, но не для хардов.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение Umlyaut » 07 сен 2019, 21:14

localhostroot писал(а): Было бы интересно послушать ваши мысли.
Ну у меня первой мыслью было удивление Вашим нахальством :) по части миксования фифти-фифти хардов с разным rpm.

Не, я понимаю, когда край и надо срочно отгонять от своих данных пушистую северную лисичку, подсунув деградировавшей рейд-группе первый попавшийся (единственный имеющийся) диск подходящей ёмкости - но планово кроить рейд-группу из такого "ассорти"... м-да...

Может, я окончательно загоняюсь в мистицизме, но всё же не мог не заметить, что современные рейд-контроллеры достаточно интеллектуёвые для того, чтобы быть переборчивыми по части носителей. Например, адаптивно изменять своё поведение - скажем, снижать скорость, "выравниваясь по последнему", сиречь, по хардам с 5400rpm.

Вы скажете, мол, вначале всё было вполне резво... ну-у-уууу... было, да - а потом, ВОЗМОЖНО, накопилась определённая статистика.
Ага, контроллеры умеют это: вспомните хоть кеширование на ssd блоков hot data (MaxIO, CacheCade), которое "включается" не сразу, а по прошествии некоторого времени (объёма i/o), потребного для анализа частоты востребованности блоков данных.
Или корректировка данных BST (Bad Stripe Table) не только в результате инициализации массива, но и по итогам Consistency Check или Patrol Reading - чем не адаптивное поведение.

Вот и тут - вначале контроллер "шпарил на все деньги", а потом "задолбался" от тупления 5400rpm`ных хардов, да и снизил скорость трансфера между собой и ими (ХЗ как, не спрашивайте - я люблю читать спеки и тестировать всякую всячину на стендах, но искать обоснования этого "бреда" мне лениво :D ).
Во всяком случае, я вангую, что если именно в этом экземпляре контроллера не поселился барабашка, то с одинаковыми дисками он ТАК тупить не должен.

Сорян, есличё... :D :yo:

localhostroot
Junior member
Сообщения: 10
Зарегистрирован: 27 авг 2016, 13:07

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение localhostroot » 09 сен 2019, 17:09

\Зевая\
Я понимаю, что все эти потуги выглядят забавно. Для человека понимающего. Сам бываю в роли улыбающегося понимающего в других ситуациях.

Но любопытный вопрос никуда не делся для сразу 8 (восьми) дисков купленных двумя партиями:
- чтение - идеально
- поверхность целая
- смарт отличный
- записи нет

Куда я уже только головой не бился. Даже выравнивание разделов гуглил\тестил. Не оно. Даже затираться их поставил. И все это, со всеми 4+4 дисками начиналось одновременно, а не "один потом другой". Сейчас в массиве только реды, он пересобран и все хорошо. Но мне тупо любопытно.

Ну и... напоследок. Ситуация тоже может меняться. Когда-то мне была весьма важна разница в цене между тошибой и редом, а теперь нет. И за эти годы они, таки, верой и правдой.

lexfreeman-nsk
Junior member
Сообщения: 5
Зарегистрирован: 18 ноя 2019, 07:38

Re: "Замедление массива"? (R6, ASR-7805 - никакая запись)

Сообщение lexfreeman-nsk » 18 ноя 2019, 07:57

"Смарт отличный" это зеленая надпись "Good" в смарточиталке? Этого мало. Думаю надо анализировать смарт.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 23 гостя