Временные тормоза на 5405
Модераторы: Trinity admin`s, Free-lance moderator`s
Временные тормоза на 5405
Платформа Intel SR2612UR, 2 x E5630, 24GB RAM
Адаптек 5405 (18252) + BBU
CentOS 6.3
Собран R50 6 x ST3600057SS Cheetah 15K.7, но речь не о нём (и нагружен он не был)
Добавлены 6 x ST33000650SS Constellation ES.2 7200, сконфигурены временно как volume
Запустил вечером проливку нулями параллельно всех volume
dd if=/dev/zero of=/dev/sd$n bs=1M &>>sd$n_3.log &
Смотрю
iostat -dmx 2
Пошли литься по ~150MB/s
Через (немного меньше часа) скорость упала до ~20MB/s
Оставил на ночь
Утром наблюдаю ту же картину, ~10-20MB/s, и за ночь пролилось по 1.2TB
Ещё через (час) посмотрел - 5 дисков по ~130MB/s, последний - ~10MB/s
Ещё через несколько минут - и последний поднялся до ~130MB/s
У дисков в SMART примерно такое:
Background scan results log
Status: pre-scan is active
Accumulated power on time, hours:minutes 17:36 [1056 minutes]
Number of background scans performed: 0, scan progress: 14.78%
Number of background medium scans performed: 0
% за ночь не изменился, т.е., это не скан, на что я, было, подумал.
В логах системы ничего подозрительного.
В логе контроллера все записи имеют дату 1358323131, несколько последних относятся только к температуре батареи.
Что это может быть, и как этого избежать по ходу работы? (Или хотя бы прогнозировать/планировать)
Адаптек 5405 (18252) + BBU
CentOS 6.3
Собран R50 6 x ST3600057SS Cheetah 15K.7, но речь не о нём (и нагружен он не был)
Добавлены 6 x ST33000650SS Constellation ES.2 7200, сконфигурены временно как volume
Запустил вечером проливку нулями параллельно всех volume
dd if=/dev/zero of=/dev/sd$n bs=1M &>>sd$n_3.log &
Смотрю
iostat -dmx 2
Пошли литься по ~150MB/s
Через (немного меньше часа) скорость упала до ~20MB/s
Оставил на ночь
Утром наблюдаю ту же картину, ~10-20MB/s, и за ночь пролилось по 1.2TB
Ещё через (час) посмотрел - 5 дисков по ~130MB/s, последний - ~10MB/s
Ещё через несколько минут - и последний поднялся до ~130MB/s
У дисков в SMART примерно такое:
Background scan results log
Status: pre-scan is active
Accumulated power on time, hours:minutes 17:36 [1056 minutes]
Number of background scans performed: 0, scan progress: 14.78%
Number of background medium scans performed: 0
% за ночь не изменился, т.е., это не скан, на что я, было, подумал.
В логах системы ничего подозрительного.
В логе контроллера все записи имеют дату 1358323131, несколько последних относятся только к температуре батареи.
Что это может быть, и как этого избежать по ходу работы? (Или хотя бы прогнозировать/планировать)
-
- Advanced member
- Сообщения: 450
- Зарегистрирован: 10 окт 2006, 18:35
- Откуда: Киев
- Контактная информация:
Re: Временные тормоза на 5405
Вы когда рейд создавали какой метод инита выбрали? по дефолту стоит квик, так и оставили?
Re: Временные тормоза на 5405
Скорее всего.
Там для volume всего два варианта.
И разве volume требует какого-то особого инита?
После этого прогнал чтение со всех параллельно - нормально.
Прогнал на дисках длинный селфтест.
Попробовал ещё раз запись - больше, чем до половины, пробежало без всяких тормозов, дальше ждать не стал.
С дисками никаких проблем, в SMART'е/логах чисто.
Сейчас там собран R10 (да и R50 пришлось пересобрать, но это другая история) и уже забит виртуалками.
Подозреваю, это какая-то внутренняя жизнь контроллера.
Там для volume всего два варианта.
И разве volume требует какого-то особого инита?
После этого прогнал чтение со всех параллельно - нормально.
Прогнал на дисках длинный селфтест.
Попробовал ещё раз запись - больше, чем до половины, пробежало без всяких тормозов, дальше ждать не стал.
С дисками никаких проблем, в SMART'е/логах чисто.
Сейчас там собран R10 (да и R50 пришлось пересобрать, но это другая история) и уже забит виртуалками.
Подозреваю, это какая-то внутренняя жизнь контроллера.
-
- Advanced member
- Сообщения: 450
- Зарегистрирован: 10 окт 2006, 18:35
- Откуда: Киев
- Контактная информация:
Re: Временные тормоза на 5405
Если вы не сделали Фултон инит, то он будет идти в фоне, отнимая ресурсы. Советую вам переделать массивы с Фултон инит, чтобы в будущем избежать подобного поведения контролера.
Re: Временные тормоза на 5405
Для массива типа volume есть только quick и skip варианты инита.
-
- Advanced member
- Сообщения: 450
- Зарегистрирован: 10 окт 2006, 18:35
- Откуда: Киев
- Контактная информация:
Re: Временные тормоза на 5405
Тогда лучше Skip, чтобы не было background init
Re: Временные тормоза на 5405
Т.е., даже для volume реально проводится какая-то длительная инициализация?
Раньше такого не замечал на 5405/5805/6805.
А вот что замечал - скорость чтения на 6805 упиралась в "полку" ~600MB/s (при этом запись ~1200MB/s) на тестовом R0.
Мне некритично, я в LUKS AES раньше упираюсь, но интересно.
Раньше такого не замечал на 5405/5805/6805.
А вот что замечал - скорость чтения на 6805 упиралась в "полку" ~600MB/s (при этом запись ~1200MB/s) на тестовом R0.
Мне некритично, я в LUKS AES раньше упираюсь, но интересно.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 28 гостей