iscsi проблема - высокий wait average

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
ethan1el
Junior member
Сообщения: 5
Зарегистрирован: 19 янв 2007, 16:51
Откуда: Москва
Контактная информация:

iscsi проблема - высокий wait average

Сообщение ethan1el » 19 янв 2007, 17:05

Железо:
Сервер 2 Xeon  2.8, 2 gb Ram.

Хранилище:
Promise m500i, 4 диска, 5 raid.

хранилище подключено к серверу по протоколу iscsi через pci хардверную карточку (qlogic hba).

используется один LUN, на нем имеется единственный раздел с файловой системой ocfs2 (кластер не активирован, данная файловая система используется только на одной машине, остальным раздается по nfs).

iostat -x выдает:

Код: Выделить всё

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdc             138.85    21.66 89.12  2.60  1822.80   190.64    21.95     0.95   10.37   5.31  48.66
%util как вы можете заметить достаточно высокий, я прикрепил график за последнюю неделю.

в этом разделе очень большое количество папок, структура примерно:
/gallery/1/5/6/15687/videos/123.flv

используется под изображения (10-200к) и видео (1мб+).
примерное количество запросов в секунду сказать не могу, но судя по статистике - хранилка читает где-то около 1-2 мегабайт в секунду (!!! знаю, очень мало!!!). Чтения очень random, там около миллиона изображений разложено по папкам.

Внимание, знатоки, вопрос!
где горлышко - из за чего такой высокая нагрузка на проц?
файловая система? сам протокол iscsi? или проблема в хранилке?
Вложения
график загрузки проца за последнюю неделю.
график загрузки проца за последнюю неделю.
cpu-week.png (56.83 КБ) 7130 просмотров

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 янв 2007, 17:41

Трудно сказать.
У нас Promise вроде ругательства :gigi:
Однако - то, что Вы привели (цифирь) это даже для плохого массива мало - по производительности это уровень где-то домашнего NAS за 100-300 долларов.
Мне кажется, что тут накладывается все вместе: и плохой массив, и какие-то проблемы с iSCSI (дает до 13К IOps блоками 2КБайт - проверено IOMeter, тестили ПО Falconstor iSCSI Storage Server на самом обычнейшем файловом сервере), и настройки самого массива, и кластерная ФС (тоже создает накладные расходы)...
92 IOps и 2 МБ/сек - очень мало.

ethan1el
Junior member
Сообщения: 5
Зарегистрирован: 19 янв 2007, 16:51
Откуда: Москва
Контактная информация:

Сообщение ethan1el » 19 янв 2007, 18:00

какую замену можно придумать?
что вы обычно рекомендуете своим клиентам?

решение в районе 4-7 тысяч (не считая диски) желательно SATA - без fiber, которое можно было бы использовать для фото и видео хостинга - большое количество рэндомных чтений на файлы размером от 10килобайт до 200кило и от 1 мегабайт до 10?

какую файловую систему (не кластерную, некоммерческую) могли бы порекомендовать?

сейчас уже подошел к черте что с радостью продам эту хрень и куплю что-нибудь новое.
летом с дури купил не подумав, теперь жалею - для моих требований она не подходит.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 19 янв 2007, 18:36

А чем Вам не катит обычный сервер и NFS?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 янв 2007, 18:40

На random нагрузку мы вообще SATA не рекомендуем.
Опять же, бюджетец у Вас- тово, маловат для приличного массива...
Возможно, чисто теоретически, что влезло бы что-то типа http://www.infortrend.com/main/2_produc ... -g2421.asp 8 или 12 дискового со SCSI интерфейсом к хосту.
Не кластерную ФС - да любую, какие поддерживает ОС на Вашем сервере :)
Кластерную - из некоммерческих есть RedHat GFS, но к ей нужен бааальшой напильник :(

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 янв 2007, 18:45

Кстати, пример нашего решения похожей задачи: http://www.ixbt.com/pr/trinity-podcast-server.shtml
Учитывая, что мощь процов и памяти прикидывалась из расчета на тяжелые скрипты, Вам в такой же сервер будет достаточно PDSME+пара гиг ОЗУ+PD945 Стоить такой сервер будет, понятно,  дороже 7 тонн, но - зато Вашу задачу закроет на 100% ;)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 янв 2007, 18:52

Предложение на сервер - уехало на мыло ;)

ethan1el
Junior member
Сообщения: 5
Зарегистрирован: 19 янв 2007, 16:51
Откуда: Москва
Контактная информация:

Сообщение ethan1el » 19 янв 2007, 19:25

a_shats писал(а):Кстати, пример нашего решения похожей задачи: http://www.ixbt.com/pr/trinity-podcast-server.shtml
Учитывая, что мощь процов и памяти прикидывалась из расчета на тяжелые скрипты, Вам в такой же сервер будет достаточно PDSME+пара гиг ОЗУ+PD945 Стоить такой сервер будет, понятно,  дороже 7 тонн, но - зато Вашу задачу закроет на 100% ;)
спасибо за предложение, к сожалению позвонить вам уже не успел.

2 терабайта за 8 тысяч, другими словами 4 тысячи долларов за терабайт - мы еще не _так_ сильно любим своих пользователей :)
поэтому и идем за SATA, дешево и сердито. другими словами мы стараемся снизить стоимость терабайта.

могли бы вы предложить что-нибудь похожее но с учетом пожеланий? желательно два варианта - либо сервер (с возможностью migration, т.к. пока не готовы закупать сразу все диски), либо уже отдельное хранилище через scsi соединитель (желательно конечно узнать что вы думаете по этому поводу).

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 19 янв 2007, 20:16

1. Не migration, а expand Вы имели в виду ;) Только надо помнить, что expand a) не работает на томах, где нарезаны LUNы б) операция необратимая, долгая и очень критичная для массива: малейший сбой и - привет массиву.
2. Терабайт терабайту рознь  :D В частности, стоимость терабайта для линейного чтения в десяток потоков очень отличается от ея же для того же объема на случайном доступе мелкими блоками в сотни потоков.
Ну и хотелось бы пояснить, что у нас не одобряется практика предложения решений, "частично" удовлетворяющих условиям задачи: то есть при заданной нагрузке сервис заказчика либо живет, либо нет (в этом случае мы об этом предупреждаем - как я Вас выше предупредил о SATA). В принципе, 3 винта SATA 7200 rpm примерно соответствуют по IOps 1 винту U320 10K, но - я надеюсь, Вы понимаете, что массив на 42 винта SATA, эквивалентный по производительности предложенному массиву из 14 U320 10K rpm, никак не дешевле ;)
Ну не решить задачу приобретением чуть улучшенного варианта того же, что есть :)
Да, можно поставить половину винтов в этот сервер, это будет подешевле. Но expand - это танец на лезвие бритвы :gigi: То есть я не могу гарантировать, что если во время оного что-нить с питанием или еще чем-нибудь случится - массив уцелеет. Я бы даже сказал - наоборот.
И - немножко непонятно: 7 тыс. Вы были согласны потратить, а 8 уже нет - неужели эта разница настолько критична ? ;)
Да и- отдельный массив на такое же количество винтов, способный потянуть Вашу задачу - еще дороже.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 20 гостей