Низкая скорость Чтения-записи. Помогите очень надо!

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Низкая скорость Чтения-записи. Помогите очень надо!

Сообщение Lepic » 22 сен 2005, 16:21

В общем Стоит Raid массив. Операцционка Win2000. На нем стоят сказидиски и обычные. При копировании файла размером 6 Гб с обычного диска на скази-диск выдает скорость чтения-записи не более 10 Мб. если копировать из папки в папку на одном скази-диске то скорость падает вообще до 3,5 Мб.
После двух дневной игры с конфигурацией, максимум чего получилось добиться это. это при копировании файла, первые 10 % файла копируются со скорость 70 Mb, а далее скорость падает до MAX = 7,5 Мб, и колеблется от 3-7Мб. Чтение этого файла итого меньше Max - 5 МБ Подскажите в чем может быть проблема. СРОЧНО ПЛИЗ. Мне это надо до начала месяца исправить!!!

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 22 сен 2005, 16:37

Ниччччччччего не понял. Совершенно.   :ups:  :insane:
Где стоит ? Как в нем оказались "сказидиски и обычные" ? Как можно "копировать файл с обычного на скази-диск", если они в RAIDе ?
Объясните внятно, пожалуйста, и опишите конфигурацию полностью.

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Уточняю

Сообщение Lepic » 22 сен 2005, 16:48

<<Где стоит ? Как в нем оказались "сказидиски и обычные" ? Как можно "копировать файл с обычного на скази-диск", если они в RAIDе ?
Объясните внятно, пожалуйста, и опишите конфигурацию полностью.>>

Есть сервер на нем стоит Raid - массив из 4 дисков по 160 ГБ и 70 ГБ, временно вместо CdRom был подключен обычный диск, чтобы с него скачать базу (6 ГБ), по сети слишком медленно. так вот при копировании с этого диска скорость очень низкая ~ 3-7 Mb.
После того как перекопировалина скази. Я пытался для проверки скорости, скопировать этот файл из одной папки в другую на одном диске, и пробывал копировать на другие скази диски. скорость записи/чтения около 7МБ - это слишком мало!!! 2 - диска в массиве сделаны айдиайными диски, при копировании между ними скорость достигает 17 Мб - это хорошо.
Проблема конкретно в скорости записи/чтении между скази дисками, или даже с записью между папками одного сказидиска
Последний раз редактировалось Lepic 23 сен 2005, 11:38, всего редактировалось 2 раза.

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 22 сен 2005, 16:55

C RaidБиосом игрался как мог менял в параметрах все, максимум которого удалось добиться  описан выше. Что еще надо уточнить.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 сен 2005, 11:12

Уф.
Еще раз:
Опишите конфигурацию Вашего сервера ПОЛНОСТЬЮ, пожалуйста.
Т.е. все комплектующие, производители, наименования. Как - смотрите в других темах.
По фотографиям и "на пальцах" гадать не умеем, штатные телепаты в отпуске. RAID-контроллеров на 6 каналов, опять же, мягко говоря, больше, чем один, и все они - РАЗНЫЕ, и ведут себя тоже по разному, при разных настройках и в разных ситуациях.

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Описываю систему

Сообщение Lepic » 23 сен 2005, 11:35

Описание Сервер:
2 64-битных ксеона, частота 2,8
2 гига памяти
2 винта по 160 Гб IDE Segate
2 винта по 70 Гб скази
2 сетевухи по 1 ГБ
Raid - LSI Logic Ultra 320 скази одноканальный, контроллер свой, драйвера тоже свои

Подробнее пока не могу, он сейчас не сомной :)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 сен 2005, 11:49

Теперь расскажите пожалуйста, каким ...эээ...хм...подсвечником сделан массив из SCSI RAID и двух IDE винтов. Бо я так ничего и не понял.
Если речь о низкой скорости записи за массив, который на 320-1 - это проще: купите BBU и включите кэширование WriteBack (без BBU его тоже можно включить - но риск будет потерять данные в кэше даже в случае нажатия Reset). Фантастической производительности на линейной (последовательной) нагрузке, тем не менее, ждать не советую - максимум будет в районе где-то около 80 МБайт/с на чтение и 35-40 МБайт/с на запись. Не тот контроллер просто, не для такой нагрузки предназначен.

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 23 сен 2005, 12:11

Скази диски сделаны зеркалом, а ide-диски просто подключены. Скази разбит на 2 диска С и D
Если речь о низкой скорости записи за массив, который на 320-1 - это проще: купите BBU и включите кэширование WriteBack (без BBU его тоже можно включить - но риск будет потерять данные в кэше даже в случае нажатия Reset). Фантастической производительности на линейной (последовательной) нагрузке, тем не менее, ждать не советую - максимум будет в районе где-то около 80 МБайт/с на чтение и 35-40 МБайт/с на запись. Не тот контроллер просто, не для такой нагрузки предназначен.
Со скоростью проблемы везде.
тестовые данные по максимальной скорости записи. Копировался файл обьемом в 6 Гб
1) С IDE на IDE - 19 Мб - максимальная и вполне нормальная
2) С IDE на SCSI - 10 Мб и наоборот
3) SCSI (C:\) на SCSI (D:\) - 7,5 Мб
4) SCSI (C:\) на  SCSI (C:\Temp\) - 3,5 (из папки в папку)
Интересно то, что в 3) вароианте, 10% было скачано со скоростью 70 Мб, а потом она упала до 7Мб., при изменениях в конфигурации Raidа (Write Back, кеширование и другие), получилось скачать 15% со скоростью 50-70 Мб. В других вариантах настройки появлялась на секунды скорость в 100Мб, но потиом она не изменно падала до 7 Мб
А в 4) варианте, сначало идет секундный скачек до 50-80 Мб, а потом падает до 3,5.

Где может быть проблема
Последний раз редактировалось Lepic 23 сен 2005, 12:14, всего редактировалось 1 раз.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 сен 2005, 12:13

С какими настройками собран массив на 320-1 (Stripe Size, I/O cache policy, Read Policy) ?

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 23 сен 2005, 12:14

Не тот контроллер просто, не для такой нагрузки предназначен.
Что Вы имели тут в виду.


Нам бы получить скорость чтения 70-80, а записи 30-40 на самом SCSI с C:\ на D:\. - это будет просто супер. У нас программа использует базу размером в 6 Гб на чтение.

И что бы Вы посоветывали для этого из Железа

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 23 сен 2005, 12:19

С какими настройками собран массив на 320-1 (Stripe Size, I/O cache policy, Read Policy) ?
Stripe Size вроде 64 или 128, а в остальные настройки мы и не лезли, по дефаулту все настройки по зеркалу были.

Если этого не достаточно, то я могу попробывать это выячснить за часик - два

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 сен 2005, 13:10

Поясню. Нагрузка бывает линейная ака sequential - когда блоки, забираемые или записываемые расположены последовательно и имеют большой размер (>64K) - такая нагрузка характерна для файловых серверов(копирование файлов как раз) , видеозахвата, видеомонтажа.
А еще бывает нагрузка случайная ака random - когда пишутся и читаются с т.з. дисковой случайным образом мелкие блоки (до 64К) в разные места - она как раз характерна для баз данных и Web-серверов.
Т.е. надо четко понимать - что именно хотим получить ;)
Подавляющее большинство внутренних (PCI, PCI-X, PCIe) RAID контроллеров "заточены"  именно под random нагрузку - просто потому, что относительно немощная считалка (для 320-1 - это Intel IOP301, емнип, тактовая - 66 МГц, из кэша дает 5-7К IOps), небольшой кэш и соответствующие алгоритмы кэширования позволяют за относительно небольшие деньги существенно "сгладить" нагрузку собственно на винты, и добиваться человечной производительности на относительно малом их количестве.
Можно добиться, конечно, относительно высокой производительности и на внутренних (внутри сервера) массивах - но это стоит существенно дороже, т.к. считалка контроллера задействуется на полную катушку (т.е. она нужна гораздо мощнее, например - 320-2Х, IOP321, 400 MHz, из кэша 25К IOps, макс. производительность на чтение, которую я получал с кэшем 512 МБайт и 6х15К винтов - 230 МБайт/сек, на запись до 150 МБайт/сек) плюс эффективность кэша на последовательных чтении/записи здорово снижается (в сравнении с random) и его нужно значительно больше - а также больше нужно винтов.
Да и копирование "внутри" массива  (с него на него же) с таким малым количеством винтов - крайне "неприятная" для него нагрузка (нехарактерная, кэша нехватает, головы на винтах дергаются во все стороны - и читать и писать надо).
Т.е. определитесь - Вам на БД производительность нужна или на копирование - тогда поймете, что дальше делать (ну или что и как дальше спрашивать хотя бы ;) )

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 23 сен 2005, 13:37

На самом деле у нас нам нужен оптимальный вариант и sequential и Random.
Так как мы используем большую базу(6 ГБ) в основном на чтение, но нам надо также на этом сервере формировать файлы *.html (Их программа формирует), которых там может быть до миллиона!

А скорость нам нужна даже не заветные 150-250 Мб. А хотя бы 50Мб на чтение и запись.

Я так понимаю из Ваших слов, что можно попробывать решить проблему добавлением еще хотя бы 2-х SCSI дисков, и хранить базу не на 1 разбитом винте, а на 2-х разных физических дисках.
Последний раз редактировалось Lepic 23 сен 2005, 14:02, всего редактировалось 1 раз.

Lepic
Junior member
Сообщения: 10
Зарегистрирован: 22 сен 2005, 16:05

Сообщение Lepic » 23 сен 2005, 14:02

Какая по вашему мнению  скорость копирования последовательного файла 6GB должна давать следующаяя конфикурагция

c
LSI Megaraid 320-1
RAID 1 Seagate Cheetah 10K.7 70GB
RAID 1 Seagate Cheetah 10K.7 70GB
на
IDE Barracuda 7200 160Gb

ИЛИ
c
LSI Megaraid 320-1
RAID 1 Seagate Cheetah 10K.7 70GB
RAID 1 Seagate Cheetah 10K.7 70GB
на
него же

???

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 сен 2005, 15:55

Хм.
1. Если Вы хотите (под)систему, способную тащить два противоположных типа нагрузки - это будет дорого, очень. И, как все универсальное - одинаково плохо во всех применениях.
Я бы рекомендовал (тем более - нагрузка у Вас, как Вы говорите, в основном на чтение) поставить 6-7 винтов в RAID5 на этот контроллер, докупить-таки к нему BBU и включить WriteBack.
2. Какая по вашему мнению  скорость копирования последовательного файла 6GB должна давать следующаяя конфикурагция
Эхе-хе. Ну я же выше писал - прежде чем разбираться, какая производительность будет "оттуда сюда" - надо сначала сообразить - а зачем это нужно и нужно ли вообще ;)
А хотите цЫфр - рекомендую почитать вот это:
http://forum.ixbt.com/topic.cgi?id=66:2208

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей