RAID0 для обработки видео в Ubuntu

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
GeoL
Junior member
Сообщения: 2
Зарегистрирован: 17 май 2009, 19:16
Откуда: Minsk

RAID0 для обработки видео в Ubuntu

Сообщение GeoL » 17 май 2009, 19:30

Требуется существенно ускорить дисковые операции записи-чтения при обработке видеофайлов.
Для этого собираюсь докупить 2 - 4 скоростных SATAII диска и дополнительный не очень дорогой контроллер,
поддерживающий RAID0 и имеющий драйвер под Ubuntu8.10 или 9.04.
Поиском пока не нашел.
Может что нибудь посоветуют профессионалы?
P.S. Есть инфа по Promise FastTrack TX2650, но драйвера только под RHEL5

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Stranger03 » 18 май 2009, 07:50

GeoL писал(а):не очень дорогой контроллер,
поддерживающий RAID0 и имеющий драйвер под Ubuntu8.10 или 9.04.
А данные на этом массиве совсем не важны?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Stranger03 » 18 май 2009, 07:53

"GeoL"
Мне так кажется выбирать стоит из этого списка: http://www.ubuntuhcl.org/browse/search+ ... ategory=34

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение gs » 18 май 2009, 13:25

Контроллеры дешевле 300долл принципиально не отличаются от софтового страйпа. Вернее отличаются не в лучшую сторону...

Serge10
Advanced member
Сообщения: 138
Зарегистрирован: 19 ноя 2003, 15:49
Откуда: Санкт-Петербург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Serge10 » 18 май 2009, 14:21

IMHO, для Вашей задачи оптимален софтовый raid0 средствами mdadm. По скорости выиграете даже у серьезных контроллеров. А надежность, как я понял, Вам не нужна ;).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Stranger03 » 18 май 2009, 15:46

Serge10 писал(а):IMHO, для Вашей задачи оптимален софтовый raid0 средствами mdadm. По скорости выиграете даже у серьезных контроллеров. А надежность, как я понял, Вам не нужна ;).
Не стоит давать вредных советов. РАИД0 можно применять только для тестовых целей, когда просто хочется поиграться. Если же хочется просто секса, то лучше обратиться в спец.дома, где предоставляют такого рода услуги.

Serge10
Advanced member
Сообщения: 138
Зарегистрирован: 19 ноя 2003, 15:49
Откуда: Санкт-Петербург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Serge10 » 18 май 2009, 16:26

Не стоит давать вредных советов.
Хм, и в чем же мой совет вреден? По-моему, это не я предложил raid0 использовать, это было уже в исходной постановке задачи ;). Об опасности потери данных выше автора уже предупредили.
РАИД0 можно применять только для тестовых целей, когда просто хочется поиграться.
Не стоит так категорично ;). Есть целый ряд задач, где использование raid0 уместно. Кодирование видео - одна из них (если на raid0 хранить промежуточные файлы).

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение gs » 18 май 2009, 16:52

Для кодирования видео производительность дисков, вопреки распространенному заблуждению, весьма редко имеет значение :)
Не путать с видеоредактированием, которое на сервере затруднительно :)

Но в общем да - если человек ищет приключений, туда ему и дорога :)

Serge10
Advanced member
Сообщения: 138
Зарегистрирован: 19 ноя 2003, 15:49
Откуда: Санкт-Петербург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Serge10 » 18 май 2009, 18:09

Ну да, ошибся. Сам видео не занимаюсь, так что для меня разницы практически никакой :).
Я, например, raid0 использую под временные файлы при бэкапе виртуальных машин в Vmware ESX (там с помощью vcbBackup на raid0 скидываются бэкапы, а затем забираются оттуда по сети bacula). Получается, что мне этот массив нужен пару часов в месяц. Вполне уместное применение для raid0, на мой взгляд.

GeoL
Junior member
Сообщения: 2
Зарегистрирован: 17 май 2009, 19:16
Откуда: Minsk

Re: RAID0 для обработки видео в Ubuntu

Сообщение GeoL » 21 май 2009, 00:30

RAID0 используется под swap (~40 - 60 Gb) и временное хранилище файлов на период обработки, после чего информация сбрасывается в архив. Видеообработка - один из видов редактирования с параллельным анализом.
Необходимо максимально разгрузить процессор.
Софтовый рэйд опробован, но так, как не использует аппаратные возможности контроллеров, существенно нагружает четырехядерник.
А приключений не больше, чем от обычных сбоев и зависаний, так как потери информации приводят только к необходимости повторной обработки.
Проблема найти подходящий контроллер с работающим драйвером под Ubuntu.

P.S. 1. Stranger03, спасибо за наводку, но вот с драйверами....
2. Идеально было бы нарастить RAM до 60 Gb, но.....

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: RAID0 для обработки видео в Ubuntu

Сообщение setar » 21 май 2009, 12:00

Какая скорость доступа к данным Вам требуется ?
могу как это не странно звучит порекомендовать сетевое хранилище по iscsi
при правильно организованной общей железки там на сервере, на клиенте получите 100МБ/с (мегабайт в секунду) на 1Gbps
интерфейсе и 800МБ/с на 10Gbps интерфейсе при минимальной (0.4 - 4 % ) загрузки одного ядра процессора.

Разумеется удаленная железка должна уметь работать с такой скоростью :)
Как раз сейчас веду эту разработку - Trinity NAS

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение gs » 21 май 2009, 12:25

Серега, мне кажется это немного мимо кассы, в свете фасттраха :)

Тут можно посмотреть адаптек 3000/5000, 3ware или Areca. Но разумеется все они значительно дороже промисов.
Но вообще-то странно у Вас с софтстрайпом. Это ж как же ж его ж надо ж грузить, чтобы современный процессор нагружался выше уровня фоновых шумов...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Stranger03 » 21 май 2009, 12:41

GeoL писал(а):RAID0 используется под swap (~40 - 60 Gb) и временное хранилище файлов на период обработки, после чего информация сбрасывается в архив.
Ну тогда возьмите пару SSD дисков, дорого конечно, но иопсов получите выше крыши, и проц не будет загружаться.

Serge10
Advanced member
Сообщения: 138
Зарегистрирован: 19 ноя 2003, 15:49
Откуда: Санкт-Петербург
Контактная информация:

Re: RAID0 для обработки видео в Ubuntu

Сообщение Serge10 » 21 май 2009, 16:06

Ну тогда возьмите пару SSD дисков, дорого конечно, но иопсов получите выше крыши, и проц не будет загружаться.
Может, конечно, я снова не так понял задачу, но вроде речь идет о последовательных потоках. IOPs не очень актуальны ;). Присоединяюсь к мнению gs - что-то не то с настройками софтового страйпа. Не должен он так загружать современный процессор. Там и вычислять-то по сути нечего. Как вариант, можно с nice поиграть... По скорости - очень сомневаюсь, что в данной задаче adaptec будет быстрее. Хотя, пробовать надо. Если там действительно 100% утилизация всех ядер софтом видеообработки...

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: RAID0 для обработки видео в Ubuntu

Сообщение and3008 » 21 май 2009, 22:38

По поводу софтового RAID-0 еще раз. Большую нагрузку на проц могли создать нетюненые контроллеры жестких дисков. Например не был включен DMA. hdparm вам должен помочь решить эту проблему.

Вряд ли вам чем-то поможет по скорости внешний контроллер для RAID-0. Разве что если ваши имеющиеся контроллеры жестких дисков ну уж совсем плохи.

Скажите что у вас за материнка на сервере, какая файловая система и модели жестких дисков. Чем тестировали, что большая нагрузка на проц была?

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 18 гостей