Увеличить скорость доступа к мелким файлам

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
katbert
Advanced member
Сообщения: 96
Зарегистрирован: 19 ноя 2009, 09:52
Откуда: Уфа

Увеличить скорость доступа к мелким файлам

Сообщение katbert » 12 окт 2010, 09:47

Все выходные шел перенос данных со старого хранилища - NAS Gateway 300 + голова FastT200 + 2 полки EXP700 + FC в новое - DS3512 + SAS, массив RAID на ~6 ТБ, разбит на 3 логических диска средствами Windows.
Данные переносил так - на гейте старого хранилища запустил NTBackup, чтобы не потерять NTFS-права.
Архив писался по сети 100 МБит\с на новое хранилище - доступное в виде общей папки.

Время архивации получилось такое

Код: Выделить всё

 
Backup started on 07.10.2010 at 19:55.
Backup completed on 10.10.2010 at 4:18.
Directories: 40542
Files: 1107880
Bytes: 458 372 466 945
Time:  2 days,  8 hours,  22 minutes, and  39 seconds
и

Код: Выделить всё

Backup started on 10.10.2010 at 12:00.
Backup completed on 11.10.2010 at 12:55.
Directories: 93128
Files: 1064989
Bytes: 250 789 537 030
Time:  1 day,  0 hours,  55 minutes, and  2 seconds
После этого запустил восстановление - уже локально на сервере, к которому по SAS подключена DS3512.
Архив был на одном логическом диске, данные восстанавливал на другой логический диск
То есть задержки, которые возможны при передаче по сети - можно исключить

Однако время восстановления второй порции данных все равно получилось достаточно большим

Код: Выделить всё

Восстановление начато - 11.10.2010 в 13:06.
Восстановление завершено - 12.10.2010 в 10:16.
Папок: 93128
Файлов: 1064989
Байт: 250 789 504 362
Время:  21 час.,  10 мин. и  13 сек.
То есть бэкап 250 ГБ со старого хранилища по сети, и локальное раскатывание этого бэкапа - заняли практически одно и то же время.

Насколько типична подобная картина, и есть ли способы улучшить ситуацию - тюнинг параметров кэширования массива, etc?

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: Увеличить скорость доступа к мелким файлам

Сообщение Black-Dragon » 12 окт 2010, 10:04

IMHO, странно это. Может вопросы к ntbackup?
katbert писал(а):Данные переносил так - на гейте старого хранилища запустил NTBackup, чтобы не потерять NTFS-права.
Можно было просто использовать xcopy. Либо вообще winrar-ом без сжатия, но с сохранением ACLs в один файл, было бы быстрее.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Увеличить скорость доступа к мелким файлам

Сообщение exLH » 12 окт 2010, 10:11

Black-Dragon писал(а):Можно было просто использовать xcopy.
robocopy
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: Увеличить скорость доступа к мелким файлам

Сообщение Black-Dragon » 12 окт 2010, 10:36

exLH писал(а):robocopy
Да, это даже удобнее\лучше.

katbert
Advanced member
Сообщения: 96
Зарегистрирован: 19 ноя 2009, 09:52
Откуда: Уфа

Re: Увеличить скорость доступа к мелким файлам

Сообщение katbert » 12 окт 2010, 12:17

Про альтернативные способы копирования - ясно, но сейчас думаю быстрее будет дождаться, пока раскатается второй бэкап, чем начинать все заново.

До этого проблема проявлялась по-другому
Данные старого хранилища бэкапились с помощью ArcServe, и складывались в NAS WD ShareSpace
Скорость копирования была сопоставима - около 3 суток

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 12 гостей