>>> 500 000 файлов в одном каталоге NTFS
Модераторы: Trinity admin`s, Free-lance moderator`s
>>> 500 000 файлов в одном каталоге NTFS
Добрый день!
Есть неведомая для нас система под winsvr 2003 R2 x64, которая порождает в одном каталоге NTFS огромное количество мелких файлов, число это медленно растет и уменьшить его или перераспределить файлы пока нет возможности. В моей зоне ответственности бэкап этой системы (BackupExec 11d). Подскажите, что можно подкрутить, чтобы повысить скорость бэкапа и рестора? На данный момент прогноз по восстановлению 30 ГБ этих файлов составляет за сотню часов, что очень далеко от желаемых 8и часов на полное восстановление
Есть неведомая для нас система под winsvr 2003 R2 x64, которая порождает в одном каталоге NTFS огромное количество мелких файлов, число это медленно растет и уменьшить его или перераспределить файлы пока нет возможности. В моей зоне ответственности бэкап этой системы (BackupExec 11d). Подскажите, что можно подкрутить, чтобы повысить скорость бэкапа и рестора? На данный момент прогноз по восстановлению 30 ГБ этих файлов составляет за сотню часов, что очень далеко от желаемых 8и часов на полное восстановление
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: >>> 500 000 файлов в одном каталоге NTFS
"diz"
Чего в аську не постучался? Бекапишь куда?
Чего в аську не постучался? Бекапишь куда?
-
- Advanced member
- Сообщения: 327
- Зарегистрирован: 15 сен 2007, 13:23
- Откуда: Екатеринбург
- Контактная информация:
Re: >>> 500 000 файлов в одном каталоге NTFS
Какая схема резервного копирования применяется? Полный бэкап, инкрементальный? Что за файлы? Мониторинг железа показывает, что является узким местом при бэкапе/восстановлении - сеть, дисковая подсистема и т.п.?
P.S.: Backup Exec 11d это уже сильно устаревший продукт, уже несколько поколений сменилось :-) Сейчас 2010 R2 актуальная версия. В том числе поддерживает опцию дедупликации, что в принципе может существенно упростить жизнь (но не факт).
P.S.: Backup Exec 11d это уже сильно устаревший продукт, уже несколько поколений сменилось :-) Сейчас 2010 R2 актуальная версия. В том числе поддерживает опцию дедупликации, что в принципе может существенно упростить жизнь (но не факт).
С уважением, Александр
ICQ://13043204
ICQ://13043204
Re: >>> 500 000 файлов в одном каталоге NTFS
Вдруг потомкам пригодится бесценный опытStranger03 писал(а):"diz"
Чего в аську не постучался? Бекапишь куда?
Делали полный бэкап в сеть. Загрузка сети около 0 дисковая очередь - около 3. По чтению давит за 1000 iops (данные на СХД лежат, там десяток FC дисков в r5). Пытались тупо скопировать файлы - файловые менеджеры даже зайти в этот каталог не могут. Если копировать с каталогом выше, то кое-как процесс идет, но скорость удручает. ПО для РК легальное и заменить пока нет возможности, да и дело не в нем. Файлы - логи BW SAP.Ziggy Stardust писал(а):Какая схема резервного копирования применяется? Полный бэкап, инкрементальный? Что за файлы? Мониторинг железа показывает, что является узким местом при бэкапе/восстановлении - сеть, дисковая подсистема и т.п.?
P.S.: Backup Exec 11d это уже сильно устаревший продукт, уже несколько поколений сменилось Сейчас 2010 R2 актуальная версия. В том числе поддерживает опцию дедупликации, что в принципе может существенно упростить жизнь (но не факт).
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: >>> 500 000 файлов в одном каталоге NTFS
Файлы - логи BW SAP.
А нельзя их архивировать с удалением? Им обязательно всем оставаться на сервере?
-
- Сотрудник Тринити
- Сообщения: 357
- Зарегистрирован: 23 дек 2007, 15:35
- Откуда: Москва
- Контактная информация:
Re: >>> 500 000 файлов в одном каталоге NTFS
Подозреваю, что бэкап будет гораздо быстрее, если читать файлы в несколько потоков, но вот какой софт это сделает - хз.
Однопоточное чтение мелких файлов будет тормозить всегда.
Еще вариант - вынести на отдельный диск и бэкапить образ диска.
Однопоточное чтение мелких файлов будет тормозить всегда.
Еще вариант - вынести на отдельный диск и бэкапить образ диска.
Re: >>> 500 000 файлов в одном каталоге NTFS
Сапёры думают... Видимо, как-то так и сделаем: или будет распихиваться по папкам, или будут усекать.Black-Dragon писал(а):Файлы - логи BW SAP.
А нельзя их архивировать с удалением? Им обязательно всем оставаться на сервере?
Re: >>> 500 000 файлов в одном каталоге NTFS
Была такая идея, правда, backup exec не умеет делать посекторное копирование.hitower писал(а):Подозреваю, что бэкап будет гораздо быстрее, если читать файлы в несколько потоков, но вот какой софт это сделает - хз.
Однопоточное чтение мелких файлов будет тормозить всегда.
Еще вариант - вынести на отдельный диск и бэкапить образ диска.
-
- Advanced member
- Сообщения: 327
- Зарегистрирован: 15 сен 2007, 13:23
- Откуда: Екатеринбург
- Контактная информация:
Re: >>> 500 000 файлов в одном каталоге NTFS
Посовещались тут с парнями. Пока мнение такое, что не потянет такое SBE :-( Походу только посекторное копирование спасет...diz писал(а):Делали полный бэкап в сеть. Загрузка сети около 0 дисковая очередь - около 3. По чтению давит за 1000 iops (данные на СХД лежат, там десяток FC дисков в r5). Пытались тупо скопировать файлы - файловые менеджеры даже зайти в этот каталог не могут. Если копировать с каталогом выше, то кое-как процесс идет, но скорость удручает. ПО для РК легальное и заменить пока нет возможности, да и дело не в нем. Файлы - логи BW SAP.
С уважением, Александр
ICQ://13043204
ICQ://13043204
Re: >>> 500 000 файлов в одном каталоге NTFS
Спасибо! Отпишусь, как проработаем решение.
Re: >>> 500 000 файлов в одном каталоге NTFS
В общем-то так и порешили: расчистили каталог и будем скриптами складывать логи в архив.
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: >>> 500 000 файлов в одном каталоге NTFS
Отлично!diz писал(а):В общем-то так и порешили: расчистили каталог и будем скриптами складывать логи в архив.
Самый лучший вариант.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 39 гостей