Рабочая станция для быстрого чтения файлов
Модераторы: Trinity admin`s, Free-lance moderator`s
Рабочая станция для быстрого чтения файлов
Есть такая задача.
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Re: Рабочая станция для быстрого чтения файлов
Уточню фразу - "Каждый файл необходимо читать менее чем за 10 секунд." - Не должно получаться так что, условно 1000 раз прочитали различные файлы за 9,8 секунды каждый, а на 1001 прочитали очередной файл за 11 секунд.
Re: Рабочая станция для быстрого чтения файлов
На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.Дмитрий16 писал(а):Есть такая задача.
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.
Собрать Вам мощную рабочую станцию под эту задачу мы можем.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Рабочая станция для быстрого чтения файлов
Можно конечно поставить пачку SSD, но ценник будет очень интересный.
Re: Рабочая станция для быстрого чтения файлов
Oleg2 писал(а):На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.Дмитрий16 писал(а):Есть такая задача.
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.
Собрать Вам мощную рабочую станцию под эту задачу мы можем.
Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?
Re: Рабочая станция для быстрого чтения файлов
Контроллер - Adaptec SAS RAID текущей серии.Дмитрий16 писал(а):Oleg2 писал(а):На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.Дмитрий16 писал(а):Есть такая задача.
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.
Собрать Вам мощную рабочую станцию под эту задачу мы можем.
Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?
Диски SATA 500Гб.
RAID - уточню в понедельник.
Стоимость можно посчитать, если опишете счётную часть станции (процессоры, память), или хотя бы пожелания к ней.
Ваши условия чтения роли не играют. Если чтение с поверхностей дисков идёт линейное - Вы получите нужную скорость.
Если же файл фрагментирован - то для чтения информации контроллер диска должен будет позиционировать головки.
В этот момент чтения данных не происходит, соответственно общая скорость чтения падает.
Re: Рабочая станция для быстрого чтения файлов
Oleg2 писал(а):На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.Дмитрий16 писал(а):Есть такая задача.
Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.
Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.
Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.
Собрать Вам мощную рабочую станцию под эту задачу мы можем.
Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?
Контроллер - Adaptec SAS RAID текущей серии.
Диски SATA 500Гб.
RAID - уточню в понедельник.
Стоимость можно посчитать, если опишете счётную часть станции (процессоры, память), или хотя бы пожелания к ней.
Ваши условия чтения роли не играют. Если чтение с поверхностей дисков идёт линейное - Вы получите нужную скорость.
Если же файл фрагментирован - то для чтения информации контроллер диска должен будет позиционировать головки.
В этот момент чтения данных не происходит, соответственно общая скорость чтения падает.
Уточняю.
Файлы будут дефратментированы.
Память 2-4 ГБайта, процессор от Xeon Dual 2,5 ГГц
Re: Рабочая станция для быстрого чтения файлов
Отправил предложение на поставку на адрес в профиле.Дмитрий16 писал(а): Сколько примерно будет стоить такая рабочая станция ?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Рабочая станция для быстрого чтения файлов
Систему в данном случае лучше поставить на отдельные диски, чтобы не возникло спонтанной судороги дисков из-за операционки.
И было бы крайне полезно подумать насчет софта - чтобы он мог делать предвыборку следующего файла во время счета текущего (потребуется больше памяти и операционка 64бит). Это решит вопрос радикально.
И было бы крайне полезно подумать насчет софта - чтобы он мог делать предвыборку следующего файла во время счета текущего (потребуется больше памяти и операционка 64бит). Это решит вопрос радикально.
Re: Рабочая станция для быстрого чтения файлов
Добавлю свои 5 копеек. Помимо 64-х битной операционки, неплохо было бы иметь и 64-х битный прикладной софт.
Операционка 64-х битная сама по себе не делает магию.
Так же про дисковую систему хочется уточнить. Вот вы имеете порядка 200 больших файлов. Читаете оттуда данные быстро, быстро. А файлы туда как попадают? Наверно запись таки быть должна, не так ли?
Операционка 64-х битная сама по себе не делает магию.
Так же про дисковую систему хочется уточнить. Вот вы имеете порядка 200 больших файлов. Читаете оттуда данные быстро, быстро. А файлы туда как попадают? Наверно запись таки быть должна, не так ли?
Re: Рабочая станция для быстрого чтения файлов
Можно считать что файлы на дисках были всегда .
Кто сейчас на конференции
Сейчас этот форум просматривают: Google [Bot] и 33 гостя