Рабочая станция для быстрого чтения файлов

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Дмитрий16
Junior member
Сообщения: 5
Зарегистрирован: 16 янв 2009, 20:13
Откуда: Москва

Рабочая станция для быстрого чтения файлов

Сообщение Дмитрий16 » 16 янв 2009, 20:32

Есть такая задача.

Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.

Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.

Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?

Дмитрий16
Junior member
Сообщения: 5
Зарегистрирован: 16 янв 2009, 20:13
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Дмитрий16 » 16 янв 2009, 20:38

Уточню фразу - "Каждый файл необходимо читать менее чем за 10 секунд." - Не должно получаться так что, условно 1000 раз прочитали различные файлы за 9,8 секунды каждый, а на 1001 прочитали очередной файл за 11 секунд.

Oleg2
Заслуженный сетевик
Сообщения: 494
Зарегистрирован: 15 окт 2004, 17:47
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Oleg2 » 16 янв 2009, 21:08

Дмитрий16 писал(а):Есть такая задача.

Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.

Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.

Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.

Собрать Вам мощную рабочую станцию под эту задачу мы можем.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Рабочая станция для быстрого чтения файлов

Сообщение gs » 16 янв 2009, 21:10

Можно конечно поставить пачку SSD, но ценник будет очень интересный.

Дмитрий16
Junior member
Сообщения: 5
Зарегистрирован: 16 янв 2009, 20:13
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Дмитрий16 » 17 янв 2009, 13:05

Oleg2 писал(а):
Дмитрий16 писал(а):Есть такая задача.

Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.

Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.

Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.

Собрать Вам мощную рабочую станцию под эту задачу мы можем.

Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?

Oleg2
Заслуженный сетевик
Сообщения: 494
Зарегистрирован: 15 окт 2004, 17:47
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Oleg2 » 17 янв 2009, 15:07

Дмитрий16 писал(а):
Oleg2 писал(а):
Дмитрий16 писал(а):Есть такая задача.

Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.

Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.

Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.

Собрать Вам мощную рабочую станцию под эту задачу мы можем.

Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?
Контроллер - Adaptec SAS RAID текущей серии.
Диски SATA 500Гб.
RAID - уточню в понедельник.

Стоимость можно посчитать, если опишете счётную часть станции (процессоры, память), или хотя бы пожелания к ней.

Ваши условия чтения роли не играют. Если чтение с поверхностей дисков идёт линейное - Вы получите нужную скорость.
Если же файл фрагментирован - то для чтения информации контроллер диска должен будет позиционировать головки.
В этот момент чтения данных не происходит, соответственно общая скорость чтения падает.

Дмитрий16
Junior member
Сообщения: 5
Зарегистрирован: 16 янв 2009, 20:13
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Дмитрий16 » 18 янв 2009, 23:03

Oleg2 писал(а):
Дмитрий16 писал(а):Есть такая задача.

Рабочая станция под управлением Windows должна быстро считывать файлы размером по два 2 ГБайта и их обрабатывать (небольшие вычисления, при этом записи данных на диски не происходит). Общее количество файлов в пределах 150-250 штук. Каждый файл необходимо читать менее чем за 10 секунд.

Хочется, что бы это было оборудование HP.
В качестве операционной системы вижу 32-битную XP professional.

Посоветуйте аппаратную платформу.
А если необходимо читать файл размером 2Гб за 6-7 секунд ?
На 100% линейном чтении IOmeter на массиве из 8 дисков SATA на адаптековском RAID контроллере показал около 350Мб/сек.
Но, даже при 10% случайных запросов скорость чтения падает в разы.
Проверялось это всё на нашей машине. Про производительность RAID контроллеров от HP сказать ничего не могу.

Собрать Вам мощную рабочую станцию под эту задачу мы можем.

Если не секрет - какой был контроллер, какие диски, какой рейд ?
Сколько примерно будет стоить такая рабочая станция ?
А если у меня грубо говоря бесконечный цикл
1. случайный выбор 2 ГБайтного файла и
2. Чтение файла 2 ГБайтного файла.
это можно считать случайными запросами и ожидать падения скорости в разы ?
Контроллер - Adaptec SAS RAID текущей серии.
Диски SATA 500Гб.
RAID - уточню в понедельник.

Стоимость можно посчитать, если опишете счётную часть станции (процессоры, память), или хотя бы пожелания к ней.

Ваши условия чтения роли не играют. Если чтение с поверхностей дисков идёт линейное - Вы получите нужную скорость.
Если же файл фрагментирован - то для чтения информации контроллер диска должен будет позиционировать головки.
В этот момент чтения данных не происходит, соответственно общая скорость чтения падает.

Уточняю.
Файлы будут дефратментированы.
Память 2-4 ГБайта, процессор от Xeon Dual 2,5 ГГц

Oleg2
Заслуженный сетевик
Сообщения: 494
Зарегистрирован: 15 окт 2004, 17:47
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Oleg2 » 19 янв 2009, 10:57

Дмитрий16 писал(а): Сколько примерно будет стоить такая рабочая станция ?
Отправил предложение на поставку на адрес в профиле.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Рабочая станция для быстрого чтения файлов

Сообщение gs » 19 янв 2009, 13:32

Систему в данном случае лучше поставить на отдельные диски, чтобы не возникло спонтанной судороги дисков из-за операционки.
И было бы крайне полезно подумать насчет софта - чтобы он мог делать предвыборку следующего файла во время счета текущего (потребуется больше памяти и операционка 64бит). Это решит вопрос радикально.

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: Рабочая станция для быстрого чтения файлов

Сообщение and3008 » 02 фев 2009, 12:22

Добавлю свои 5 копеек. Помимо 64-х битной операционки, неплохо было бы иметь и 64-х битный прикладной софт.

Операционка 64-х битная сама по себе не делает магию. :wink:

Так же про дисковую систему хочется уточнить. Вот вы имеете порядка 200 больших файлов. Читаете оттуда данные быстро, быстро. А файлы туда как попадают? Наверно запись таки быть должна, не так ли?

Дмитрий16
Junior member
Сообщения: 5
Зарегистрирован: 16 янв 2009, 20:13
Откуда: Москва

Re: Рабочая станция для быстрого чтения файлов

Сообщение Дмитрий16 » 02 фев 2009, 12:36

Можно считать что файлы на дисках были всегда :-).

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 29 гостей