посоветуйте техническое решение

Taxi · Сообщение **Taxi** » 30 мар 2007, 00:27

имеем задачку по обсчету БД размером в 700 миллионов записей и 40 Ггб...

обычный Пень4 3,0 Ггц 1,0 Ггб ОЗУ расчитывает справится с ней почти за 1 месяц (за сутки обрабатывает порядка 30 Ггб)... мс2000...

какая машина (какой стоимостью) может справляться с подобной задачкой хотя бы за 1 день...

ЗЫ подобные задачки - нередки... следующая задачка - 3 млрд.записей и 200 Ггб

a_shats · Сообщение **a_shats** » 30 мар 2007, 10:59

Эта задачка параллелится ? В смысле - на процессорные ядра хорошо раскладывается - или нет ?
Вообще - пожалуйста, насколько это возможно, подробнее расскажите о задаче.

Taxi · Сообщение **Taxi** » 30 мар 2007, 13:41

a_shats писал(а):Эта задачка параллелится ? В смысле - на процессорные ядра хорошо раскладывается - или нет ?
Вообще - пожалуйста, насколько это возможно, подробнее расскажите о задаче.

вероятно параллелится... просто надо переписывать имеющуюся однопроцессорную программку...

a_shats · Сообщение **a_shats** » 30 мар 2007, 13:53

Вооот. Как перепишете - будем думать дальше.
Почему ? Потому что на одном одноядерном процессоре сейчас можно получить рост раза в полтора - если вместо Вашего P4 3 GHz поставить какой-нить его же Extreme эдак на 3,8 ГГц. И все, ничего умнее не придумать.
Если же удастся хорошо разложить по процессорам, да разобраться с кэшированием, да дисковую приличествующую подобрать - вот это и будет правильным решением задачи.

Taxi · Сообщение **Taxi** » 30 мар 2007, 14:18

a_shats писал(а):Вооот. Как перепишете - будем думать дальше.
Почему ? Потому что на одном одноядерном процессоре сейчас можно получить рост раза в полтора - если вместо Вашего P4 3 GHz поставить какой-нить его же Extreme эдак на 3,8 ГГц. И все, ничего умнее не придумать.
Если же удастся хорошо разложить по процессорам, да разобраться с кэшированием, да дисковую приличествующую подобрать - вот это и будет правильным решением задачи.

так дайте совет, - что делать с точки зрения программирования, и куда все это поставить потом, чтобы можно было достичь - чего?

Сообщение **exLH** » 01 апр 2007, 21:38

что делать с точки зрения программирования
Переписывать программу. Или Вы хотите курсов, как лучше писать программы под SMP?
куда все это поставить потом
Промониторить требования к дисковой системе, памяти, оценить желательное время выполнения и на основе этих данных выбрать наиболее подходящую систему

Taxi · Сообщение **Taxi** » 02 апр 2007, 09:26

exLH писал(а):что делать с точки зрения программирования
Переписывать программу. Или Вы хотите курсов, как лучше писать программы под SMP?
куда все это поставить потом
Промониторить требования к дисковой системе, памяти, оценить желательное время выполнения и на основе этих данных выбрать наиболее подходящую систему

100%-ная загрузка действующего процессора и еле-еле - всех остальных компонентов...

что делать? в каком бюджете?

Сообщение **exLH** » 02 апр 2007, 10:04

что делать? в каком бюджете?
Что Вы имеете в виду?
Вам уже написали, что если задача может быть распараллелена, то ее надо переписывать. Если такой возможности нет, надо приобретать наиболее быструю однопроцессорную систему из имеющихся на рынке.

Taxi · Сообщение **Taxi** » 02 апр 2007, 10:17

exLH писал(а):что делать? в каком бюджете?
Что Вы имеете в виду?
Вам уже написали, что если задача может быть распараллелена, то ее надо переписывать. Если такой возможности нет, надо приобретать наиболее быструю однопроцессорную систему из имеющихся на рынке.

переписали задачу...

дальше что?

сколько стоит возможное решение?

Сообщение **exLH** » 02 апр 2007, 10:18

Возможное решение чего?

Taxi · Сообщение **Taxi** » 02 апр 2007, 10:38

exLH писал(а):Возможное решение чего?

разговор слепого с глухим

)

имеем задачу - на Пень4 3,0 1 ГГб ОЗУ считается месяц... загружен только процессор, загрузка всех прочих элементов пренебрежимо мала...

какова должна быть система, которая справится с задачей за неделю, день, минуту... и её стоимость...

Сообщение **exLH** » 02 апр 2007, 10:47

А вот это называется сайзинг. Без конкретных тестов (и/или детальной информации о задаче) никто не скажет, сколько данная задача будет выполняться на 2-х, 4-х, 8-ми .... или 64-х ядерной системе. Тестируйте железо и выбирайте оптимум.

Taxi · Сообщение **Taxi** » 02 апр 2007, 11:43

exLH писал(а):А вот это называется сайзинг. Без конкретных тестов (и/или детальной информации о задаче) никто не скажет, сколько данная задача будет выполняться на 2-х, 4-х, 8-ми .... или 64-х ядерной системе. Тестируйте железо и выбирайте оптимум.

уф-ф...как же с вами тяжело... или со мной...

ведь все написано

имеем задачку по обсчету БД размером в 700 миллионов записей и 40 Ггб...

обычный Пень4 3,0 Ггц 1,0 Ггб ОЗУ расчитывает справится с ней почти за 1 месяц (за сутки обрабатывает порядка 30 Ггб)... мс2000...

какая машина (какой стоимостью) может справляться с подобной задачкой хотя бы за 1 день...

ЗЫ подобные задачки - нередки... следующая задачка - 3 млрд.записей и 200 Ггб

Сообщение **exLH** » 02 апр 2007, 12:08

То, что Вы написали для описания задачи, это даже немного меньше, чем "ничего".

Taxi · Сообщение **Taxi** » 02 апр 2007, 12:21

exLH писал(а):То, что Вы написали для описания задачи, это даже немного меньше, чем "ничего".

чем богаты...
встречал точку зрения, что 2-ух ядерные процессоры при условии правильного программирования работают лишь в 1,5 раза быстрее, чем их предшественнки...

во сколько раз уменьшается время на решение задачи при 2 таких процессорах, 4-ех и т.д.

посоветуйте техническое решение

посоветуйте техническое решение

Кто сейчас на конференции