Обмозговать сервер.

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Vasik
Junior member
Сообщения: 7
Зарегистрирован: 08 янв 2008, 19:25
Откуда: Spb

Обмозговать сервер.

Сообщение Vasik » 08 янв 2008, 19:34

Задача  - компилировать до 50 000 исполняемых файлов за раз.
Нынешний "сервер" на обычном пне4 и с 2 Гб памяти управляется за примерно 3 недели.

Хочу уложить в невеликий бюджет решение вроде

двухпроцессорной матери
пары Quad Xeon
максимального, если можно - 65 Гб объёма ОЗУ

дисковая  и видеоподсистемы не критичны. главное - скорость компиляции.

Предложите готовое или подскажите на что именно смотреть ?
Можно в аську 7551744.

Пока дума вот что ставить:

MB S5000VSA4DIMMR, 2xLGA 771, S5000V, FSB1333, 4DDR II SDR, 2xGbitLAN,2PCI-X, SATA-RAID,EATX

[BOX] Quad-Core Intel Xeon 5310, 1.6ГГц, LGA771, 8M, FSB1066МГц *2

2048Mb PC2-5300 667MHz DDR2 ECC FB-DIMM Kingston [KVR667D2D4F5/2G] *4

Есть опыт использования подобного ?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 08 янв 2008, 22:02

Vasik
А как сочетается:
максимального, если можно - 65 Гб объёма ОЗУ
и
2048Mb PC2-5300 667MHz DDR2 ECC FB-DIMM Kingston [KVR667D2D4F5/2G] *4
?

Vasik
Junior member
Сообщения: 7
Зарегистрирован: 08 янв 2008, 19:25
Откуда: Spb

Сообщение Vasik » 09 янв 2008, 10:52

exLH писал(а):Vasik
А как сочетается:
максимального, если можно - 65 Гб объёма ОЗУ
и
2048Mb PC2-5300 667MHz DDR2 ECC FB-DIMM Kingston [KVR667D2D4F5/2G] *4
?

По последним данным, компиляция забирает до 512 Мб. вот и думаю - больше чем 512*8 мне вроде и не надо, но пусть небольшой запасец будет...

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 09 янв 2008, 11:02

Vasik
Т.е. пока писали сообщение в форум, решили уменьшить объем памяти в 8 раз? Тоже вариант.
Все равно лучше на другом чипсете (5000P) все делать:
Supermicro X7DBE + 4x2GB + 2x5310 + SC745TQ-800 + дисков (я бы рекомендовал SAS) сколько требуется (мнение, что дисковая подсистема не важна скорее всего ошибочное).

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 10 янв 2008, 22:57

мнение, что дисковая подсистема не важна скорее всего ошибочное
Вот это очень правильно :-) Дисковая система крайне важна при компиляции. Кроме того, имеет смысл максимально увеличить дисковый кэш ОС (512М - это компилятор съест, ещё раза в 4 больше надо отдать под дисковый кэш ОС).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 11 янв 2008, 08:28

Vasik писал(а):По последним данным, компиляция забирает до 512 Мб. вот и думаю - больше чем 512*8 мне вроде и не надо, но пусть небольшой запасец будет...
А вопрос, ваш компилятор умеет паралелить? Да и что-то у меня есть сомнения, что если современный П4 компилит 3-и дня, то пара 5310 процов управятся хотя бы за пару часов. Ядро одинаковое, ну в 8-мь раз получите скорость компиляции. за 6-10 часов?

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 11 янв 2008, 09:22

А вопрос, ваш компилятор умеет паралелить?
make умеет, этого достаточно:
    -j jobs
         Specifies the number of jobs (commands) to  run  simul-
         taneously.   If  there  is more than one -j option, the
         last one is effective.   If  the  -j  option  is  given
         without  an argument, make will not limit the number of
         jobs that can run simultaneously.

Другое дело, что вся эта параллельность идёт лесом, если вся работа упрётся в диски. Компиляция - работа с большим количеством мелких файлов, к тому же с конкурентным доступом. Поэтому scsi/sas required.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 11 янв 2008, 12:56

Andrey N. Oktyabrski писал(а):Другое дело, что вся эта параллельность идёт лесом, если вся работа упрётся в диски. Компиляция - работа с большим количеством мелких файлов, к тому же с конкурентным доступом. Поэтому scsi/sas required.
А, понятно про какой компилятор идет речь. Бюджет какой есть? Несколько вариантов кину в почту для питерских коллег, :).

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Сообщение Tert » 11 янв 2008, 13:13

Andrey N. Oktyabrski
С каких это пор make стал компилятором?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 11 янв 2008, 13:41

Tert писал(а):Andrey N. Oktyabrski
С каких это пор make стал компилятором?
Видимо имелось ввиду команда, которой запускается тот самый сишный компилятор со сценарием.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 11 янв 2008, 13:45

А где кто сказал, что он компилятор? :-) Он запускает компилятор, причём, может запустить их одновременно несколько. При этом совершенно не важно, умеет ли сей абстрактный компилятор SMP.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 11 янв 2008, 14:31

а не интересно ли вам будет побесодовать по вопросу удалённой компиляции на нашем кластере ?
если интерес есть - стучитесь ко мне в icq или звоните
327 59 60 (доп. 206) Сергей Тараненко.

P.S. у меня на gentoo всё в 256 потоков собирается ;)
P.P.S к тому же я смотрю вы тоже на обите сидите - считай локалка общая

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 11 янв 2008, 14:39

Ты чё - уже 16 твинов в кластер насувал? :)
Надо Вам ревизию устроить :)

Vasik
Junior member
Сообщения: 7
Зарегистрирован: 08 янв 2008, 19:25
Откуда: Spb

Re: Обмозговать сервер.

Сообщение Vasik » 12 фев 2009, 16:54

Только сегодня заглянул в эту ветку... Я отттуда ушёл, но на 8-ми машинках компилируют. Отдал контакт.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 18 гостей