"Оригинальное" решение

:) здесь весело

Модератор: Trinity admin`s

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

"Оригинальное" решение

Сообщение a_shats » 25 апр 2006, 12:07

http://www.cnews.ru/news/line/index.sht ... /24/200425
Комментировать просто не могу :rlol:

Аватара пользователя
ALEX_SE
Advanced member
Сообщения: 594
Зарегистрирован: 17 апр 2003, 10:23
Откуда: Saratov
Контактная информация:

Сообщение ALEX_SE » 25 апр 2006, 19:04

Вот и объясни теперь клиенту, прочитавшему такую новость, зачем ему аппарат за 5 килобаксов  :close:

Gost370
member
Сообщения: 23
Зарегистрирован: 08 фев 2006, 21:57
Откуда: Архангельск

Сообщение Gost370 » 25 апр 2006, 20:00

А мне вот стало интересно, что там такого выпаять нужно, что-бы MB влезла в U1 корпус?

ПС: Купили 100 машин: 70 в работу, 30 в хотсвап. Надежность блин :D

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 апр 2006, 20:07

Мешает блок звуковых портов наверно.

Аватара пользователя
ALEX_SE
Advanced member
Сообщения: 594
Зарегистрирован: 17 апр 2003, 10:23
Откуда: Saratov
Контактная информация:

Сообщение ALEX_SE » 25 апр 2006, 20:56

Gost370 - Русский кластер. Эконом-вариант :)

Gost370
member
Сообщения: 23
Зарегистрирован: 08 фев 2006, 21:57
Откуда: Архангельск

Сообщение Gost370 » 25 апр 2006, 22:36

ALEX_SE Блэйд сервер, блин. Русское студенчество и не до такого доходило. У наших студентов как известно денег немного, а интузиазма хоть отбавляй. Вот и компенсируют одно другим.

Тут вспомнился доин случай:
На 4 м курсе института, нам задали задание на разработку и испытание макета якоря. Ну якорь я, допустим, из пивной банки сделал (предварительно ее опустошив :) ), но никак не ожидал, что мы его испытывать будем в обычной песочнице (по уму это все надо делать в спец басейне, в который  уже скока лет в ремонте).
Как это ни странно расчет и модель показали примерно одинаковые результаты.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 26 апр 2006, 09:38

ALEX_SE
А чего объяснять-то ? :gigi: Что человек, сьекономив на 100К баксов 10-15К (вроде круто) - на самом деле выбросил 100К эти на ветер ? :rlol:
Если кому нужен был бы человеческий одноюнитовый сервер в кластер такой  - можно было бы поставить нормальные
5015M-MF под Intel или AS-1010S-MR под AMD.

systemevil
Power member
Сообщения: 46
Зарегистрирован: 12 ноя 2007, 09:31
Откуда: Иваново

Сообщение systemevil » 15 ноя 2007, 17:52

Приношу извинения за подъем старинной темы, но несказать немогу, уж очень нахально выглядит вышеупомянутый проект. О нахальности говорит и то, что вводит в заблуждение по поводу использования в качестве серверного оборудования "распаянного десктопного", наличие непонятного счетчика на главной странице, который тупо увеличивается на 57 в сек. (чтобы дорасти до того числа, которое там фигурирует на сегоднешний день потребовалось бы два с половиной года), а также каркас странички напоминающий google.

Хотя поисковик работает, вы там на 6ом месте :)

Аватара пользователя
art
free-lance moderator
Сообщения: 653
Зарегистрирован: 15 май 2003, 11:25
Откуда: SPb

Сообщение art » 04 дек 2007, 16:08

Вы не понимаете того, что это не коммерческий проект, а образовательный.

Год назад я стерпел, но тут не удержался.

Можно я вам историю предложу, господа?

8-10 лет назад я активно занимался квантовохимическими расчетами.
Очень известный ВУЗ в рамках очень высокоуровневой программы закупил у известной фирмы правильное серверное оборудование: dual Xeon 450, reg ecc RAM, SCSI диски и пр. Всего было куплено 8 серверов, кажется.

Я на свой грант, незадолго до этого, купил двухсокетные мат. платы ABIT BP6,  Celeron'ы 333, диски ATA IBM. Процессоры, естествено, были разогнаны до 550, память до 133.


В частном порядке я консультировал старичка академика, который курировал проект со стороны науки. Мы занимались родственными задачами, пользовались похожими программами (GAMESS & Crystal).
На выбор оборудования я не мог повлиять, все уже было украдено не нами.

Я не мог удержаться от демонстрации.

На моей системе скорость расчета была на 40-50% выше при 100% загрузке процессоров. На "правильных" серверах загрузка процессоров временами падала до 45-50%.

Догадываетесь, как отличались стоимости систем?
Старичок- академик был озадачен.

Причины:
1) дисковая подсистема.
Дело в том, что задача порождает большие файлы (4-15 Гб), которые вначале дуются на диск, потом делаются разные вычисления (собственные числа и собств. векторы, диагонализация и т.п.) и, на следующей итерации данные снова выливаются на диск.

Если линейная скорость чтения с диска достаточна для того, чтобы накормить процессор - он загружен на 100%.  У  ATA диска скорость линейного чтения и записи была выше!

Когда соблюдается принцип - один процесс на один диск, то разница между SCSI и ATA нет. Если один диск SCSI нагрузить двумя задачами - скорость расчетов вообще падала ниже плинтуса.
Мало того, SCSI диски были в 4-5 раз меньше размером, поэтому на хвостах больших файлов скорость линейного чтения падала еще сильнее. На больших задачах мои машины обгоняли конкурента почти в два раза.

2) более быстрый процессор
550 vs 450 дает 20%.

3) более быстрый кеш.
На Xeon был внешний кеш 512Кб (микросхемы на плате SLOT1, работающие на частоте памяти - 66-100МГц)
У меня был кеш 128Кб, но он работал на частоте 550МГц.

Поскольку матричные операции легко разбиваются на блоки, достаточно было указать программе оптимальный размер кеша. Как только данные для диагоналиции или вычисления собств. векторов помещались в 128КБ - скорость возрастала еще на 10-15%

3) у меня была быстрее память и меньше задержки (ECC)
=================

На этом месте следовало бы воскликнуть: но надежность, надежность то выше!

На что ученые отвечают так - нам плевать на надежность одного эксперимента. Мы всегда проводим контрольные рассчеты, вариации эксперимента, расчтеы в других базисах и т.д.  Единичный эксперимент не имеет права попасть в статью. Нам важнее провести в 2 раза больше экспериментов, нежели бояться 0.5% вероятности аварии оборудования.

Для поисковой системы надежность одного узла тоже не слишком важна.
=================

И еще - не надо смеяться на "паянием" и ковырянием на коленках. В науке мало денег, но есть дружественные кафедры,  студенты и умение пользоваться паяльными станциями.

Каждая задача должна быть оптимизировна с точки зрения финансов и ученые очень хорошо это понимают. Если купишь один узел кластера за $1000 вместо $300 - выкинул деньги своего гранта.

Через 2 года машины для расчетов можно подарить студентам, отдать бухгалтерии и т.д.
Последний раз редактировалось art 04 дек 2007, 16:24, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 04 дек 2007, 16:16

Да это вроде как не совсем образовательный проект. Если бы просто разрабатывали движок поисковой системы, то и писюка бы хватило. А такое количество машин явно говорит о прицеле на коммерцию. Хотя возможно это чистый венчур - сделали-продались...

Аватара пользователя
art
free-lance moderator
Сообщения: 653
Зарегистрирован: 15 май 2003, 11:25
Откуда: SPb

Сообщение art » 04 дек 2007, 16:37

gs писал(а):Да это вроде как не совсем образовательный проект. Если бы просто разрабатывали движок поисковой системы, то и писюка бы хватило. А такое количество машин явно говорит о прицеле на коммерцию. Хотя возможно это чистый венчур - сделали-продались...
Помимо алгоритмов (fts, лингвистика, морфология) студенты должны обучаться работе с реальными данными.

1) масштабирование систем под большие нагрузки и объемы.
Без разнузданной рекламы как вы будете эмулировать нагрузку?
Купите еще 100 компьютеров?
А задержки в сети, медленные ответы DNS серверов, битые пакеты?
Создать на стенде эмуляцию реальности очень непросто и дорого.

2) неидеальная связность с исходными данными (индексация Интернета это не локальный файл прочесать).
Когда студент первый раз в жизни сделает 500 штук http fetch в  тразакции своей БД, а 30 % сайтов будут недоступны, он узнает, как работать с реальными данными.

Когда к нему придет поисковик и наполнит за 30 минут корзину в интернет магазине всеми товарами из каталога, он станет еще мудрее.

3) еще это работа с реальным железом, которое можно ковырять своими руками.

Главное не надо усмехаться на наивностью этих проектов. Эти ребята уже не могут получить такое же образование, как вы. То что делается - единственный способ хоть как-то приблизить академические знания к бизнесу и реальной жизни.
Не важно, хотят продать проект или нет. Важно, что на этом учатся реальные люди.

Аватара пользователя
art
free-lance moderator
Сообщения: 653
Зарегистрирован: 15 май 2003, 11:25
Откуда: SPb

Сообщение art » 04 дек 2007, 16:45

может быть это и чья-то коммерция, но последнее место прописки в МГУ
данные с netcraft.com

Код: Выделить всё

126107 Russia, Moscow, CRC-997938 Vorobyevy Gory, MSU, r.704, VMiK Nigma.ru, Ltd., http//www.nigma.ru	194.186.121.145	Linux	nginx/0.5.23	29-Nov-2007
Nigma.ru, Ltd.	195.218.186.226	Linux	nginx/0.5.23	5-Sep-2007
126107 Russia, Moscow, CRC-997938 Vorobyevy Gory, MSU, r.704, VMiK Nigma.ru, Ltd., http//www.nigma.ru	194.186.121.144	Linux	nginx/0.5.23	4-Jul-2007
Nigma.ru, Ltd.	195.218.186.204	Linux	nginx/0.4.13	27-Apr-2007
Nigma.ru, Inc.	87.242.88.204	Linux	Apache/2.0.55 Debian PHP/5.1.6-1	28-Nov-2006
Masterhost is a hosting and technical support organization.	83.222.15.33	FreeBSD	Apache/1.3.33 Unix	5-Jan-2006

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 04 дек 2007, 17:54

8) вспоминается проект вычислительного кластера на SEGA III (если не путаю) - причем без шуток и издёвок, игровые приставки на тех задачах лучше дорогостоющих кластеров.
Но! это системы из разряда специализированных и узкозаточенных.
Безусловно есть сегмент задач для которых они пригодны.

Но честное слово я не хотел бы чтобы кто то из моих знакомых администрировал подобную "поделку".

В образовательных целях .... ну почему бы и нет, а в бизнесе :)  - не прокатит.
Последний раз редактировалось setar 04 дек 2007, 17:55, всего редактировалось 1 раз.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 04 дек 2007, 17:55

Надежность - одно, Вы не учитываете еще одну вещь.
А именно - расходы на суппорт.
Если у Вас на суппорт такого кластера есть вагон бесплатных студентов - самоучек, это одно.
А если нету ? Если суппортерам надо деньги платить ?

Аватара пользователя
art
free-lance moderator
Сообщения: 653
Зарегистрирован: 15 май 2003, 11:25
Откуда: SPb

Сообщение art » 05 дек 2007, 10:42

a_shats писал(а): Если у Вас на суппорт такого кластера есть вагон бесплатных студентов - самоучек, это одно.
А если нету ? Если суппортерам надо деньги платить ?
Вы всерьез полагаете, что ученым надо иметь каких-то саппортеров и платить им деньги по контракту за то, что сделает любой первокурсник?

Я общаюсь со своей научной группой и хорошо представляю, как идут дела. Именно "студенты-самоучки" все это и поддерживают.

На каких-то платах однажды перепаяли конденсаторы.
Блоки питания меняли, диски. Все. Работа для одного человека. Пара часов в месяц. Какие "вагоны студентов"?

В результате у студентов есть хорошая игрушка. У ученого есть серьезная экономия денег. Есть из чего доплатить студентам.

Ответить

Вернуться в «Приколы нашего IT городка»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей