Моштабируемый кластер?

[daniil]

Очень интересует тема создания моштабируемых кластеров под серьезные медиа и социальные порталы!
К примеру берем сайт видео хостинга типа rutube.ru это около 300тыс. зарегестрированных пользователей и около 1млн. показов видео ежедневно скорость потока для ролика около 200кбит/с

В связи с этим интересует как расчитать систему под такой сайт?

Какой сторейдж предпочесть, sas|sata и почему? Вернее я просто хочу понять а имеет ли смысл ставить  sas или можно и sata обойтись?
Какой рейд будет лучше до зеркала(думаем поставить такой же зеркальный) 0 или 5 учитывая то что сторейдж будет больше отдавать чем брать?
Что для сторейджа значит характеристика IOPS, ввод/вывод за секунду на сколько я понимаю, как в связи с этим понимать значение 10000 IOPS для сторейджа? Значит ли это то что он способен одновременно писать и отдавать 10000 файлов в секунду, или я что то не понимаю?
Стоит ли использовать FC?
И что дает интерфейс FC на дисках АТА? Это же имхо бред, сами головки и диск АТА не способны дать такие скорости?
Кто мне объяснит пункт "жесткие диски" http://ru.sun.com/products/storage/midr ... specs.html ?
Интересуют параметры отдающих фронтов, что предпочтительней , несколько серверов послабее или один помощьнее, как быть с памятью?

Какие сервера лучше для базы данных?

Тут же всплывает тема номер 2 - социальные порталы.

Там нет сторажей на сколько я понимаю, но очень большие базы.. вот тут http://habrahabr.ru/blog/columns/6875.html
обсуждали тему сайта myspace.com база которого на сегодняшний день приближается к 200 млн. пользователей, по данным одной службы ежемесячно его посещает 70млн. уникальных пользователей т.е. более 2млн. ежедневно.
Я предлагаю сдешним профи оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить учитывая железо находящееся на рынке сегодня..

Вроде все пока, зарание за ответы всем выражаю благодарность!!!

[and3008]

Т.е. вы предлагаете сделать для вас на халяву подробное техническое обоснование на создание крупного датацентра, стоимостью от 1 млн. зелени? Попутно для вас провести ликбез по базовым информационным технологиям, ибо вы не знаете элементарных вещей.

У вас совесть есть? А хоть деньги на покупку этого всего или хотя бы оплату технического обоснования?
Если у вас есть деньги, то закажите это в любой приличной компании. Там же вам и ликбез проведут.

Зачем платить? А вы про историю MySpace, по вашей же ссылке, внимательно почитали? Видимо нет, ибо заметили бы это:  Кроме того, была установлена новая профессиональная система хранения данных, выдерживающая большую нагрузку.
Там же ответ на вопрос, что предпочтительней "несколько серверов послабее или один помощьнее". Вы как-то не уловили суть. Там красной линией идет мысль "как не надо делать крупные системы", неужели не увидели?

Сами поняли, что сказали:

Там нет сторажей на сколько я понимаю, но очень большие базы...

Т.е. база есть, а системы хранения нет. И где эта база данные держит? В некой мифической стране Diskless?

В общем ваш вопрос как раз тот случай когда вы либо сами читаете мануалы, либо платите тем, кто их уже прочел.
Иначе рискуете пойти по пути MySpace и за несколько лет полностью менять инфраструктуру, потому что она не является масштабируемой и не тянет нагрузку.

P.S. Про русский язык не забывайте. Делать в одном слове две ошибки, это как-то знаете ли... Особенно налегайте на слова "масштаб" и "мощность".

[exLH]

daniil
оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить
Простите за любопытство, но Вы это предлагаете сделать, как сотрудник соответствующей компании или как студент, который пишет курсовую работу?

[daniil]

Т.е. вы предлагаете сделать для вас на халяву подробное техническое обоснование на создание крупного датацентра, стоимостью от 1 млн. зелени? Попутно для вас провести ликбез по базовым информационным технологиям, ибо вы не знаете элементарных вещей.

1млн. зелени это для видео или социалки?

У вас совесть есть? А хоть деньги на покупку этого всего или хотя бы оплату технического обоснования?
Если у вас есть деньги, то закажите это в любой приличной компании. Там же вам и ликбез проведут.

Совесть, конечно есть и в конторы обращался только перед тем как пообщаться они почему то про мои счета спросили, бред полнейший!!!
Вам тоже балас на счете показать?:lol:

Зачем платить? А вы про историю MySpace, по вашей же ссылке, внимательно почитали? Видимо нет, ибо заметили бы это:  Кроме того, была установлена новая профессиональная система хранения данных, выдерживающая большую нагрузку.
Там же ответ на вопрос, что предпочтительней "несколько серверов послабее или один помощьнее". Вы как-то не уловили суть. Там красной линией идет мысль "как не надо делать крупные системы", неужели не увидели?

Вы об этом:
Третий апгрейд (3 млн пользователей) произошел вскоре после второго, поскольку СУБД все равно не справлялась с нагрузкой. В результате было решено создать большую распределенную систему из относительно недорогих серверов баз данных, которую в будущем несложно масштабировать. Дополнительно пришлось переписывать софт для сайта. Это был самый масштабный апгрейд. Для равномерной нагрузки на серверы пользователей «разбили» на кластеры, чтобы каждый сервер баз данных обслуживал по 2 млн человек.

Если да то я о другом! Мой вопрос касался многоядерности и много процессорности против простейших машин!!! Что и для каких задачь будет предпочтительнее?

Сами поняли, что сказали:

Там нет сторажей на сколько я понимаю, но очень большие базы...

Т.е. база есть, а системы хранения нет. И где эта база данные держит? В некой мифической стране Diskless?

Ну конечно же понял! Базы пользователей вроде как прямо на дисках серверов хранить принято и myspace на сколько я понимаю именно к этому пришли, или я ошибаюсь?
А в первой теме еще и медиа контент предполагается под который я и думал поставить сторедж!
И кто из нас не внимательный?:lol:

В общем ваш вопрос как раз тот случай когда вы либо сами читаете мануалы, либо платите тем, кто их уже прочел.
Иначе рискуете пойти по пути MySpace и за несколько лет полностью менять инфраструктуру, потому что она не является масштабируемой и не тянет нагрузку.

Мануалы я сам читаю с большим удовольствием!!! Вы вот намекните где про такие системы мануал почитать, я и прочту.

P.S. Про русский язык не забывайте. Делать в одном слове две ошибки, это как-то знаете ли... Особенно налегайте на слова "масштаб" и "мощность".

Учту обязательно!

Вам совет - поменьше высокомерия и не считайте что вы все обо всем знаете, иначе жизнь в очередной раз съиграет с вами злую шутку!!!:D

daniil
оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить
Простите за любопытство, но Вы это предлагаете сделать, как сотрудник соответствующей компании или как студент, который пишет курсовую работу?

Первое, проблемма в том что нет вообще ни какой информации об этом, вот и прошу поделится известными вам случаями, ну или хоть ссылкой намекните пожалуйста..

[and3008]

в конторы обращался только перед тем как пообщаться они почему то про мои счета спасили, бред полнейший!!!

Это не бред. Люди ценят свое время и хотят знать вашу платежеспособность. Величина вашего счета меня мало интересует, да и тайна это комерческая.

Интересует объем бюджета, который вам выделен для реализации этого проекта. Это не является тайной, а скорее даже наоборот. Это  величина бочки меда, на которую готовы слететься поставщики.

Жду вашего ответа про бюджет.

Мой вопрос касался многоядерности и много процессорности против простейших машин!!!

Вы бы почитали книгу, посвященную операционным системам. Тех же Олиферов или Таненбаума. Там все это тщательно пожевано и выдано в очень понятной и доступной форме. Если я буду это пересказывать, то у меня получится хуже, да и влом мне.

Базы пользователей вроде как прямо на дисках серверов хранить принято

Вы действительно в это верите? А зачем они тогда купили профессиональную систему хранения? Чтобы было?

Рекомендуемая литература:
http://www.oz.by/books/more104617.html
http://www.book.ru/188991
http://www.trinity.su/articles
На месяц вам хватит.

Удачи.

[daniil]

в конторы обращался только перед тем как пообщаться они почему то про мои счета спасили, бред полнейший!!!

Это не бред. Люди ценят свое время и хотят знать вашу платежеспособность. Величина вашего счета меня мало интересует, да и тайна это комерческая.

Интересует объем бюджета, который вам выделен для реализации этого проекта. Это не является тайной, а скорее даже наоборот. Это  величина бочки меда, на которую готовы слететься поставщики.

Жду вашего ответа про бюджет.

Мой вопрос касался многоядерности и много процессорности против простейших машин!!!

Вы бы почитали книгу, посвященную операционным системам. Тех же Олиферов или Таненбаума. Там все это тщательно пожевано и выдано в очень понятной и доступной форме. Если я буду это пересказывать, то у меня получится хуже, да и влом мне.

Базы пользователей вроде как прямо на дисках серверов хранить принято

Вы действительно в это верите? А зачем они тогда купили профессиональную систему хранения? Чтобы было?

Рекомендуемая литература:
http://www.oz.by/books/more104617.html
http://www.book.ru/188991
http://www.trinity.su/articles
На месяц вам хватит.

Удачи.

Бюджет не ограничен!

Верю ли я во что то, или нет, это мое дело, вопрос в другом, я сильно сомневаюсь в том что это: http://www.itscope.ru/2007/06/01/diskov ... _raid.html
с его 1154 МБ/сек, будет быстрее четырех вот этих:
http://www.apple.com/xserve/performance.html
с их 325МБ/сек на 3-х sas, что в сумме дает 1300МБ/сек и это при том что второй вариант сам себя кеширует а первому еще и помощь потребуется..?

За ссылки на книги большое спасибо, будем просвещаться..

[exLH]

daniil
Первое,
Ну так не стесняйтесь, давайте договоримся о встрече, обусудим проект, сделаем пилот...

[and3008]

Бюджет не ограничен!

Так не бывает. Мы живем в мире, в котором всему есть границы. Ну да ладно, вам уже сделано предложение, советую прислушаться.

[daniil]

daniil
Первое,
Ну так не стесняйтесь, давайте договоримся о встрече, обусудим проект, сделаем пилот...

С удовольствием!
Но прежде чем делать пилот я хочу понять принцип построения подобных систем!
Хочу знать наверника почему это:
http://ru.sun.com/products/storage/midr ... index.html
в 2 раза дороже этого:
http://www-03.ibm.com/systems/storage/d ... index.html
и в 2,5 дороже этого:
http://www.dothill.com/storage/hardware/data/2730t/
Надеюсь не только потому что это SUN

К примеру вчера мне все таки удалось раскопать инфу про то что проигрыш sata сторейджа на больших файлах(аудио,видео) по сравнению с sas сторейджом пренебрижимо мал, исходя из этого я делаю вывод что sata намного предпочтительней с точки зрения экономики.
Нашел таки обьяснение  IOPS и его зависимости от скорости потока и размера файла!

Осталось понять самую малость как правильно расчитать нагрузку  исходя из количества пользователей, т.е., условно говоря имеем 1000000 активных пользователей/день имеем - /16/3600=18/сек учитывая средний размер файла = V и учьтя количество операций на одного пользователя/сек = n получаем скорость потока..дальше можно и все остальное прикинуть, но на сколько первые расчеты верны я пока наверника не уверен..

[Stranger03]

С удовольствием!
Но прежде чем делать пилот я хочу понять принцип построения подобных систем!

Ну тогда в чем проблема? Звоните к нам в офис, приезжайте в гости. Там все и обсудите.

Хочу знать наверника почему это:
http://ru.sun.com/products/storage/midr ... index.html
в 2 раза дороже этого:
http://www-03.ibm.com/systems/storage/d ... index.html
и в 2,5 дороже этого:
http://www.dothill.com/storage/hardware/data/2730t/
Надеюсь не только потому что это SUN

6140 с 4ГБ кешем по характеристикам примерно равен ДС4700-й. Заметьте, что 6140 с 2ГБ кешем ниже. Что касается стоимости, то откуда вы взяли, что эта система дороже?

[Stranger03]

Вот только что посчитал, все-таки у САН-а слегка заморочный конфигуратор, . Системы 6140 при одинаковой конфигурации с 16-ю дисками 73ГБ ФЦ стоят примерно одинаково. Разница в стоимости небольшая и обусловлена разницей стоимости в комплтектующих производителей. Обе порядка 55К денег в рекомендованных ценах. Так что думаю вы посмотрели разные конфигурации систем. Либо не учли какие-нибудь лицензии.
З.Ы. все-таки построение таких систем, как идет речь в данном топике, лучше доверить профессионалам. Звоните в офис в Москве, ребята вам все расскажут.