Моштабируемый кластер?
Модераторы: Trinity admin`s, Free-lance moderator`s
Моштабируемый кластер?
Очень интересует тема создания моштабируемых кластеров под серьезные медиа и социальные порталы!
К примеру берем сайт видео хостинга типа rutube.ru это около 300тыс. зарегестрированных пользователей и около 1млн. показов видео ежедневно скорость потока для ролика около 200кбит/с
В связи с этим интересует как расчитать систему под такой сайт?
Какой сторейдж предпочесть, sas|sata и почему? Вернее я просто хочу понять а имеет ли смысл ставить sas или можно и sata обойтись?
Какой рейд будет лучше до зеркала(думаем поставить такой же зеркальный) 0 или 5 учитывая то что сторейдж будет больше отдавать чем брать?
Что для сторейджа значит характеристика IOPS, ввод/вывод за секунду на сколько я понимаю, как в связи с этим понимать значение 10000 IOPS для сторейджа? Значит ли это то что он способен одновременно писать и отдавать 10000 файлов в секунду, или я что то не понимаю?
Стоит ли использовать FC?
И что дает интерфейс FC на дисках АТА? Это же имхо бред, сами головки и диск АТА не способны дать такие скорости?
Кто мне объяснит пункт "жесткие диски" http://ru.sun.com/products/storage/midr ... specs.html ?
Интересуют параметры отдающих фронтов, что предпочтительней , несколько серверов послабее или один помощьнее, как быть с памятью?
Какие сервера лучше для базы данных?
Тут же всплывает тема номер 2 - социальные порталы.
Там нет сторажей на сколько я понимаю, но очень большие базы.. вот тут http://habrahabr.ru/blog/columns/6875.html
обсуждали тему сайта myspace.com база которого на сегодняшний день приближается к 200 млн. пользователей, по данным одной службы ежемесячно его посещает 70млн. уникальных пользователей т.е. более 2млн. ежедневно.
Я предлагаю сдешним профи оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить учитывая железо находящееся на рынке сегодня..
Вроде все пока, зарание за ответы всем выражаю благодарность!!!
К примеру берем сайт видео хостинга типа rutube.ru это около 300тыс. зарегестрированных пользователей и около 1млн. показов видео ежедневно скорость потока для ролика около 200кбит/с
В связи с этим интересует как расчитать систему под такой сайт?
Какой сторейдж предпочесть, sas|sata и почему? Вернее я просто хочу понять а имеет ли смысл ставить sas или можно и sata обойтись?
Какой рейд будет лучше до зеркала(думаем поставить такой же зеркальный) 0 или 5 учитывая то что сторейдж будет больше отдавать чем брать?
Что для сторейджа значит характеристика IOPS, ввод/вывод за секунду на сколько я понимаю, как в связи с этим понимать значение 10000 IOPS для сторейджа? Значит ли это то что он способен одновременно писать и отдавать 10000 файлов в секунду, или я что то не понимаю?
Стоит ли использовать FC?
И что дает интерфейс FC на дисках АТА? Это же имхо бред, сами головки и диск АТА не способны дать такие скорости?
Кто мне объяснит пункт "жесткие диски" http://ru.sun.com/products/storage/midr ... specs.html ?
Интересуют параметры отдающих фронтов, что предпочтительней , несколько серверов послабее или один помощьнее, как быть с памятью?
Какие сервера лучше для базы данных?
Тут же всплывает тема номер 2 - социальные порталы.
Там нет сторажей на сколько я понимаю, но очень большие базы.. вот тут http://habrahabr.ru/blog/columns/6875.html
обсуждали тему сайта myspace.com база которого на сегодняшний день приближается к 200 млн. пользователей, по данным одной службы ежемесячно его посещает 70млн. уникальных пользователей т.е. более 2млн. ежедневно.
Я предлагаю сдешним профи оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить учитывая железо находящееся на рынке сегодня..
Вроде все пока, зарание за ответы всем выражаю благодарность!!!
Т.е. вы предлагаете сделать для вас на халяву подробное техническое обоснование на создание крупного датацентра, стоимостью от 1 млн. зелени? Попутно для вас провести ликбез по базовым информационным технологиям, ибо вы не знаете элементарных вещей.
У вас совесть есть? А хоть деньги на покупку этого всего или хотя бы оплату технического обоснования?
Если у вас есть деньги, то закажите это в любой приличной компании. Там же вам и ликбез проведут.
Зачем платить? А вы про историю MySpace, по вашей же ссылке, внимательно почитали? Видимо нет, ибо заметили бы это: Кроме того, была установлена новая профессиональная система хранения данных, выдерживающая большую нагрузку.
Там же ответ на вопрос, что предпочтительней "несколько серверов послабее или один помощьнее". Вы как-то не уловили суть. Там красной линией идет мысль "как не надо делать крупные системы", неужели не увидели?
Сами поняли, что сказали:
В общем ваш вопрос как раз тот случай когда вы либо сами читаете мануалы, либо платите тем, кто их уже прочел.
Иначе рискуете пойти по пути MySpace и за несколько лет полностью менять инфраструктуру, потому что она не является масштабируемой и не тянет нагрузку.
P.S. Про русский язык не забывайте. Делать в одном слове две ошибки, это как-то знаете ли... Особенно налегайте на слова "масштаб" и "мощность".
У вас совесть есть? А хоть деньги на покупку этого всего или хотя бы оплату технического обоснования?
Если у вас есть деньги, то закажите это в любой приличной компании. Там же вам и ликбез проведут.
Зачем платить? А вы про историю MySpace, по вашей же ссылке, внимательно почитали? Видимо нет, ибо заметили бы это: Кроме того, была установлена новая профессиональная система хранения данных, выдерживающая большую нагрузку.
Там же ответ на вопрос, что предпочтительней "несколько серверов послабее или один помощьнее". Вы как-то не уловили суть. Там красной линией идет мысль "как не надо делать крупные системы", неужели не увидели?
Сами поняли, что сказали:
Т.е. база есть, а системы хранения нет. И где эта база данные держит? В некой мифической стране Diskless?Там нет сторажей на сколько я понимаю, но очень большие базы...
В общем ваш вопрос как раз тот случай когда вы либо сами читаете мануалы, либо платите тем, кто их уже прочел.
Иначе рискуете пойти по пути MySpace и за несколько лет полностью менять инфраструктуру, потому что она не является масштабируемой и не тянет нагрузку.
P.S. Про русский язык не забывайте. Делать в одном слове две ошибки, это как-то знаете ли... Особенно налегайте на слова "масштаб" и "мощность".
1млн. зелени это для видео или социалки?and3008 писал(а):Т.е. вы предлагаете сделать для вас на халяву подробное техническое обоснование на создание крупного датацентра, стоимостью от 1 млн. зелени? Попутно для вас провести ликбез по базовым информационным технологиям, ибо вы не знаете элементарных вещей.
Совесть, конечно есть и в конторы обращался только перед тем как пообщаться они почему то про мои счета спросили, бред полнейший!!!У вас совесть есть? А хоть деньги на покупку этого всего или хотя бы оплату технического обоснования?
Если у вас есть деньги, то закажите это в любой приличной компании. Там же вам и ликбез проведут.
Вам тоже балас на счете показать?:lol:
Вы об этом:Зачем платить? А вы про историю MySpace, по вашей же ссылке, внимательно почитали? Видимо нет, ибо заметили бы это: Кроме того, была установлена новая профессиональная система хранения данных, выдерживающая большую нагрузку.
Там же ответ на вопрос, что предпочтительней "несколько серверов послабее или один помощьнее". Вы как-то не уловили суть. Там красной линией идет мысль "как не надо делать крупные системы", неужели не увидели?
Третий апгрейд (3 млн пользователей) произошел вскоре после второго, поскольку СУБД все равно не справлялась с нагрузкой. В результате было решено создать большую распределенную систему из относительно недорогих серверов баз данных, которую в будущем несложно масштабировать. Дополнительно пришлось переписывать софт для сайта. Это был самый масштабный апгрейд. Для равномерной нагрузки на серверы пользователей «разбили» на кластеры, чтобы каждый сервер баз данных обслуживал по 2 млн человек.
Если да то я о другом! Мой вопрос касался многоядерности и много процессорности против простейших машин!!! Что и для каких задачь будет предпочтительнее?
Ну конечно же понял! Базы пользователей вроде как прямо на дисках серверов хранить принято и myspace на сколько я понимаю именно к этому пришли, или я ошибаюсь?Сами поняли, что сказали:Т.е. база есть, а системы хранения нет. И где эта база данные держит? В некой мифической стране Diskless?Там нет сторажей на сколько я понимаю, но очень большие базы...
А в первой теме еще и медиа контент предполагается под который я и думал поставить сторедж!
И кто из нас не внимательный?:lol:
Мануалы я сам читаю с большим удовольствием!!! Вы вот намекните где про такие системы мануал почитать, я и прочту.В общем ваш вопрос как раз тот случай когда вы либо сами читаете мануалы, либо платите тем, кто их уже прочел.
Иначе рискуете пойти по пути MySpace и за несколько лет полностью менять инфраструктуру, потому что она не является масштабируемой и не тянет нагрузку.
Учту обязательно!P.S. Про русский язык не забывайте. Делать в одном слове две ошибки, это как-то знаете ли... Особенно налегайте на слова "масштаб" и "мощность".
Вам совет - поменьше высокомерия и не считайте что вы все обо всем знаете, иначе жизнь в очередной раз съиграет с вами злую шутку!!!:D
Первое, проблемма в том что нет вообще ни какой информации об этом, вот и прошу поделится известными вам случаями, ну или хоть ссылкой намекните пожалуйста..exLH писал(а):daniil
оценить обсуждаемую там конфигурацию и предложить как ее можно улучшить
Простите за любопытство, но Вы это предлагаете сделать, как сотрудник соответствующей компании или как студент, который пишет курсовую работу?
Это не бред. Люди ценят свое время и хотят знать вашу платежеспособность. Величина вашего счета меня мало интересует, да и тайна это комерческая.в конторы обращался только перед тем как пообщаться они почему то про мои счета спасили, бред полнейший!!!
Интересует объем бюджета, который вам выделен для реализации этого проекта. Это не является тайной, а скорее даже наоборот. Это величина бочки меда, на которую готовы слететься поставщики.
Жду вашего ответа про бюджет.
Вы бы почитали книгу, посвященную операционным системам. Тех же Олиферов или Таненбаума. Там все это тщательно пожевано и выдано в очень понятной и доступной форме. Если я буду это пересказывать, то у меня получится хуже, да и влом мне.Мой вопрос касался многоядерности и много процессорности против простейших машин!!!
Вы действительно в это верите? А зачем они тогда купили профессиональную систему хранения? Чтобы было?Базы пользователей вроде как прямо на дисках серверов хранить принято
Рекомендуемая литература:
http://www.oz.by/books/more104617.html
http://www.book.ru/188991
http://www.trinity.su/articles
На месяц вам хватит.
Удачи.
Бюджет не ограничен!and3008 писал(а):Это не бред. Люди ценят свое время и хотят знать вашу платежеспособность. Величина вашего счета меня мало интересует, да и тайна это комерческая.в конторы обращался только перед тем как пообщаться они почему то про мои счета спасили, бред полнейший!!!
Интересует объем бюджета, который вам выделен для реализации этого проекта. Это не является тайной, а скорее даже наоборот. Это величина бочки меда, на которую готовы слететься поставщики.
Жду вашего ответа про бюджет.
Вы бы почитали книгу, посвященную операционным системам. Тех же Олиферов или Таненбаума. Там все это тщательно пожевано и выдано в очень понятной и доступной форме. Если я буду это пересказывать, то у меня получится хуже, да и влом мне.Мой вопрос касался многоядерности и много процессорности против простейших машин!!!
Вы действительно в это верите? А зачем они тогда купили профессиональную систему хранения? Чтобы было?Базы пользователей вроде как прямо на дисках серверов хранить принято
Рекомендуемая литература:
http://www.oz.by/books/more104617.html
http://www.book.ru/188991
http://www.trinity.su/articles
На месяц вам хватит.
Удачи.
Верю ли я во что то, или нет, это мое дело, вопрос в другом, я сильно сомневаюсь в том что это: http://www.itscope.ru/2007/06/01/diskov ... _raid.html
с его 1154 МБ/сек, будет быстрее четырех вот этих:
http://www.apple.com/xserve/performance.html
с их 325МБ/сек на 3-х sas, что в сумме дает 1300МБ/сек и это при том что второй вариант сам себя кеширует а первому еще и помощь потребуется..?
За ссылки на книги большое спасибо, будем просвещаться..
С удовольствием!exLH писал(а):daniil
Первое,
Ну так не стесняйтесь, давайте договоримся о встрече, обусудим проект, сделаем пилот...
Но прежде чем делать пилот я хочу понять принцип построения подобных систем!
Хочу знать наверника почему это:
http://ru.sun.com/products/storage/midr ... index.html
в 2 раза дороже этого:
http://www-03.ibm.com/systems/storage/d ... index.html
и в 2,5 дороже этого:
http://www.dothill.com/storage/hardware/data/2730t/
Надеюсь не только потому что это SUN
К примеру вчера мне все таки удалось раскопать инфу про то что проигрыш sata сторейджа на больших файлах(аудио,видео) по сравнению с sas сторейджом пренебрижимо мал, исходя из этого я делаю вывод что sata намного предпочтительней с точки зрения экономики.
Нашел таки обьяснение IOPS и его зависимости от скорости потока и размера файла!
Осталось понять самую малость как правильно расчитать нагрузку исходя из количества пользователей, т.е., условно говоря имеем 1000000 активных пользователей/день имеем - /16/3600=18/сек учитывая средний размер файла = V и учьтя количество операций на одного пользователя/сек = n получаем скорость потока..дальше можно и все остальное прикинуть, но на сколько первые расчеты верны я пока наверника не уверен..
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Ну тогда в чем проблема? Звоните к нам в офис, приезжайте в гости. Там все и обсудите.daniil писал(а):С удовольствием!
Но прежде чем делать пилот я хочу понять принцип построения подобных систем!
6140 с 4ГБ кешем по характеристикам примерно равен ДС4700-й. Заметьте, что 6140 с 2ГБ кешем ниже. Что касается стоимости, то откуда вы взяли, что эта система дороже?Хочу знать наверника почему это:
http://ru.sun.com/products/storage/midr ... index.html
в 2 раза дороже этого:
http://www-03.ibm.com/systems/storage/d ... index.html
и в 2,5 дороже этого:
http://www.dothill.com/storage/hardware/data/2730t/
Надеюсь не только потому что это SUN
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Вот только что посчитал, все-таки у САН-а слегка заморочный конфигуратор, . Системы 6140 при одинаковой конфигурации с 16-ю дисками 73ГБ ФЦ стоят примерно одинаково. Разница в стоимости небольшая и обусловлена разницей стоимости в комплтектующих производителей. Обе порядка 55К денег в рекомендованных ценах. Так что думаю вы посмотрели разные конфигурации систем. Либо не учли какие-нибудь лицензии.
З.Ы. все-таки построение таких систем, как идет речь в данном топике, лучше доверить профессионалам. Звоните в офис в Москве, ребята вам все расскажут.
З.Ы. все-таки построение таких систем, как идет речь в данном топике, лучше доверить профессионалам. Звоните в офис в Москве, ребята вам все расскажут.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 31 гость