Создание отказоустойчивого кластера для WEB

codegen · Сообщение **codegen** » 21 ноя 2008, 08:47

На данный момент вся линейка серверов в стойке от компании HP.. Так что SAN думаю выбирать тоже этого производителя...

CrazyFrog · Сообщение **CrazyFrog** » 21 ноя 2008, 20:03

Делайте на DRBD и не заморачивайтесь. http://www.linuxjournal.com/article/9074

Как устроены другие местами написано на highscalability.com.
Есть также несколько монографий на эту тему:
Scalable Internet Architectures
By Theo Schlossnagle
Sams, 2006

Building Scalable Web Sites
By Cal Henderson
oreilly, 2006

Вообще, мне очень нравится подход этого мужика:
http://wedonotuse.blogspot.com/2007/04/ ... ptime.html
Он про oracle RAC, но практика показывает что и к обычным приложениям это применимо.

CrazyFrog · Сообщение **CrazyFrog** » 21 ноя 2008, 20:05

setar писал(а):120МБ/c поверх гигабитного интерфейса не выдает сейчас ни одна другая NAS

Ага, конечно. IBM делает магию. фреймы в gige от IBM преодолевают пространственно-временной континуум и никакие другие фреймы так не могут.

CrazyFrog · Сообщение **CrazyFrog** » 21 ноя 2008, 20:07

codegen писал(а):На данный момент вся линейка серверов в стойке от компании HP. Так что SAN думаю выбирать тоже этого производителя...

Современный HP - не лучший выбор. Сервера Sun или IBM на x86 обеспечат большую плотность - больше оперативки и дисков в таком же объёме. Сервера локальных сборщиков на конструкторах intel или supermicro будут заметно дешевле.

Сообщение **and3008** » 23 ноя 2008, 02:03

Документации по строительству HA-кластеров на Линуксе довольно много.

Файловую систему Люстру для СУБД? Не смешите мои тапки. Оно не для этого придумано. Там вся сила в размазывании данных по компам и в основном для операций чтения.

Поддерживаю предыдущего оратора и рекомендую автору вопроса не парить мозги и делать все на DRBD и пакете Heartbeat. Это все входит в состав любого приличного дистрибутива Линукс.

Помните. Никакой кластер не отменяет ПОСТОЯННОГО И НАДЕЖНОГО БАКАПА!!!

codegen · Сообщение **codegen** » 23 ноя 2008, 09:41

and3008 писал(а): Поддерживаю предыдущего оратора и рекомендую автору вопроса не парить мозги и делать все на DRBD и пакете Heartbeat. Это все входит в состав любого приличного дистрибутива Линукс.

Так и планировал сначала... Но потом почитал и понял что это горааздно менее надежно...
Насчет БЭКАПА так то оно так Но HA кластер как раз и обеспечивает и БЕКАП и отказоустойчивость...

Сообщение **exLH** » 23 ноя 2008, 12:09

codegen
Но HA кластер как раз и обеспечивает и БЕКАП и отказоустойчивость...
Это Вам такую глупость кто сказал?

Сообщение **and3008** » 23 ноя 2008, 12:17

HA-кластер не обеспечивает бакапа!!! Это глубочайшее заблуждение!!!

HA-кластер обеспечивает резервирование аппаратных ресурсов и репликацию данных между узлами, но не целостность данных.

Пример HA-кластера:
Стоит два сервера. Один выполняет задачи и модифицирует данные. Другой сервер курит и ждет пока наступит час Ч. Для ускорения переключения аппаратных ресурсов данные реплицируются на резервный сервер (типа арч-логов в СУБД) или общий диск отмонтирован и тоже ждет часа Ч или идет побитная репликация на другое хранилище (DRBD, кластерная ФС, True Copy или еще какое другое софтварно-аппаратное чудо).

Ситуация. На основном сервере удаляются важные данные. По недомыслию или злому умыслу. Либо происходит программный сбой (софт пишет в данные полную пургу). Все это так же перетекает на резервную систему, ведь репликация данных выполняется на реервную систему как можно быстрее, чтобы уменьшить время переключения на резер. Не так ли?
Следуя вашему заблуждению, после того, как проблема будет обнаружена вы вспомните про резервный узел. И что же? А там те же самые данные, т.е. поврежденные. Вас вызовет строгий начальник и спросит: А на фига нам такой кластер нужен, ААААА?

Мораль:
HA-кластер не отменяет бакап. Кто говорит иное - тот не понимает о чем говорит.

Сообщение **and3008** » 23 ноя 2008, 12:26

Взято с БАША, но аккурат в тему:

======================================
Проводил аудит сети в одной из контор. В конторе сменился директор, сисадмин что-то напортачил, работает все плохо... В общем, позвали нас, разобраться.

Приехал с парнишкой из отдела 1С. Я по своей части смотрю (сеть, ПК, сервер), он в 1С копается. За мной бродит местный сисадмин и ноет о своих проблемах. Краем уха слушаю, но так, как занят делом, то большая часть его печальной повести пролетает мимо.

- Вот у нас архив баз вовремя не прошел.... данные в 1С за два дня пропали...

Меня сразу что-то насторожило, но сначала не понял, что именно. Тем временем я все, что нужно, посмотрел, информацию собрал. Заходим с сисадмином к директору, а там 1С-ник наш с ним беседует. Директора очень интересует, как и, главное, почему пропали 2 дня работы?! Это человеческий фактор, или проблемы с железом?

Тут я понял, что перестаю понимать вообще что либо. Как вообще можно вот так просто взять и удалить из базы часть информации? База, если она падает, то вся, а не ровными кусками по два дня. Сисадмин тем временем рассказывает, что в понедельник, вторник и среду архив делался, в четверг и пятницу - нет. Он, не проверив, в субботу перезагрузил сервер и данные за 2 дня пропали. Тут я совсем завис. Либо я дурак, либо одно из двух. Как может быть связана база и ее архивная копия, вашу маму?!

Ответ сисадмина меня просто уничтожил. У него на сервер стоит I-RAM, на нем лежит база 1С. Если сервер перезагружается, туда разворачиватся последний бэкап и люди дальше работают.

Оптимизатор хренов.
=========================================

Это я все к тому, что не надо впадать в крайности.

codegen · Сообщение **codegen** » 23 ноя 2008, 12:43

Это уже флуд господа... Всем спасибо за ответы...

Куда копать я теперь понял.... Осталось реализовать и тестировать...

Сообщение **setar** » 24 ноя 2008, 09:59

CrazyFrog писал(а):
setar писал(а):120МБ/c поверх гигабитного интерфейса не выдает сейчас ни одна другая NAS
Ага, конечно. IBM делает магию. фреймы в gige от IBM преодолевают пространственно-временной континуум и никакие другие фреймы так не могут.

я последнее время очень много занимался параллельными и распределенными файловыми системами, прикалываться можно сколько угодно но это факт, SOFS от IBM обладает наилучшей производительностью по доставке данных на сторону клиента.
здесь презенташка, в ней циферки, все эти циферки я лично видел.
http://ftp.linux.kiev.ua/pub/conference ... dn2008.pdf

Сообщение **exLH** » 25 ноя 2008, 18:18

setar
здесь презенташка, в ней циферки, все эти циферки я лично видел
Вот более внятно текстом: http://www-935.ibm.com/services/us/its/ ... 070108.pdf
и вот еще видео с презентацией нашлось, потому как без слов нифига не ясно )
http://smotri.com/video/view/?id=v6559339df1

Fast · Сообщение **Fast** » 26 ноя 2008, 13:56

setar писал(а):
gs писал(а):По NFS можно отдавать сторадж типа нетаппа...
после того как IBM запустила свой SOFS (CTDB + GPFS) то по коммерческим решениям нетап тихонько курит в сторонке.

120МБ/c поверх гигабитного интерфейса не выдает сейчас ни одна другая NAS - ни NetApp ни ExaStore

Isilon

Сообщение **setar** » 02 дек 2008, 11:31

Fast писал(а):
setar писал(а):
gs писал(а):По NFS можно отдавать сторадж типа нетаппа...
после того как IBM запустила свой SOFS (CTDB + GPFS) то по коммерческим решениям нетап тихонько курит в сторонке.

120МБ/c поверх гигабитного интерфейса не выдает сейчас ни одна другая NAS - ни NetApp ни ExaStore
Isilon

Есть опыт использования?
поделитесь.

потому что аналогов я десяток назвать могу, тема актуальная, многие пытаются что то свое делать.

Fast · Сообщение **Fast** » 02 дек 2008, 12:11

setar писал(а):
Fast писал(а):
setar писал(а): после того как IBM запустила свой SOFS (CTDB + GPFS) то по коммерческим решениям нетап тихонько курит в сторонке.

120МБ/c поверх гигабитного интерфейса не выдает сейчас ни одна другая NAS - ни NetApp ни ExaStore
Isilon
Есть опыт использования?
поделитесь.

потому что аналогов я десяток назвать могу, тема актуальная, многие пытаются что то свое делать.

На НАТ-ЭКСПО 2008 ваша компания была насколько я видел совместно с компанией ОРАД на стенде. Вот если бы ваши ребята отошли ровно 20 метров на стенд компании ПТС то я бы вам и показал в реале ISILON. У меня в стойке была минимальная комплектация из 3-х нод в рабочем боевом состоянии. Не рекламирую..просто говорю что ребята из storus-а нам дали возможность пощупать это чудо.

Работал не очень много с ним - но на вопросы наверное смогу ответить. Решение на мой взгляд просто мощнейшее и реально рабочее а не рекламно-распиареное )

Создание отказоустойчивого кластера для WEB

Кто сейчас на конференции