Простейший сервер с горячей заменой дисков в 19" шкаф

[Владимир Дашевский]

Здравствуйте!

Вот какая возникла задача. Нужно собрать сервер для организации небольшого дела, устанавливаемый в 19"-шкаф . Вот такие характеристрики просматриваются на данный момент:
1. Задачи сервера (по мере убывания важности).
- SCM (Perforce, SVN, etc)
- File storage
- data backup
- firewall
- nfs
- vpn
- ftp
- web
- sql
- mail

2. Нагрузка на сервер.
- среднее число пользователей пока - 1-2 человека.
- ежедневный объем данных небольшой, 1-5 ГБ/день внутреннего трафика и 2-4 Mbps внешнего.


3. Парадигма использования. Сервер должен быть доступен через интернет для обеспечения возможности удаленной работы всех сотрудников. По этой причине важна максимально возможная готовность при работе без возможности вмешательста человека. Собственное время работы без перезапуска (при наличии питания) должно стремиться к годам. Срок службы до апгрейда/замены - 5-6 лет.

4. Ввиду отсутствия высоких требований к производительности сервера аккустический шум и потребление энергии (связанные вещи) должны быть минимальными.

5. Операционная система. Предполагается linux, возможны варианты другими вариантами unix. Windows быть не должно. Управление сервером предполагается через SSH, без собственного дисплея у сервера в штатном режиме.

6. Для обеспечения надежности дисковой системы предполагается использовать RAID1 с hot swap. Емкость дисковой подсистемы порядка 250Гб. Пока что основной критерий для выбора - не увлекаться, и не превращать raId в raEd . Учитывая, что основная нагрузка будет на чтение, хотелось бы сделать RAID1 с 3 hdd SATA (SATA-II), что должно одновременно служить как задаче повышения скорости работы (3 диска в штатной ситуации при чтении быстрее 2), так и задаче обеспечения дополнительных дисков в ЗИП.
Ввиду небольшой сложности RAID1 есть тихая надежда, что это будет возможно и средствами soft raid в OC, с возможностями hot swap, световой индикацией неисправности HDD, проведения rebuild'a и т.п.
Очень желательно, чтобы дисковая подсистема допускала плавный переход к дискам большей емкости без перезапуска сервера.

7. Высота корпуса не принципиальна, было бы хорошо, чтобы она была 2U.

Вопрос заключается в том, существует ли решение данной задачки. Интересует решение стоимостью не более 50000 руб., не считая стоимости самих дисков.

Какой UPS можно порекомендовать для такого сервера, имея ввиду (помимо всего прочего), что замена батареи при наличии сети желательна также без остановки сервера.

Спасибо за внимание.

[a_shats]

3. Собственное время работы без перезапуска (при наличии питания) должно стремиться к годам.
Гарантированно выполняющий это условие сервер мы поставить не можем. Это к А-брэндам и промышленным серверам.
4. Ввиду отсутствия высоких требований к производительности сервера аккустический шум и потребление энергии (связанные вещи) должны быть минимальными.
Выбирайте что-то одно: либо хорошее (избыточное, способное гарантировать работу при отказе любого одного фана) охлаждение - либо тишина.
5. Операционная система. Предполагается linux, возможны варианты другими вариантами unix. Windows быть не должно. Управление сервером предполагается через SSH, без собственного дисплея у сервера в штатном режиме.
Есть еще такая вещь, как IPMI с KVM-over-IP, опция доступна почти для всех наших серверов.
Ввиду небольшой сложности RAID1 есть тихая надежда, что это будет возможно и средствами soft raid в OC, с возможностями hot swap, световой индикацией неисправности HDD, проведения rebuild'a и т.п.
Это все есть - но все проблемы, обычно решаемые аппаратным RAID, перекладываются на плечи софта.
Очень желательно, чтобы дисковая подсистема допускала плавный переход к дискам большей емкости без перезапуска сервера.
Лет через 10 такой функционал у серверов обязательно будет  :D
7. Высота корпуса не принципиальна, было бы хорошо, чтобы она была 2U.
Какой смысл городить 2U, если все за глаза лезет в 1U и еще место для двух винтов остается ??? 2U корпуса не тише и, главное - не дешевле.
Вопрос заключается в том, существует ли решение данной задачки. Интересует решение стоимостью не более 50000 руб., не считая стоимости самих дисков.
В том виде, в котором Вы задачу поставили - лично мне решение ея неизвестно.

[Владимир Дашевский]

Гарантированно выполняющий это условие сервер мы поставить не можем. Это к А-брэндам и промышленным серверам.

Хм. А можно тогда узнать, какие риски так серьезно роняют MTBF? Я вот пишу это сообщения с сервера, который не выключается уже года 4 (если не больше), и работает без проблем на одном единственном hdd без всяких RAID. Рестартовал я его несколько раз, и все разы по причинам, не связанным с серверной функциональностью (а потому что в общем то нечего работать на сервере как на рабочей станции). Пару раз он рестартовал при долговременном пропадании питания в сети после нормального шатдауна.

Выбирайте что-то одно: либо хорошее (избыточное, способное гарантировать работу при отказе любого одного фана) охлаждение - либо тишина.

А я не сказал, что хочу тишины, я сказал, что хочу оптимальный вентилятор ввиду отсутствия требований к большой производительности, требующей большого потребления. Вполне подойдет система адаптивного притока воздуха по мере нагрева техники. В настольных компьютерах это сейчас уже всюду есть.

Это все есть - но все проблемы, обычно решаемые аппаратным RAID, перекладываются на плечи софта.

Да я это понимаю, но в данном случае я хочу выделить для этих проблем отдельную машину. И софт в ней именно этим всем и должен заниматься в первую очередь.

Очень желательно, чтобы дисковая подсистема допускала плавный переход к дискам большей емкости без перезапуска сервера.

Лет через 10 такой функционал у серверов обязательно будет

Поясните, пожалуйста, почему сейчас это невозможно на программном уровне? Вот допустим, Hot swap есть, диск заменить на лету можно, перемонтировать в ОС - можно, данные перенести - можно, новый раздел добавить, смонтировать, отоформатировать - можно, зачем ждать 10 лет?

Какой смысл городить 2U, если все за глаза лезет в 1U и еще место для двух винтов остается ??? 2U корпуса не тише и, главное - не дешевле.

Вот опять неправильное понимание. Я не сказал, что против 1U. Я сказал про 2U, имея ввиду, что не хотел бы более 2U. Про 1U меня были изначально сомнения, что в этот габарит поместятся 3 HDD с hot swap + какой-нибудь привод для бэкапов (5").

---
Интересно, а вообще решение задачи известно? Сколько оно стоит?
Во многих отраслях имеется тенденция, что добротно сделанная вещь примерно раза в 3 дороже самой дешевой ширпотребной. Довольно странно слышать, что требования не соответствуют стоимости.

[Stranger03]

Хм. А можно тогда узнать, какие риски так серьезно роняют MTBF? Я вот пишу это сообщения с сервера, который не выключается уже года 4 (если не больше), и работает без проблем на одном единственном hdd без всяких RAID

Почитайте как строятся системы с коэффициентом надежности 0.99 и выше. Тот, о чем вы говорите здесь, есть лишь сервер с некоторым резервированием компонент, как то диски, может быть память. Собственно каждый компонент добавляет свой процент отказа.

Да я это понимаю, но в данном случае я хочу выделить для этих проблем отдельную машину. И софт в ней именно этим всем и должен заниматься в первую очередь.

Вы не поняли, речь про хост-раид, в котором основные функции по поддержке РАИД массива возложены на ОС. Куда как проще выдернуть сломаный винт и поставить новый, чтобы контроллер сам сделал ребилд на новый винт.

Вот опять неправильное понимание. Я не сказал, что против 1U. Я сказал про 2U, имея ввиду, что не хотел бы более 2U. Про 1U меня были изначально сомнения, что в этот габарит поместятся 3 HDD с hot swap + какой-нибудь привод для бэкапов (5")

Ну в 1У кузов бекапный девайс не поместится. Какой объем на бекап нужен?

[Stranger03]

Варианта два
1. 1У 5015B-U, память, проц, контроллер, винты, внешний USB драйв LTO-2,3,4
2. Кузов 745TQ, память, проц, контроллер, винты, внутренний USB драйв LTO-2,3,4
Варианты пришлем на почту.

[and3008]

Цитата:
Очень желательно, чтобы дисковая подсистема допускала плавный переход к дискам большей емкости без перезапуска сервера.

Лет через 10 такой функционал у серверов обязательно будет


Поясните, пожалуйста, почему сейчас это невозможно на программном уровне? Вот допустим, Hot swap есть, диск заменить на лету можно, перемонтировать в ОС - можно, данные перенести - можно, новый раздел добавить, смонтировать, отоформатировать - можно, зачем ждать 10 лет?

Поясню. Когда говорят "без перезапуска сервера", подразумевают еще и "без перезапуска служб, которые на нем работают". Расскажите мне, как вы видите увеличение объема дискового пространства файловой системы без переинициализации драйвера файловой системы или подсистемы, отвечающей за работу с дисками?

Да, подобные функции сделаны в ряде систем. Но это не ваш случай и цена этих систем вам вряд ли понравится.

[Владимир Дашевский]

Ну, не имея ничего против методов повышения надежности как таковых, я могу себе также представить науку о спекулировании цифрами вокруг этого понятия. Ибо любая теория построена на неправдоподобной модели появления отказов. Ну ладно...

В моем случае, я не ищу идеального решения с точки зрения готовности системы. Я лишь хочу достигнуть ситуации, когда максимально снижены шансы потери данных с сервера вообще, после того как они туда положены. А это несколько иная задача. Бэкапы эту задачу не решают в полном объеме. Иногда бывает очень трудно повторить результат даботы за пару последних дней перед выходом системы из строя. В случае аварии на первом месте целостность данных для себя, а на втором уже - готовность системы для других.
Именно поэтому думаю про RAID.

По поводу soft (host) raid я понял, и именно про реализацию в ОС я и думаю. Как я понимаю, программная реализация RAID1 не представляет больших затрат для ОС. Вариант с аппаратным контроллером RAID мне не нравится по причине того, что платить то надо практически за спопроцессор для RAID5,6, и при надобности только RAID1 это кажется неэффективным вложением средств. Я бы лучше отдал часть этих денег за хорошую оперативную память для сервера.

Что касается бэкапа, то я пока не могу четко сформулировать требования, поскольку не представляю, как его грамотно делать. Сделать для этих целей HDD? Но это получается повторение RAID1, который задуман и так, какой смысл? Сделать DVD, это уже лучше, носитель можно хранить независимо. Но объем получается меньше дисковой подсистемы, то есть дисков нужно много, а это уже непрактично. Альтернатива дискам - стримеры, но я не знаю насколько они дороги, если потенциально надо покрыть бэкапом весь объем дискового пространства. Идеально было бы так. Бекап пишется на носитель раз в сутки. Раз в N суток надо обменять съемный носитель (диск/кассета) между сервером и сейфом. Если сервер умрёт вместе со всеми дисками RAID, то тогда бэкап должен восстановить всю систему (ОС+ФС), а не только пользовательский раздел. Вот пока только это понятно.

Почту посмотрел, спасибо. Хочу всё же выслушать аргументы в пользу RAID-контроллера при потребности только в RAID1.

[a_shats]

Ну, не имея ничего против методов повышения надежности как таковых, я могу себе также представить науку о спекулировании цифрами вокруг этого понятия.
Все просто и незатейливо на самом деле: есть еще живое железо, и есть уже мертвое. Вероятность отказа 50% в соответствии с женской логикой. Иными словами, чтобы снизить ея - надо всего по 2. Одиночный сервер х86 такого дублирования даже в принципе не имеет.
Я лишь хочу достигнуть ситуации, когда максимально снижены шансы потери данных с сервера вообще, после того как они туда положены.
Аппаратный RAID+регулярный бэкап - рецепт, проверенный временем. Еще вариант - полное дублирование всего (2 сервера + 2 массива, пары сервер+массив географически разнесены и имеют более чем один канал связи между собой) плюс опять же бэкап, но это еще дороже.
По поводу soft (host) raid я понял, и именно про реализацию в ОС я и думаю. Как я понимаю, программная реализация RAID1 не представляет больших затрат для ОС. Вариант с аппаратным контроллером RAID мне не нравится по причине того, что платить то надо практически за спопроцессор для RAID5,6, и при надобности только RAID1 это кажется неэффективным вложением средств. Я бы лучше отдал часть этих денег за хорошую оперативную память для сервера.
Разница между аппаратными и программными RAID всплывает при тяжелых нагрузках и отказах: у первых обычно есть средства восстановления после нетривиальных отказов, у вторых их нет.
Что касается бэкапа, то я пока не могу четко сформулировать требования, поскольку не представляю, как его грамотно делать.
Грамотно - еженедельно full backup, ежедневно incremental на ленту, носитель (картридж) после бэкапа убирать далеко за пределы помещения (на случай отказа площадки). Для этого нужны как минимум стример и ПО резервного копирования, способное с ним работать (про Acronis'ы и прочие Ghost'ы забудьте как страшный сон - они не для серверов).
Понимаете, очень трудно посоветовать что-нибудь, если Вы сами не знаете, чего именно хотите.

[Владимир Дашевский]

and3008
А выполнение команды mount разве требует рестарта драйвера?
Или имеется ввиду, что точка подключения нового объема никогда не сможет увеличить пространство для всех служб-пользователей файловой системы, ранее работающих с другими путями?

но вообще, я же сказал, что требование желательное, а не обязательное, раз в 5 лет, можно и устроить рестарт файловой системы, минут на 5.

[Владимир Дашевский]

Все просто и незатейливо на самом деле: есть еще живое железо, и есть уже мертвое. Вероятность отказа 50% в соответствии с женской логикой. Иными словами, чтобы снизить ея - надо всего по 2. Одиночный сервер х86 такого дублирования даже в принципе не имеет.

Что не мешает ему работать годами без особых проблем. А вот русская рулетка с логикой 50/50 - это пример неудачной теории. Не хотелось бы ей пользоваться для разумного выбора.

Разница между аппаратными и программными RAID всплывает при тяжелых нагрузках и отказах: у первых обычно есть средства восстановления после нетривиальных отказов, у вторых их нет.

Вот написал же, что не будет ни первого, ни второго. Всё равно предлагается из пушки по воробьям пулять.

Понимаете, очень трудно посоветовать что-нибудь, если Вы сами не знаете, чего именно хотите.

По-моему, можно было бы уже и понять, чего я хочу. Скажу честно, мне не очень нравится, что из скромных требований всё равно вырастает система "на 50 пользователей 1С", и других решений неизвестно.

[Stranger03]

Владимир Дашевский
Можно вопрос? Мы что тут обсуждаем? Теоретические вопросы отказоустойчивости систем? ИМХО мне так кажется, вопрос изначально стоит 1.5-2 тысячи зеленых монет. Чтобы получить нормальную машинку, берем микру 5015, контроллер и пару винтов в зеркало.

[Stranger03]

мне не очень нравится, что из скромных требований всё равно вырастает система "на 50 пользователей 1С", и других решений неизвестно.

Вот я опять чего-то не пойму. Я вам скинул конфиг на самый простейший сервер 1У. Проще уж ну совсем некуда. В чем проблема-то? А что касается "скромных" требований, вы почитайте свой первый пост. Там русским языком написана система уровня IBM pSeries  с полным дублированием всего и вся. И тут не стоимость 1С на полтинник пользователей, а стоимость примерно пары топовых мерседесов SLK. Это вам и пытаются здесь сказать.

[gs]

Да и как-то не вяжутся требования малошумности и невозможности доступа персонала. Невозможность физического доступа по определению означает кучу дополнительных фичей по мониторингу и удаленному управлению, которые вполне реальны, но не за эти деньги...

[Владимир Дашевский]

Еще раз прошу меня правильно понять.
Я нигде не писал, что мне нужна топовая система. Если словосочетание "максимально возможная готовность" увело от правильного понимания вопроса, то приношу извинения. Имелась в виду не максимально возможная в мире готовность, а в пределах указанного ценового диапазона. В остальном, я не вижу особенно высоких требований. Все особенности указаны как пожелания, от которых можно отступать в поиске оптимального решения.

Чтобы было еще яснее, я приведу пример использования. Вот сейчас есть обычный компьютер, который работает непрерывно годами и служит сервером. Пока что для повышения надежности на нем есть только UPS и резервный hdd для скидывания пользовательских данных. В данном виде система имеет следующие недостатки:
1. Если диск системы накроется, то придется заново поднимать систему, она надолго уйдет в offline.
2. нет никакой дагностики, кроме SMART, что диск требует замены.

Вот от это ситуации хочется уйти, обеспечив возможность
1. Один раз настроить систему для долгосрочной экспуатации.
2. Проблемы с дисками решать путем вытаскивания одного и установки другого, с поеследующим переносом данных на него.

Все остальные пожелания (кроме форм-фактора в шкаф) опциональны.

[Stranger03]

данных. В данном виде система имеет следующие недостатки:
1. Если диск системы накроется, то придется заново поднимать систему, она надолго уйдет в offline.

Ну отлично. А почему вы тогда отказались от Адаптека в моей конфигурации? С ним минимум головной боли. Настроили зеркало и забыли. Поставили третий винт, сделали его хот-спаре. И вообще забыли. Настроили по крому отчеты на состояние дисков. Диск сломался, выдернул, поставил новый. Не переставлять, не сливать данные не надо. Странная у вас логика.