Конфигурация файлового сервера (объединение 3х городов)

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Конфигурация файлового сервера (объединение 3х городов)

Сообщение RedScorp » 23 окт 2014, 09:02

Доброго времени суток.

Ребята подскажите конфигурацию для файлового сервера. Точнее необходимо три одинаковых и территориально они будут находиться в разных городах (по поводу скорости - с провайдерами вопрос решается). Планируем использовать GlusterFS, ибо в идеале данные на всех серверах должны быть одинаковые. Чтобы пользователь получивший авторизацию на нужном сервере (веб/фтп) имел доступ к своим (разрешенным группе) данным (не гоняя траф через города, а сразу с сервера в своем городе). Размер файлов от килобайтов до гигабайта (одним файлом). Желательна поддержка виртуализации, т.к. кроме "боевых систем", необходимы будут и "тестовые площадки". Хотелось бы так же узнать Ваше мнение по поводу выбора ОС.

Имеется текущая система (аля "standalone"), но она не рассчитана на работу при потенциальной работе до 1500 пользователей (не говоря уже про поддержку 3х городов), и объем данных уже превышает 500 Гб.

Заранее большое спасибо.
Последний раз редактировалось RedScorp 23 окт 2014, 09:10, всего редактировалось 1 раз.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 09:09

RedScorp писал(а):Планируем использовать GlusterFS, ибо в идеале данные на всех серверах должны быть одинаковые.
500ГБ не много данных. Далее все будет зависеть от размера канала между серверами. Кроме файловой помойки на серверах больше ничего нет?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение RedScorp » 23 окт 2014, 09:15

500 Гб это только в одном из филиалов в одном городе, а предприятие имеет кучку филиалов в каждом городе. Для начала будет сбор данных и их каталогизация по городам, потом уже объединение и синхронизация. Кроме файловой помойки, да вроде ничего, ну только база с пользователями да апач. Еще руководство просит предусмотреть версионность файлов (но это уже заморочки из раздела - выбор ПО). Сейчас главное определиться с конфигурацией, про бюджет пока не говорят =( Но думаю раз уж решились объединить, то купят и сделают (точнее сделаем).

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 09:23

RedScorp писал(а):Сейчас главное определиться с конфигурацией, про бюджет пока не говорят =( Но думаю раз уж решились объединить, то купят и сделают (точнее сделаем).
Чтобы выбрать конфигурацию серверов, надо понимать нагрузку на них. И как минимум требуемый размер с учетом роста. Ибо на кластерФС при репликации томов эти самые тома увеличивать нельзя. А так по сути берем кузов:
http://www.supermicro.nl/products/chassis/3U/?chs=836
В него матплату, память, процы, контроллер с батарейкой, ну а далее решаем. Либо ставим диски SAS 15K, но меньшего объема, либо NL SAS, но большого объема. А можно помиксовать и сделать гибридный лун. Ну и до кучи поставить винт под МаксКеш. Ну и понять, сколько надо будет сети, обойдемся ли мы 2-4 1Гбит, или надо ставить 10Г.
Слишком много неизвестных, чтобы что-то советовать, :)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение RedScorp » 23 окт 2014, 09:50

Вот все что есть:
• Нагрузка до 1500 пользователей.
• Объем примерно начиная от 12Тб. Хотелось бы только SAS 15K, у меня к ним доверия больше (уж простите), много систем на них стоит без нареканий.
• Рост объема - тенденция не очень большая, в основном данные скидывает центральный офис, остальные лишь "читают", но...
• Кхмм, про МаксКеш не подумал. Надо!
• На счет сети - увы, не могу сказать с уверенностью, но пока велено рассмотреть вариант с 2 1Г.

Как вариант: один из серверов будет просто хранилищем где только читают данные аля "резервная копия" (правда, вопрос пока решается). Хотя не думаю что это кардинально изменит конфигурацию =)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 10:08

RedScorp писал(а):• Объем примерно начиная от 12Тб.
Как вы думаете, сколько времени займет первичная синхронизация томов между серверами по каналу 1Гбит с учетом задержек сети? :). Я уж не говорю про синхронную репликацию по таким каналам, :).
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение RedScorp » 23 окт 2014, 10:11

Ага, я тоже об этом подумал. Руководство уже пересматривает свою позицию: начиная от давайте 10Г, вплоть до - а не привезти ли все сервера в один город и... (блин!).

Пардон: В реальности сейчас порядка 6 Тб.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 10:27

RedScorp писал(а):Ага, я тоже об этом подумал. Руководство уже пересматривает свою позицию: начиная от давайте 10Г, вплоть до - а не привезти ли все сервера в один город и... (блин!).

Пардон: В реальности сейчас порядка 6 Тб.
Ну это не важно, только на первичную репликацию 12ТБ при 100% загрузки 1Гбит канала потребовалось бы порядка 50-60 часов. Это при том, что пользователи бы курили бамбук все это время. Ну а если учесть потери в канале, ну так оптимистично я бы закладывал дня 3-4, :). Ну на 6ТБ ну пару дней, :).

Что касается объема, из 15К самые большие 600ГБ, берем кузов на 16 дисков, поскольку нагрузка не ясна, делаем Р10, получаем сырой объем 8х600=4.8ТБ, :). Ну в принципе можно взять

http://www.supermicro.nl/products/chass ... 1400LP.cfm

К нему в принципе можно еще цепануть вот это

http://www.supermicro.nl/products/chass ... 02JBOD.cfm

Но это будет такой конструктор, если он навернется, :)

Впрочем, с 847-го кузова можно получить 18*600=10.8ТБ сырого объема. Такой вариант сейчас Женя вам в почту пришлет для ориентира.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение gs » 23 окт 2014, 10:53

В таком вопросе железо - это вопрос второй, если не третий.
Самое главное - это софт, который будет реплицировать и управлять блокировками. Я бы именно с этого вопроса и начал.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 10:56

gs писал(а):В таком вопросе железо - это вопрос второй, если не третий.
Самое главное - это софт, который будет реплицировать и управлять блокировками. Я бы именно с этого вопроса и начал.
ГлустерФС, есть для некоторых линуксов, макОси, Фрибсд. В принципе даже и работает. Но как работает в жизни, я не знаю. На практике из наших клиентов никто не делал.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
RedScorp
Advanced member
Сообщения: 158
Зарегистрирован: 24 июл 2003, 11:01
Откуда: Западный Казахстан, г.Уральск
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение RedScorp » 23 окт 2014, 11:34

Большое спасибо за информацию (Ваши данные, файл и свои мысли я передал "выше").

Урезка бюджета (знать бы его еще) наверняка тоже будет, поэтому если можно :oops: ... я заранее - по поводу дисков NL-SAS, имеется ли у вас практика внедрения таких дисков на RAID 10 именно под файлопомойки? я имею в виду именно их надежность/отказоустойчивость, если не брать во внимание мой случай.

По операционке - планировали FreeBSD, но скорее все будет CentOS (выбор пока не определен, хотелось бы верить что связка CentOS + GlusterFS более надежная из-за RedHat :wink: ). Честно говоря такой проект у нас тоже впервые (в основном требования были горааааааздо проще), поэтому я и обратился к Вам. Если исходить из опыта - я видел (руками трогать не давали) как в реальности работает подобная связка, но там все ограничено локальной оптикой и не было такого объема.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение gs » 23 окт 2014, 11:47

Через нас всякие диски проходят тысячами и десятками тысяч и средний процент брака приблизительно одинаков, независимо от количества оборотов.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение Stranger03 » 23 окт 2014, 12:13

RedScorp писал(а):Урезка бюджета (знать бы его еще) наверняка тоже будет, поэтому если можно :oops: ... я заранее - по поводу дисков NL-SAS, имеется ли у вас практика внедрения таких дисков на RAID 10 именно под файлопомойки? я имею в виду именно их надежность/отказоустойчивость, если не брать во внимание мой случай.
Если я вам скажу цифру брендовой СХД под эти задачи, думаю бюджет на три сервера супермикры вам покажется нескромно маленьким, :). А так на трех Нетапах все это выглядело бы более чем солидно, :).
П.С. можно делать микс, штучек 6-8 SAS, остальные САТА. И гибридный том. Адаптеки это умеют. Про ЗИП не забывать.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение gs » 23 окт 2014, 12:23

Если рассматривать супермикру, то на мой взгляд саташники + SSD кэш будет самое оно. Горячих данных-то наверняка немного.

sivanov
Advanced member
Сообщения: 127
Зарегистрирован: 25 апр 2008, 11:20
Откуда: Свердлоская обл.

Re: Конфигурация файлового сервера (объединение 3х городов)

Сообщение sivanov » 23 окт 2014, 12:29

А как насчет BranchCache в Windows 2012 ? Вроде специально для этой ситуации решение.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 21 гость