Конфигурация файлового сервера (объединение 3х городов)
Модераторы: Trinity admin`s, Free-lance moderator`s
- RedScorp
- Advanced member
- Сообщения: 158
- Зарегистрирован: 24 июл 2003, 11:01
- Откуда: Западный Казахстан, г.Уральск
- Контактная информация:
Конфигурация файлового сервера (объединение 3х городов)
Доброго времени суток.
Ребята подскажите конфигурацию для файлового сервера. Точнее необходимо три одинаковых и территориально они будут находиться в разных городах (по поводу скорости - с провайдерами вопрос решается). Планируем использовать GlusterFS, ибо в идеале данные на всех серверах должны быть одинаковые. Чтобы пользователь получивший авторизацию на нужном сервере (веб/фтп) имел доступ к своим (разрешенным группе) данным (не гоняя траф через города, а сразу с сервера в своем городе). Размер файлов от килобайтов до гигабайта (одним файлом). Желательна поддержка виртуализации, т.к. кроме "боевых систем", необходимы будут и "тестовые площадки". Хотелось бы так же узнать Ваше мнение по поводу выбора ОС.
Имеется текущая система (аля "standalone"), но она не рассчитана на работу при потенциальной работе до 1500 пользователей (не говоря уже про поддержку 3х городов), и объем данных уже превышает 500 Гб.
Заранее большое спасибо.
Ребята подскажите конфигурацию для файлового сервера. Точнее необходимо три одинаковых и территориально они будут находиться в разных городах (по поводу скорости - с провайдерами вопрос решается). Планируем использовать GlusterFS, ибо в идеале данные на всех серверах должны быть одинаковые. Чтобы пользователь получивший авторизацию на нужном сервере (веб/фтп) имел доступ к своим (разрешенным группе) данным (не гоняя траф через города, а сразу с сервера в своем городе). Размер файлов от килобайтов до гигабайта (одним файлом). Желательна поддержка виртуализации, т.к. кроме "боевых систем", необходимы будут и "тестовые площадки". Хотелось бы так же узнать Ваше мнение по поводу выбора ОС.
Имеется текущая система (аля "standalone"), но она не рассчитана на работу при потенциальной работе до 1500 пользователей (не говоря уже про поддержку 3х городов), и объем данных уже превышает 500 Гб.
Заранее большое спасибо.
Последний раз редактировалось RedScorp 23 окт 2014, 09:10, всего редактировалось 1 раз.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
500ГБ не много данных. Далее все будет зависеть от размера канала между серверами. Кроме файловой помойки на серверах больше ничего нет?RedScorp писал(а):Планируем использовать GlusterFS, ибо в идеале данные на всех серверах должны быть одинаковые.
- RedScorp
- Advanced member
- Сообщения: 158
- Зарегистрирован: 24 июл 2003, 11:01
- Откуда: Западный Казахстан, г.Уральск
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
500 Гб это только в одном из филиалов в одном городе, а предприятие имеет кучку филиалов в каждом городе. Для начала будет сбор данных и их каталогизация по городам, потом уже объединение и синхронизация. Кроме файловой помойки, да вроде ничего, ну только база с пользователями да апач. Еще руководство просит предусмотреть версионность файлов (но это уже заморочки из раздела - выбор ПО). Сейчас главное определиться с конфигурацией, про бюджет пока не говорят =( Но думаю раз уж решились объединить, то купят и сделают (точнее сделаем).
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Чтобы выбрать конфигурацию серверов, надо понимать нагрузку на них. И как минимум требуемый размер с учетом роста. Ибо на кластерФС при репликации томов эти самые тома увеличивать нельзя. А так по сути берем кузов:RedScorp писал(а):Сейчас главное определиться с конфигурацией, про бюджет пока не говорят =( Но думаю раз уж решились объединить, то купят и сделают (точнее сделаем).
http://www.supermicro.nl/products/chassis/3U/?chs=836
В него матплату, память, процы, контроллер с батарейкой, ну а далее решаем. Либо ставим диски SAS 15K, но меньшего объема, либо NL SAS, но большого объема. А можно помиксовать и сделать гибридный лун. Ну и до кучи поставить винт под МаксКеш. Ну и понять, сколько надо будет сети, обойдемся ли мы 2-4 1Гбит, или надо ставить 10Г.
Слишком много неизвестных, чтобы что-то советовать,
- RedScorp
- Advanced member
- Сообщения: 158
- Зарегистрирован: 24 июл 2003, 11:01
- Откуда: Западный Казахстан, г.Уральск
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Вот все что есть:
• Нагрузка до 1500 пользователей.
• Объем примерно начиная от 12Тб. Хотелось бы только SAS 15K, у меня к ним доверия больше (уж простите), много систем на них стоит без нареканий.
• Рост объема - тенденция не очень большая, в основном данные скидывает центральный офис, остальные лишь "читают", но...
• Кхмм, про МаксКеш не подумал. Надо!
• На счет сети - увы, не могу сказать с уверенностью, но пока велено рассмотреть вариант с 2 1Г.
Как вариант: один из серверов будет просто хранилищем где только читают данные аля "резервная копия" (правда, вопрос пока решается). Хотя не думаю что это кардинально изменит конфигурацию =)
• Нагрузка до 1500 пользователей.
• Объем примерно начиная от 12Тб. Хотелось бы только SAS 15K, у меня к ним доверия больше (уж простите), много систем на них стоит без нареканий.
• Рост объема - тенденция не очень большая, в основном данные скидывает центральный офис, остальные лишь "читают", но...
• Кхмм, про МаксКеш не подумал. Надо!
• На счет сети - увы, не могу сказать с уверенностью, но пока велено рассмотреть вариант с 2 1Г.
Как вариант: один из серверов будет просто хранилищем где только читают данные аля "резервная копия" (правда, вопрос пока решается). Хотя не думаю что это кардинально изменит конфигурацию =)
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Как вы думаете, сколько времени займет первичная синхронизация томов между серверами по каналу 1Гбит с учетом задержек сети? . Я уж не говорю про синхронную репликацию по таким каналам, .RedScorp писал(а):• Объем примерно начиная от 12Тб.
- RedScorp
- Advanced member
- Сообщения: 158
- Зарегистрирован: 24 июл 2003, 11:01
- Откуда: Западный Казахстан, г.Уральск
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Ага, я тоже об этом подумал. Руководство уже пересматривает свою позицию: начиная от давайте 10Г, вплоть до - а не привезти ли все сервера в один город и... (блин!).
Пардон: В реальности сейчас порядка 6 Тб.
Пардон: В реальности сейчас порядка 6 Тб.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Ну это не важно, только на первичную репликацию 12ТБ при 100% загрузки 1Гбит канала потребовалось бы порядка 50-60 часов. Это при том, что пользователи бы курили бамбук все это время. Ну а если учесть потери в канале, ну так оптимистично я бы закладывал дня 3-4, . Ну на 6ТБ ну пару дней, .RedScorp писал(а):Ага, я тоже об этом подумал. Руководство уже пересматривает свою позицию: начиная от давайте 10Г, вплоть до - а не привезти ли все сервера в один город и... (блин!).
Пардон: В реальности сейчас порядка 6 Тб.
Что касается объема, из 15К самые большие 600ГБ, берем кузов на 16 дисков, поскольку нагрузка не ясна, делаем Р10, получаем сырой объем 8х600=4.8ТБ, . Ну в принципе можно взять
http://www.supermicro.nl/products/chass ... 1400LP.cfm
К нему в принципе можно еще цепануть вот это
http://www.supermicro.nl/products/chass ... 02JBOD.cfm
Но это будет такой конструктор, если он навернется,
Впрочем, с 847-го кузова можно получить 18*600=10.8ТБ сырого объема. Такой вариант сейчас Женя вам в почту пришлет для ориентира.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
В таком вопросе железо - это вопрос второй, если не третий.
Самое главное - это софт, который будет реплицировать и управлять блокировками. Я бы именно с этого вопроса и начал.
Самое главное - это софт, который будет реплицировать и управлять блокировками. Я бы именно с этого вопроса и начал.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
ГлустерФС, есть для некоторых линуксов, макОси, Фрибсд. В принципе даже и работает. Но как работает в жизни, я не знаю. На практике из наших клиентов никто не делал.gs писал(а):В таком вопросе железо - это вопрос второй, если не третий.
Самое главное - это софт, который будет реплицировать и управлять блокировками. Я бы именно с этого вопроса и начал.
- RedScorp
- Advanced member
- Сообщения: 158
- Зарегистрирован: 24 июл 2003, 11:01
- Откуда: Западный Казахстан, г.Уральск
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Большое спасибо за информацию (Ваши данные, файл и свои мысли я передал "выше").
Урезка бюджета (знать бы его еще) наверняка тоже будет, поэтому если можно ... я заранее - по поводу дисков NL-SAS, имеется ли у вас практика внедрения таких дисков на RAID 10 именно под файлопомойки? я имею в виду именно их надежность/отказоустойчивость, если не брать во внимание мой случай.
По операционке - планировали FreeBSD, но скорее все будет CentOS (выбор пока не определен, хотелось бы верить что связка CentOS + GlusterFS более надежная из-за RedHat ). Честно говоря такой проект у нас тоже впервые (в основном требования были горааааааздо проще), поэтому я и обратился к Вам. Если исходить из опыта - я видел (руками трогать не давали) как в реальности работает подобная связка, но там все ограничено локальной оптикой и не было такого объема.
Урезка бюджета (знать бы его еще) наверняка тоже будет, поэтому если можно ... я заранее - по поводу дисков NL-SAS, имеется ли у вас практика внедрения таких дисков на RAID 10 именно под файлопомойки? я имею в виду именно их надежность/отказоустойчивость, если не брать во внимание мой случай.
По операционке - планировали FreeBSD, но скорее все будет CentOS (выбор пока не определен, хотелось бы верить что связка CentOS + GlusterFS более надежная из-за RedHat ). Честно говоря такой проект у нас тоже впервые (в основном требования были горааааааздо проще), поэтому я и обратился к Вам. Если исходить из опыта - я видел (руками трогать не давали) как в реальности работает подобная связка, но там все ограничено локальной оптикой и не было такого объема.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Через нас всякие диски проходят тысячами и десятками тысяч и средний процент брака приблизительно одинаков, независимо от количества оборотов.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Если я вам скажу цифру брендовой СХД под эти задачи, думаю бюджет на три сервера супермикры вам покажется нескромно маленьким, . А так на трех Нетапах все это выглядело бы более чем солидно, .RedScorp писал(а):Урезка бюджета (знать бы его еще) наверняка тоже будет, поэтому если можно ... я заранее - по поводу дисков NL-SAS, имеется ли у вас практика внедрения таких дисков на RAID 10 именно под файлопомойки? я имею в виду именно их надежность/отказоустойчивость, если не брать во внимание мой случай.
П.С. можно делать микс, штучек 6-8 SAS, остальные САТА. И гибридный том. Адаптеки это умеют. Про ЗИП не забывать.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Конфигурация файлового сервера (объединение 3х городов)
Если рассматривать супермикру, то на мой взгляд саташники + SSD кэш будет самое оно. Горячих данных-то наверняка немного.
Re: Конфигурация файлового сервера (объединение 3х городов)
А как насчет BranchCache в Windows 2012 ? Вроде специально для этой ситуации решение.
Кто сейчас на конференции
Сейчас этот форум просматривают: Google [Bot] и 21 гость