Использоваине локальних дисков серверов для общего хранилища

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Использоваине локальних дисков серверов для общего хранилища

Сообщение Sauron_zombie » 08 ноя 2016, 01:09

Небольшая провинциальная бюджетная организация с количеством сотрудников чуть более 30 чел.

Есть 3 сервера, купленные в разное время и несколько (достаточно) разные по конфигурации. Всё самосборное самоварное. Покупалось частями: по одному процу, тройке линеек памяти, паре дисков, потом докупалось потихоньку. Все чётные железки, тем не менее, одних моделей.

Набиты разным количеством дисков: 1 сервер имеет 2+6 SAS дисков (по 450 и 600 Гб); 2 сервер имеет 16 корзин, но установлено только 9 SAS дисков (по 600 Гб); 3 сервер имеет 8 SATA дисков (по 2 Тб). Используются аппаратные RAID'ы уровней 1 и 10.

Вот полная конфигурация этих серверов.

Код: Выделить всё

1 сервер:
SuperMicro SC825TQ-R720LPB 720W HS  2U 	
SuperMicro X8DT3-F (LGA1366, i5520, 1xPCI-E, SVGA, DVD, SASRAID, 8x HS SAS/SATA, 2xGbLAN, 12DDRIII)
2x CPU Intel Xeon E5645 2.40 ГГц/6core/12Мб/5.86 ГТ/с LGA1366 
12x Kingston ValueRAM <KVR1333D3D4R9S/4G> DDR-III DIMM 4Gb <PC3-10600> ECC Registered with Parity CL9
2x HDD 450 Gb SAS 2.0 Seagate Cheetah 15K.7 <ST3450857SS> 15000rpm 16Mb	
8x HDD 600 Gb SAS 2.0 Seagate Cheetah 15K.7 < ST3600057SS> 15000rpm 16Mb
Adaptec RAID 6805 ASR-6805 KIT PCI-E x8, 8-port SAS/SATA, RAID 0/1/1E/10/5/5EE/6/50/60/JBOD, Cache 512Mb

Код: Выделить всё

2 сервер:
Server Case SuperMicro < CSE-836E16-R1200B> Black 16xHotSwap SAS / SATA, E-ATX 1200W HS 3U RM
SuperMicro X8DTI-F (RTL)Dual LGA1366< i5520> PCI-E+SVGA+2GbLAN SATA RAID E-ATX 12DDR-III
2x CPU Intel Xeon E5606 2.13 ГГц / 4core / 8Мб / 80 Вт / 4.8 ГТ / с LGA1366
3x Kingston ValueRAM < KVR1333D3D4R9S / 8G> DDR-III DIMM 8Gb < PC3-10600> ECC Registered with Parity CL9
LSI SAS 9211-8i < LSI00194> (RTL) PCI-Ex8, 8-port SAS / SATA 6Gb / s RAID 0 / 1 / 10
9x HDD Hitachi SAS 2.0 600Gb HUS156060VLS600 > 15000rpm 64Mb
2x SSD Kingmax Original SATA-III 120Gb > 2.5" MLC
Intel < EXPI9402PT> PRO / 1000 PT Dual Port (OEM) PCI-E x4 10 / 100 / 1000Mbps

Код: Выделить всё

3 сервер:
Server Case SuperMicro < CSE-825TQ-R720LPB > Black 8xHotSwap SAS / SATA, E-ATX 720W HS 2U RM
SuperMicro X9DRE-LN4F (RTL) Dual LGA2011 < C602 > 2xPCI-E SVGA 4xGbLAN SATA RAID E-ATX 16DDR-III
2x CPU Intel Xeon E5-2620 V2 2.1 GHz / 6core / 1.5+15Mb / 80W / 7.2 GT / s LGA2011	
4x Kingston ValueRAM < KVR16R11S4 / 8 > DDR-III DIMM 8Gb < PC3-12800 > ECC Registered with Parity CL11
Adaptec RAID 6805E ASR-6805E KIT PCI-E x4, 8-port SAS / SATA 6Gb / s RAID 0 / 1 / 1E / 10, Cache 128Mb
8x HDD 2Tb SATA 6Gb / s Seagate Constellation ES.3 < ST2000NM0033 > 3.5" 7200rpm 128Mb
2x SSD 240 Gb SATA 6Gb / s Kingston SSDNow KC300 < SKC300S3B7A / 240G > 2.5" MLC

Сейчас на каждом из них стоит Server 2008 R2 с VMware Workstation, на которой работают разные виртуальные сервера: Active Directory (DC1 и DC2), DNS, DHCP, WDS, KMS, WSUS, File Server, Intranet IIS, Dr. Web ES, Garant, Consultant и ещё кое-какие сервисы. Некоторые серверы разнесены по разным хостам (те же контроллеры домена). Многие единичные.

На виртуализацию перешёл давно, как только начал работать в данной организации. До этого был свитч D-Link на 50 портов, лежащий на столе, и два сервака в обычных Tower-корпусах – один на Pentium 3, второй помощнее на на Pentium 4.
На данный момент худо-бедно смог организовать какую-никакую серверную со стойкой 19'', стоечными серверами и ИБП, коммутаторами Cisco. Однако ж, серьёзными вещами, кроме виндовых серверов, не занимался – ESXi и Hyper-V, Linux’ов и BSD не знаю.

В своё время удалось урвать где-то 25 т.р. на покупку VMware vSphere Essentials, поставил на USB-flash, покрутил немного, но так года 3 и не доходят руки заняться.
Прихожу к большому желанию использовать ESXi с общим хранилищем, чтобы можно было делать vMotion (про лицензию пока не говорим) – хоть и небольшая организация, но приходится сильно напрягаться, чтобы перезапустить или выключить аппаратный сервер (хост), т.к. пользователи работают с утра до ночи. Особых нагрузок, вроде бы, они не делают – все работают в вордах и экселях, но экселевские таблицы бывают и 50 Мбайт даже в формате xlsb.

Всё это пишу, т.к. мне одному (без эникеев и прочей помощи) приходится делать абсолютно всю работу не только по администрированию указанного выше хозяйства – это считается факультативом и делается вечерами, но и заниматься оф. сайтом, госзакупками, ответами на письма, созданием презентаций и прочих бэйджев, помогать всем и вся, быть на посылках, а также материально ответственным. Поэтому, стараюсь всё максимально автоматизировать, чтобы успевать быстро всё делать.

Вопросы.
1. Можно ли на локальных дисках сделать общее хранилище или надо одного из этих серваков сделать отельным стораджем?
2. Существует ли что-то типа RAID’а по сети, когда диски зеркалируются на разных хостах?
3. Слышал и читал про iSCSI для хранилища – бесплатный вариант самосборного стораджа – может кто посоветовать работающие решения?

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Tert » 09 ноя 2016, 00:18

Sauron_zombie
Для ваших задач лучше сделать выделенный сторадж на основе сервера 2.
Поставьте на него бесплатный FreeNAS или OpenNAS и раздавайте ресурсы по NFS или iSCSI.

Всякие варианты вроде VSAN или Direct Storage Spaces потребуют больших вложений.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 09 ноя 2016, 17:10

А что тогда с другими серверами?
В смысле того - что с их локальными дисками?
Оставить их локальным хранилищем для отдельных машин?
Я так понимаю, что ESXi может работать с USB-flash-drive и сервак (хост) может вообще не иметь дисков, а подключаться к хранилищу?

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Tert » 09 ноя 2016, 17:55

Sauron_zombie
Часть дисков можно переставить в сервер 2.
Если вы хотите перемещать виртуальные машины между серверами, то локального хранилища при этом не должно быть.

ESXi можно и на флешку поставить.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 09 ноя 2016, 21:05

Tert писал(а):Часть дисков можно переставить в сервер 2.
Да, можно. Тем более, что они все SAS, хоть и не одного производителя.
Если вы хотите перемещать виртуальные машины между серверами, то локального хранилища при этом не должно быть.
Хм, даже не знал, что так можно. Везде написано, что обязательно общее хранилище. Мне FT не нужен, но перенести работающий сервер очень бы хотелось.
Особенно напрягают частые требования антивиря перезагрузиться или WSUS'a.
ESXi можно и на флешку поставить.
Так и сделано у меня.

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Tert » 10 ноя 2016, 14:14

Sauron_zombie
Хм, даже не знал, что так можно. Везде написано, что обязательно общее хранилище.
Так я про это и написал.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 10 ноя 2016, 16:36

Tert писал(а):Sauron_zombie
Хм, даже не знал, что так можно. Везде написано, что обязательно общее хранилище.
Так я про это и написал.
Ой, неправильно прочитал.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение gs » 10 ноя 2016, 16:48

Можно прикупить Veeam Bacup&Replication и использовать репликацию. Для 30 рыл, на мой взгляд, большего и не требуется.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 10 ноя 2016, 18:57

gs писал(а):Можно прикупить Veeam Bacup&Replication и использовать репликацию. Для 30 рыл, на мой взгляд, большего и не требуется.
Слышал и про эту систему. Причём, от реальных знакомых своих. Вроде хорошо.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение gs » 11 ноя 2016, 10:52

Ну и в винде 2012-2016 есть своя штатная репликация - тоже вполне себе работает.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 12 ноя 2016, 00:16

Вот не знаю: можно ли из сервера 1 добавить в сервер 2 дисков
HDD 600 Gb SAS 2.0 Seagate Cheetah 15K.7 < ST3600057SS> 15000rpm 16Mb
или это плохая идея и диски разных производителей не будут работать друг с другом в массиве?
Если покупать
HDD Hitachi SAS 2.0 600Gb HUS156060VLS600 > 15000rpm 64Mb ,
то это будет стоить 7 х 18000 = 126 000 р.
Таких денег никто теперь не даст, скорее всего.
Хотя, и памяти надо докупить, а то
3x Kingston ValueRAM < KVR1333D3D4R9S / 8G> DDR-III DIMM 8Gb
это мало совсем, думается мне.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 12 ноя 2016, 00:18

gs писал(а):Можно прикупить Veeam Bacup&Replication и использовать репликацию. Для 30 рыл, на мой взгляд, большего и не требуется.
Вот ещё что.
У сервера 3 диски SATA большие, но бестолковые:
8x HDD 2Tb SATA 6Gb / s Seagate Constellation ES.3 < ST2000NM0033 > 3.5" 7200rpm 128Mb
Можно ли добиться от них скорости в RAID10 на 8 дисках - надо смотреть по тестам и нагрузке.
Тут тоже вопрос - чем измерять, а то мне раньше указали, что не на скорость надо глядеть, что мне Everest/AIDA показывал, а на IOPS.
Да и надо для чего-то приспособить
2x SSD 240 Gb SATA 6Gb / s Kingston SSDNow KC300 < SKC300S3B7A / 240G > 2.5" MLC
Может, для кэша какого?

Это я пишу в смысле того, что сервер 3 можно для бэкапов использовать.
Пусть там ESXi работает, как и на всех серваках, а локальные контроллеры с дисками отдать виртуальной машине, которая будет за бэкапами следить.

Можно так сделать?

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Tert » 14 ноя 2016, 16:35

Sauron_zombie
Вот не знаю: можно ли из сервера 1 добавить в сервер 2 дисков
HDD 600 Gb SAS 2.0 Seagate Cheetah 15K.7 < ST3600057SS> 15000rpm 16Mb
или это плохая идея и диски разных производителей не будут работать друг с другом в массиве?
Они вместе будут прекрасно работать.
Может, для кэша какого?
Если ставить FreeNAS и т.п., где диски объединяются в массивы средствами ZFS, то под кеш на чтение их вполне можно ставить.

Sauron_zombie
member
Сообщения: 25
Зарегистрирован: 12 авг 2012, 01:03
Откуда: Липецк

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Sauron_zombie » 15 ноя 2016, 00:16

Tert писал(а):Sauron_zombie
Если ставить FreeNAS и т.п., где диски объединяются в массивы средствами ZFS, то под кеш на чтение их вполне можно ставить.
А вот массив ZFS - он чисто софтовый получается? Т.е. если есть аппаратный RAID-контроллер, на котором сейчас железный массив, то нужно этот массив удалить и предоставить FreeNAS (или Nexenta) только физические диски?
Случись что, как можно восстанавливать информацию? Поймёт ли Nexenta массив от FreeNAS и наоборот? Есть какие LiveCD для просмотра файловой системы и спасения инфы?
Вопросы, может быть, ламерские, но надеюсь на Ваше понимание :)

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Использоваине локальних дисков серверов для общего храни

Сообщение Tert » 15 ноя 2016, 16:34

Sauron_zombie
Можно оставить и аппаратный RAID контроллер, но более правильно объединять диски в массивы средствами ZFS.

Для информацию по восстановлению ZFS рекомендую волшебный сайт Google.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 25 гостей