отказоустойчивое подключение лезвий к общей сети

[Псарюк]

здраствуйте.
имеется BladeCenterH
c серверами HS22,
в них сетевые карточки Broadcom NetXtreme II™ Network Adapter,
каждый порт карточки подключен к одному из 2х свитчей BNT Layer 2/3 Copper Gigabit Ethernet Switch Module for IBM BladeCenter.
в каждом свитче 6 внешних портов.
задача: настроить отказоустойчивое подключение серверов к общей сети организации, попутно преодолев ограничение скорости в 1Гбит/с.

из документации выяснилось следующее:
карточки поддерживают NIC Teaming

BASP provides support for TOE teaming only for NetXtreme II adapters.BASP supports four types of teams for Layer 2 teaming:

* Smart Load Balancing and Failover
* Link Aggregation (802.3ad)
* Generic Trunking (FEC/GEC)/802.3ad-Draft Static
* SLB (Auto-Fallback Disable)

свитчи поддерживают IEEE 802.3ad Link Aggregation Control Protocol

получается 2 пути решения:
1. Smart Load Balancing and Failover средствами драйверов на сетевые карточки. Такое решение не зависит от свитчей (обидно не использовать богатый функционал свитчей (за который заплачено много денег)), и балансирует трафик только в пределах одной подсети (нежелательное ограничение).
2. LACP - не понятно как связать в пары порты из 2х свитчей в транки.

в общем, хотелось бы узнать, как правильно реализовать топик, возможно я упустил какие-нибудь возможности...

p.s. на серверах будут ноды mscs с ws08r2. получится, что на ноде будет только одно подключение по локальной сети, слышал мнение, что без выделенного heartbit'а, MS отказывает в техподдержке. будут ли с этим проблемы?

[Oleg2]

здраствуйте.
имеется BladeCenterH
c серверами HS22,
в них сетевые карточки Broadcom NetXtreme II™ Network Adapter,
каждый порт карточки подключен к одному из 2х свитчей BNT Layer 2/3 Copper Gigabit Ethernet Switch Module for IBM BladeCenter.
в каждом свитче 6 внешних портов.
задача: настроить отказоустойчивое подключение серверов к общей сети организации, попутно преодолев ограничение скорости в 1Гбит/с.

из документации выяснилось следующее:
карточки поддерживают NIC Teaming

BASP provides support for TOE teaming only for NetXtreme II adapters.BASP supports four types of teams for Layer 2 teaming:

* Smart Load Balancing and Failover
* Link Aggregation (802.3ad)
* Generic Trunking (FEC/GEC)/802.3ad-Draft Static
* SLB (Auto-Fallback Disable)

свитчи поддерживают IEEE 802.3ad Link Aggregation Control Protocol

получается 2 пути решения:
1. Smart Load Balancing and Failover средствами драйверов на сетевые карточки. Такое решение не зависит от свитчей (обидно не использовать богатый функционал свитчей (за который заплачено много денег)), и балансирует трафик только в пределах одной подсети (нежелательное ограничение).
2. LACP - не понятно как связать в пары порты из 2х свитчей в транки.

в общем, хотелось бы узнать, как правильно реализовать топик, возможно я упустил какие-нибудь возможности...

p.s. на серверах будут ноды mscs с ws08r2. получится, что на ноде будет только одно подключение по локальной сети, слышал мнение, что без выделенного heartbit'а, MS отказывает в техподдержке. будут ли с этим проблемы?

Насколько я понимаю, всё достаточно толково расписано в Dell`овском документе.
п.4.1 Teaming across switches

[Псарюк]

с радостью бы посмотрел, но проведя пол-дня на dell.com документа с такой статьёй не обнаружил.
будьте добры, сообщите ссылку или скиньте в личку\почту.

[and3008]

Какие коммутаторы есть в общей сети? Модели назовите, многое станет ясно чего вам будет можно, а чего нельзя.

Коммутаторы в блейде действительно много чего умеют. Однако если аналогичного не умеют коммутаторы общей сети, то задача будет не такой простой, как кажется.

[Псарюк]

общая сеть построена на одном AT-9924T Switch и нескольких AT-8000S/48 собранных в стеки.
9924 поддерживает IEEE 802.3ad.
планирую от каждого блэйд-свитча 2-3 линка, собранных в транк LACP, подключить к 9924.

с подключением блэйда к сети как раз особых проблем не вижу.
вопросы такие:
1. можно ли собрать два порта с двух разных свитчей в один LACP-транк?
может надо как-то свитчи объединить для этого?
если нельзя, то придется собирать Smart Load Balancing and Failover. не хотелось бы, потомучто 80% трафика будет из других подсетей, то есть L2 трафик с мака маршрутизатора. и этот трафик не будет балансироваться.

2. в любом случае ОС увидит только 1 подключение. оно будет использоваться для HB и для private network. microsoft осуществляет техподдержку таких решений?

[Oleg2]

с радостью бы посмотрел, но проведя пол-дня на dell.com документа с такой статьёй не обнаружил.
будьте добры, сообщите ссылку или скиньте в личку\почту.

Я имел в виду тот документ, ссылку на который приводили Вы.

http://support.dell.com/support/edocs/n ... _final.doc

[Псарюк]

о! как же я не заметил...

сейчас перечитаю, и наверняка появятся еще вопросы..

[and3008]

1. Объядинять по LACP линки с двух коммутаторов можно было толко на коммутаторах от Nortel с их технологией SMLT. Нету уже больше Nortel... Кончился...

2. Дались вам эти рекомендации... Заведите на свиче VLAN-ы, сделайте VLAN-ы на сетевой карте. Операционная система увидит нужное число сетевых плат (виртуальных, естественно). А уж как они физически подключены - дело второе. Для простоты и надежности сделайте объединение через два свича в режиме Active-Standby. Поверьте, это надежней и быстрее работает, чем всякие другие интелектуальные режимы.

Я бы сделал так:
На блейдовых свичах создал VLAN-ы для нужного назначения. Между блейдовыми свичами и AT-9924T сделал подключение по LACP. Поверх него подключение на Layer-3.
Ну и динамическую маршрутизацию поднять.

В итоге: Блейд-центр подключен избыточными и широкополосными линками. Можно делать свои подсети и выстраивать политику фильтрации трафика. Будет обеспечена отказоустойчивость и функции интелектуального переключения в случае проблем с сетью.

[Псарюк]

вот пара ссылок по теме, может кому-то будут полезны:
http://blogs.technet.com/apb/archive/20 ... -bacs.aspx
http://blogs.technet.com/vm/archive/200 ... g-pt3.aspx

+

http://blog.trinitygroup.ru/2009/07/win ... per-v.html

[Псарюк]

заставить работать сеть Hyper-V машины через виртуальный свитч и ник-тиминг не получилось.
тим подменяет макадрес исходящих пакетов на свой. соответственно в ARP таблицах на свитчах и компьютерах создается неправильная запись указывающая на мак хостовой системы.

после недели мучений принял решение разобрать тимы

to and3008:
спасибо за совет с динамической маршрутизацией и VALN.
но реализовать пока не готов.

[and3008]

Я понимаю ваши проблемы. Сам столкнулся с таким, когда внедряли кластер с NLB. Только изоляция трафика в отдельной подсети и применение на коммутаторах VRRP (как шлюза по умолчанию для хостов) поможет вам решить проблему. Ну и динамический роутинг - куда ж без него. Это классика.

Настройка требует тщательного планирования, аккуратного внедрения и обязательного тестирования. Тесты могут показать, что не все в шоколаде. Надо проанализировать что не нравится и как решить и, собственно, решать. Обратитесь к хорошему сетевику по близости. Схема сети и личный контакт помогут быстрее решить проблему.

[xcv]

Здравствуйте, я в настройке серверов новичек, но вот с толкнулся с описанной выше ситуацией, или почти такой...
есть сервер dell r610, в нем 4 бродкомовские сетевые карты которые поддерживают тимы следующих типов:
* Smart Load Balancing and Failover
* Link Aggregation (802.3ad)
* Generic Trunking (FEC/GEC)/802.3ad-Draft Static
* SLB (Auto-Fallback Disable)
также есть 2 стекованных между собой свича hp procurve 2510-48g и hp procurve 2810g-48, хотелось бы подключить сервак к свичам так чтобы две сетки были в одном свиче, 2 во втором и связь сервака со свичами получилась по два гига на каждый свич при этом у сервера должен быть только 1 ip, можно ли это сделать? если да то какой тип тимы мне нужен? и надо ли чтолибо настраивать в свичах? если да то что?
да, ещё на серваке есть виртуальная машина на хиперв (насколько я понял эт тоже играет немаловажную роль)
заранее премного благодарен.

[and3008]

Два линка на каждый свитч и чтобы было 2 гига - это Link Aggregation (802.3ad). Больше ничем.

Но один IP не получится. Надо будет заводить два IP. По одному на каждую виртуальную сетевуху, которые получаться после объединения каждой пары физических сетевух.

Подумайте, надо ли вам все так сложно? Неужели вы реально сможите нагрузить хотя бы один интерфейс трафиком более 1 Гб/с? Очень часто все упирается в диски, а не в сетевую подсистему.

[Псарюк]

у меня в стеке 6 свитчей Allied Telesyn AT8000 и в транк Link Aggregation (802.3ad) можно собрать порты из разных свитчей.
если на ваших HP можно собирать в транк порты из разных свитчей, то можно собрать его, и все 4 карточки сервера собрать в один Link Aggregation (802.3ad) транк.
получится отказоустойчивое 4Гбит/с подключение к сети, которое продолжит работать при выходе из строя любого свитча\порта\линка.

с Link Aggregation (802.3ad) и MS Hyper-V проблем быть не должно, (в отличае от тима типа Smart Load Balancing and Failover, который подменит MACи отправителя у пакетов отправленных с Hyper-V сети). хотя сам я не пробовал, могу ошибаться.

[xcv]

если на ваших HP можно собирать в транк порты из разных свитчей.

второй день пытаюсь разобраться можно ли это, дело в том что на этих свичах объединить в транк даже в пределах одного свича можно только через telnet (в вебинтерфейсе такая опция отсутствует) на оф сайте по этому поводу ничего не нашел....