Jumbo frame на Intel Pro/1000 MT

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 22 янв 2009, 19:16

Не включаются Jumbo Frames на Intel Pro/1000 MT Dual.

Идет настройка соединения для iSCSI.
Стоит Win2003Ent Sp2 с пакетом Scalable Networking Pack (kb950224) с поддержкой CTCP.
Включен RFC 1323, окно 20 Мб.
Стоит драйвер Intel от декабря 2008 года.
Трафик смотрится на свиче Cisco3750 с включенной поддержкой Jumbo Frames через зеркальный порт.

Вне зависимости от включенного/выключенного в драйвере TCP Offload и Jumbo Frames в сеть уходят пакеты размером не более 590 байтов. Число магическое, пакеты либо меньше, либо 590 байтов.

Где Jumbo Frames?

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение and3008 » 23 янв 2009, 06:06

Давайте-ка по порядку.
CTCP - это фича, предназначенная для работы в сетях либо очень быстрых, либо в сетях "длинных". Суть в том, чтобы хосты работали с очень большим размером окна стека TCP/IP.

Технология Jumbo Frames работает только в гигабитных сетях.
У отправителя и получателя должны быть настроены сетевые платы на эту поддержку Jumbo Frames и сетевым оборудованием обеспечено прохождение больших пакетов по сети.

Смотрим сюда:
http://www.cisco.com/en/US/products/hw/ ... rison.html

Видим, что Catalyst 3750 имеет 24 или 48 портов 10/100 и два порта SFP, где может быть Гигабит.

Допустим вы подключили компы в двум SFP портам. А куда трафик зеркалируете? На 100-мегабитный порт? А разве не очевидно, что вы там Jumbo-фреймов вы там не увидите?

TCP-Offload - это фича, позволяющая сетевой карте заняться персчетом контролных сумм заголовков TCP-пакетов и разгрузить центральный процессор от этой задачи. Коммутатору в общем-то все равно, включена эта фича или нет. Это проблема сетевой платы и компьютера, в которая она стоит, а не проблема коммутатора. На длину пакета эта фича ну никак не влияет.

ИТОГО:
Либо вы неверно сказали что у вас за коммутатор, либо у вас это работать не будет в принципе, поскольку коммутатор у вас 100-мегабитный.
По поводу длины пакета вообще. Вы уверены, что ваше приложение действительно формирует длинные пакеты? Может оно формирует их короткие и ларчик просто открывается? Вы бы попробовали провести тесты программами, которые формируют именно большие пакеты. Кстати, тот же ping, запущенный с доп. параметрами может сгодиться.

77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 26 янв 2009, 08:38

Уточню фразу "свиче Cisco3750 с включенной поддержкой Jumbo Frames" - 3750G-24TS-S, имейдж "Advanced Enterprise". Размер пакета 9000 байтов.

После проведения тестов все стало еще более запутанным.
Jumbo Frames ping'ом ходят нормально (ICMP). Я их вижу в сети. Все работает.

То есть получается, что "виноват" инициатор iSCSI (MS) и/или TCP.

Но сниффер на машине с инициатором показывает, что в драйвер сетевой карты отправляются пакеты с неправильной TCP CRC (которую аппаратно потом рассчитывает TCP Offload) и размером 64 кБ (с которым работает Intel TCP Segmentation). Которые после выхода в сеть почему-то превращаются в TCP-пакеты длиной 590 байтов (вместо 9000 байтов).

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение and3008 » 26 янв 2009, 12:05

Вот теперь все встало на места и приобрело интерес.

Вопросы:
1. Включен ли Jumbo Frame на сетевухе?
2. Какой размер фрейма указан на сетевухе
3. Какой размер фрейма указан на свиче? Кусочек конфига покажите.

Хорошо бы скриншоты настроек сетевухи...

77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 26 янв 2009, 12:16

and3008 писал(а):Вот теперь все встало на места и приобрело интерес.

Вопросы:
1. Включен ли Jumbo Frame на сетевухе?
2. Какой размер фрейма указан на сетевухе
3. Какой размер фрейма указан на свиче? Кусочек конфига покажите.

Хорошо бы скриншоты настроек сетевухи...
На сетевой карте Jumbo Frame включен. Размер фрейма 9014 байт. TCP Offload включен "весь".
Размер фрейма на свиче в соответствии с Cisco White Paper: system mtu jumbo 9000

voffice#sh system mtu

System MTU size is 1500 bytes
System Jumbo MTU size is 9000 bytes

Далее. Проверяю iperf'ом со следующими настройками: размер буфера 9кБ, TCP-окно 1Мб.
Смотрю по-прежнему на зеркальном порте.
Всё чётко: пакеты бьются на 9014 байтов и 366 байтов, т.е. всё работает "как надо", реально ~980 Мbit, загрузка процессора низкая.

Но от iSCSI инициатора по-прежнему по 590 байт… шайтан…

77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 26 янв 2009, 12:40

Ещё уточнение.

Шлю файл C iSCSI target НА Intel - вижу Jumbo Frames ~8,5 Кб, работает отлично!.
Шлю файл С Intel НА iSCSI target - идут пакеты 590 байтов "TCP segment of reassembled PDU".

and3008
Заслуженный сетевик
Сообщения: 1109
Зарегистрирован: 03 янв 2004, 23:30
Откуда: Н.Новгород

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение and3008 » 26 янв 2009, 13:34

А ты пинг запускал с флагом запрета фрагментации?

И какой MTU у сетевого интрефейса в Windows? На обоих серверах!

77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 27 янв 2009, 10:58

А в чем вопрос, я же вижу Jumbo Frame?

Но мозги уже "не варят", запустил, "на всякий случай" :). До 8973 байт пакеты с -f ходят нормально.

С другой стороны (таргета) Linux, там вообще никаких проблем нет и не было.

MTU на интерфейсах явно не установлен.

77Dragon
member
Сообщения: 23
Зарегистрирован: 12 мар 2008, 10:11
Откуда: Moscow

Re: Jumbo frame на Intel Pro/1000 MT

Сообщение 77Dragon » 27 янв 2009, 19:26

Это выше моего понимания.

Ставлю инициатор на свою машину, у меня Marvell Yukon. Включаю Jumbo Frame, подключаюсь к тому
же таргету.
Смотрю сниффер - ВСЁ РАБОТАЕТ. Jumbo "ходят" в обе стороны, всё "как надо".

Какая-то есть совершенно мне непонятная "засада" в связке iSCSI инициатор MS - драйвер Intel PRO/1000 MT.
И касается она только iSCSI пакетов...

Ответить

Вернуться в «Сети - Технические вопросы, решение проблем»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 7 гостей