2 интерфейса в разные сети

[pcrasotin]

Здравствуйте, уважаемые.

Заранее прошу прощения, если попал не ту тему. Просто пока даже не знаю, куда обратиться, и с чего начать.

Есть сервер, приобретенный в Тринити. В нем 2 гигабитный интерфейса.
Если необходима точная спецификация, укажу. Но пока не думаю, что это важно.

Итак, сервер с 2-мя гигабитными интерфейсами. На сервер установлнена Windows 2003 Enterprise 32 bit, настроен Terminal Server.
Интерфейсы настроены след.образом:
- LAN0 смотрит в офисную сеть 10.100.0.0/24 (VLAN 4000). В этой сети находятся терминальные клиенты
- LAN1 смотрит в служебную сеть 10.200.0.0/24 (VLAN 4095). В этой сети находятся серверы с ресурсами(БД, 1С, файлопомойки и тп).
Серверы с ресурсами подключены точно так же: 1 интерфейс - в офисную сеть, 2 - служебную.
Все IP адреса настроены статически.
Оба серверных интерфейса физически воткунты в 1 коммутатор DLink.

Так вот наблюдается следующий неприятный эффект.
Периодически интерфейс, который смотрит в VLAN 4095, перестает принимать/передавать трафик. То есть интерфейс активен, но трафик через него никак не ходит. Проверали пингами.
Естественно, все приложения, которые работают с БД, 1С и тд, отваливаются.

Проявляется это только на теминальном сервере. Лечится передергиванием интерфейса Disable/Enable.
С чем связно, понять не можем. Перепробовали все, что смогли придумать:поменяли местами настроки интерфейсов, сменили порты на коммутаторе, отключии засыпание и энергосохранение на интерфейсах. Не помогает. Виснет только интерфейс с настройками на служебную сеть.

Подскажите, почему такое может происходить?
И как с этим бороться?

Буду признателен за любую помощь.

[Tert]

pcrasotin
Почитайте эту ветку на нашем форуме.
Кроме того, посмотрите еще статьи Microsoft 948496 и 971383.

[pcrasotin]

Спасибо за наводку.
У нас чипсет интерфейсов 82575EB.
Попробуем поставить свежие ителовские драйверы.

[Oleg2]

Здравствуйте, уважаемые.

Заранее прошу прощения, если попал не ту тему. Просто пока даже не знаю, куда обратиться, и с чего начать.

Есть сервер, приобретенный в Тринити. В нем 2 гигабитный интерфейса.
Если необходима точная спецификация, укажу. Но пока не думаю, что это важно.

Итак, сервер с 2-мя гигабитными интерфейсами. На сервер установлнена Windows 2003 Enterprise 32 bit, настроен Terminal Server.
Интерфейсы настроены след.образом:
- LAN0 смотрит в офисную сеть 10.100.0.0/24 (VLAN 4000). В этой сети находятся терминальные клиенты
- LAN1 смотрит в служебную сеть 10.200.0.0/24 (VLAN 4095). В этой сети находятся серверы с ресурсами(БД, 1С, файлопомойки и тп).
Серверы с ресурсами подключены точно так же: 1 интерфейс - в офисную сеть, 2 - служебную.
Все IP адреса настроены статически.
Оба серверных интерфейса физически воткунты в 1 коммутатор DLink.

Так вот наблюдается следующий неприятный эффект.
Периодически интерфейс, который смотрит в VLAN 4095, перестает принимать/передавать трафик. То есть интерфейс активен, но трафик через него никак не ходит. Проверали пингами.
Естественно, все приложения, которые работают с БД, 1С и тд, отваливаются.

Проявляется это только на теминальном сервере. Лечится передергиванием интерфейса Disable/Enable.
С чем связно, понять не можем. Перепробовали все, что смогли придумать:поменяли местами настроки интерфейсов, сменили порты на коммутаторе, отключии засыпание и энергосохранение на интерфейсах. Не помогает. Виснет только интерфейс с настройками на служебную сеть.

Подскажите, почему такое может происходить?
И как с этим бороться?

Буду признателен за любую помощь.

1) Используются ли последние версии драйверов?
2) Какие заплатки установлены на ОС?
3) Настроени ли на портах VLAN tagging или же формированием VLAN занимается коммутатор?

[and3008]

Ну как бы известно, что сетевое оборудование D-Link имеет ограничение на одновременное кол-во VLAN на одно устройство. Что за модель свича вы не сказали, поэтому вышесказанное просто к сведению.

По поводу VLAN 4095. Это плохой VLAN. В некоторых моделях сетевого оборудования он предназначен для сцециальных целей. Не рекомендуется его использовать. Используйте что-то по-меньше. Неужели вы все VLAN-ы израсходывали? НЕ ВЕРЮ!

[pcrasotin]

1) Используются ли последние версии драйверов?
2) Какие заплатки установлены на ОС?
3) Настроени ли на портах VLAN tagging или же формированием VLAN занимается коммутатор?

1) Сегодня поставили интеловские свежие драйверы: версия 10.6.15.0 от 05.03.2009
2) Windows 2003 R2 Enterprise SP2, заплаты стоят свежие. Специально обновлялись.
3) На портах VLAN нет, только на коммутаторе. Приэтом VLAN дальше коммутатора не уходит.

Ну как бы известно, что сетевое оборудование D-Link имеет ограничение на одновременное кол-во VLAN на одно устройство. Что за модель свича вы не сказали, поэтому вышесказанное просто к сведению.

По поводу VLAN 4095. Это плохой VLAN. В некоторых моделях сетевого оборудования он предназначен для сцециальных целей. Не рекомендуется его использовать. Используйте что-то по-меньше. Неужели вы все VLAN-ы израсходывали?

Коммутатор DLink DGS-3450. Сейчас на нем всего 9 VLAN. Прошу прощения, ввел в заблуждение: VLAN 4094, а не 4095. Выбран просто так. Используется локально на этом коммутаторе. В этом же VLAN, как я уже сказал, находятся и другие серверыи и под ОС Linux, и под ОС Windows 2003. Настройки аналогичны терминальному серверу: 2 интерфейса смотрят в разные VLAN'ы.
Смущает несколько моментов:
- виснет именно тот интерфейс, который смотрит в VLAN 4094. Пробовали менять местами настройки IP на интерфесах.
- интерфейс виснет только на терминальном сервере.

[Oleg2]

1) Используются ли последние версии драйверов?
2) Какие заплатки установлены на ОС?
3) Настроени ли на портах VLAN tagging или же формированием VLAN занимается коммутатор?

1) Сегодня поставили интеловские свежие драйверы: версия 10.6.15.0 от 05.03.2009
2) Windows 2003 R2 Enterprise SP2, заплаты стоят свежие. Специально обновлялись.
3) На портах VLAN нет, только на коммутаторе. Приэтом VLAN дальше коммутатора не уходит.

Ну как бы известно, что сетевое оборудование D-Link имеет ограничение на одновременное кол-во VLAN на одно устройство. Что за модель свича вы не сказали, поэтому вышесказанное просто к сведению.

По поводу VLAN 4095. Это плохой VLAN. В некоторых моделях сетевого оборудования он предназначен для сцециальных целей. Не рекомендуется его использовать. Используйте что-то по-меньше. Неужели вы все VLAN-ы израсходывали?

Коммутатор DLink DGS-3450. Сейчас на нем всего 9 VLAN. Прошу прощения, ввел в заблуждение: VLAN 4094, а не 4095. Выбран просто так. Используется локально на этом коммутаторе. В этом же VLAN, как я уже сказал, находятся и другие серверыи и под ОС Linux, и под ОС Windows 2003. Настройки аналогичны терминальному серверу: 2 интерфейса смотрят в разные VLAN'ы.
Смущает несколько моментов:
- виснет именно тот интерфейс, который смотрит в VLAN 4094. Пробовали менять местами настройки IP на интерфесах.
- интерфейс виснет только на терминальном сервере.

Посмотрите вот эту статью: http://support.microsoft.com/?kbid=948496
Это не Ваш случай?

[pcrasotin]

Очень похоже.
Сделали изменения. Перегрузимся, понаблюдаем.

[Oleg2]

Очень похоже.
Сделали изменения. Перегрузимся, понаблюдаем.

Отпишитесь потом здесь по результатам.

[pcrasotin]

Посмотрите вот эту статью: http://support.microsoft.com/?kbid=948496
Это не Ваш случай?

Выполнили рекомендации, указанные в статье: отключили RSS и TCP Offload на интерфейсе.
Проблема не исчезла. Только что интерфес опять повис.

[Oleg2]

Посмотрите вот эту статью: http://support.microsoft.com/?kbid=948496
Это не Ваш случай?

Выполнили рекомендации, указанные в статье: отключили RSS и TCP Offload на интерфейсе.
Проблема не исчезла. Только что интерфес опять повис.

Рекомендации шаманские, но попробуйте, может получится отследить откуда проблема происходит.
1) выделите ещё пару портов на коммутаторе и включите их в тот же VLAN. Поставьте пару персоналок и запустите
какой нибудь пингер, который сможет сказать, в какое время перестали бегать пакеты. Запустите пинги так, чтобы пакеты бегали между сервером и этими рабочими станциями (т.е. все пингуют друг друга).
2) Раздобудьте софтину мониторинга коммутатора (Dview) и посмотрите, что скажет она. Особое внимание обратите на ошибки/события на порту, к которому подключен сервер.

Результаты исследований отпишите сюда.

[diz]

Автор, с Вас:
версия прошивки
sh log
sh ports <номер порта, в к-рый воткнут сервер>
sh er po <номер порта, в к-рый воткнут сервер>
sh pa po <номер порта, в к-рый воткнут сервер>

до и во время пропадания сервера:
sh fd p <номер порта, в к-рый воткнут сервер>
sh fd m <мак интерфейса сервера>

пингуетесь из того же vlan, в котором находится интерфейс сервера?

[pcrasotin]

версия прошивки

Firmware: Build 2.35-B09

Код: Выделить всё

3393  2009-08-21 08:57:47 Successful login through Telnet (Username: admin)
3392  2009-08-21 08:57:43 Login failed through Telnet (Username: pavel)
3391  2009-08-20 16:07:09 Port 17 link up, 1000Mbps FULL duplex
3390  2009-08-20 16:07:06 Port 17 link down
3389  2009-08-20 16:06:48 Port 17 link up, 1000Mbps FULL duplex
3388  2009-08-20 16:06:45 Port 17 link down
3387  2009-08-20 16:05:57 Port 17 link up, 1000Mbps FULL duplex
3386  2009-08-20 16:05:53 Port 17 link down
3385  2009-08-20 16:05:45 Port 17 link up, 100Mbps FULL duplex
3384  2009-08-20 16:05:42 Port 17 link down
3383  2009-08-20 16:03:34 Port 17 link up, 100Mbps FULL duplex
3382  2009-08-20 15:59:39 Port 17 link down
3381  2009-08-20 15:58:39 Port 17 link up, 100Mbps FULL duplex
3380  2009-08-20 15:58:36 Port 17 link down
3379  2009-08-20 14:21:22 Web session timed out (Username: admin)
3378  2009-08-20 14:06:00 Successful login through Web (Username: admin)
3377  2009-08-20 08:29:04 Port 15 link up, 1000Mbps FULL duplex
3376  2009-08-20 08:29:00 Port 15 link down
3375  2009-08-20 08:28:41 Port 15 link up, 1000Mbps FULL duplex
3374  2009-08-20 08:28:38 Port 15 link down
3373  2009-08-20 08:27:27 Port 17 link up, 1000Mbps FULL duplex
3372  2009-08-20 08:27:23 Port 17 link down
3371  2009-08-20 08:27:06 Port 17 link up, 1000Mbps FULL duplex
3370  2009-08-20 08:27:02 Port 17 link down
3369  2009-08-20 08:26:39 Port 15 link up, 1000Mbps FULL duplex
3368  2009-08-20 08:26:35 Port 15 link down
3367  2009-08-20 08:26:27 Port 15 link up, 10Mbps FULL duplex
3366  2009-08-20 08:26:23 Port 15 link down
3365  2009-08-20 08:26:15 Port 17 link up, 1000Mbps FULL duplex
3364  2009-08-20 08:26:11 Port 17 link down
3363  2009-08-20 08:26:03 Port 17 link up, 100Mbps FULL duplex
3362  2009-08-20 08:26:01 Port 17 link down
3361  2009-08-19 18:27:53 Port 22 link up, 1000Mbps FULL duplex
3360  2009-08-19 18:27:53 Port 31 link up, 1000Mbps FULL duplex
3359  2009-08-19 18:27:50 Port 31 link down
3358  2009-08-19 18:27:49 Port 22 link down
3357  2009-08-19 18:25:55 Port 22 link up, 1000Mbps FULL duplex
3356  2009-08-19 18:25:55 Port 31 link up, 1000Mbps FULL duplex
3355  2009-08-19 18:25:52 Port 22 link down
3354  2009-08-19 18:25:52 Port 31 link down
3353  2009-08-19 18:25:43 Port 22 link up, 10Mbps FULL duplex
3352  2009-08-19 18:25:43 Port 31 link up, 10Mbps FULL duplex
3351  2009-08-19 18:25:40 Port 22 link down
3350  2009-08-19 18:25:40 Port 31 link down
3349  2009-08-19 16:19:57 Port 31 link up, 1000Mbps FULL duplex
3348  2009-08-19 16:19:54 Port 31 link down
3347  2009-08-19 15:43:55 Port 22 link up, 1000Mbps FULL duplex
3346  2009-08-19 15:43:51 Port 22 link down
3345  2009-08-18 12:38:23 Port 22 link up, 1000Mbps FULL duplex
3344  2009-08-18 12:38:23 Port 31 link up, 1000Mbps FULL duplex
3343  2009-08-18 12:38:20 Port 22 link down
3342  2009-08-18 12:38:20 Port 31 link down
3341  2009-08-18 12:36:25 Port 22 link up, 1000Mbps FULL duplex
3340  2009-08-18 12:36:25 Port 31 link up, 1000Mbps FULL duplex
3339  2009-08-18 12:36:22 Port 31 link down
3338  2009-08-18 12:36:21 Port 22 link down
3337  2009-08-18 12:36:13 Port 22 link up, 10Mbps FULL duplex
3336  2009-08-18 12:36:13 Port 31 link up, 10Mbps FULL duplex
3335  2009-08-18 12:36:10 Port 22 link down
3334  2009-08-18 12:36:10 Port 31 link down

Порт 31 - офисная сеть
Порт 22 - служебная сеть
Выбрал за последние 3 дня. Во врема пропадания связи на 22 порту, линк не падает.

Код: Выделить всё

DGS-3450:4#sh ports 22
Command: show ports 22

 Port      Port            Settings             Connection          Address
           State     Speed/Duplex/FlowCtrl  Speed/Duplex/FlowCtrl   Learning
 -------  --------  ---------------------  ----------------------  ---------
 22       Enabled   Auto/Enabled            1000M/Full/802.3x       Enabled

sh er po 22

Код: Выделить всё

DGS-3450:4#sh er po 22
Command: show error ports 22


 Port number : 22
                 RX Frames                                  TX Frames
                 ---------                                  ---------
 CRC Error       0                    Excessive Deferral    0
 Undersize       0                    CRC Error             0
 Oversize        0                    Late Collision        0
 Fragment        0                    Excessive Collision   0
 Jabber          0                    Single Collision      0
 Drop Pkts       505                  Collision             0
 Symbol Error    0

Код: Выделить всё

DGS-3450:4#sh pa po 22
Command: show packet ports 22

 Port number : 22
 ==================================================================
 Frame Size/Type       Frame Counts                  Frames/sec
 ---------------       ----------------------        -----------
 64                    757560                        1
 65-127                4258946                       0
 128-255               1327986                       0
 256-511               1618175                       6
 512-1023              1271918                       0
 1024-1518             1728785                       0
 Unicast RX            5314422                       4
 Multicast RX          6079                          0
 Broadcast RX          12430                         0

 Frame Type            Total                         Total/sec
 ---------------       ----------------------        -----------
 RX Bytes              945380409                     1519
 RX Frames             5332931                       4
 TX Bytes              3751246944                    1044
 TX Frames             5630439                       3

Код: Выделить всё

DGS-3450:4#sh fd p 22
Command: show fdb port 22

 VID  VLAN Name                        MAC Address       Port  Type
 ---- -------------------------------- ----------------- ----- -----------------
 4094 LOCAL                            00-30-48-C5-F9-22 22    Dynamic

Total Entries: 1

Код: Выделить всё

DGS-3450:4#sh fd m 00-30-48-C5-F9-22
Command: show fdb mac_address 00-30-48-C5-F9-22

 VID  VLAN Name                        MAC Address       Port  Type
 ---- -------------------------------- ----------------- ----- -----------------
 4094 LOCAL                            00-30-48-C5-F9-22 22    Dynamic

Total Entries: 1

пингуетесь из того же vlan, в котором находится интерфейс сервера?

Конечно.

Пока интерфейс работает.
Как упадет, пришлю инфу.

[diz]

Для начала попробуйте отключить flow control. Во время отпадания посмотрите, попрет ли drop packets, хотя вряд ли..
Еще jumbo frame попробуйте отключить (если включен). И еще надо

sh ar ipa <ip интерфейса сервера> тоже до и во время.
sh ports 22 сделайте во время падения.

И что за 10Mbps в логе выскакивает? Это Вы оба порта переводили руками?

Попробуйте руками режимы порта выставить, режимы на порту и сетевой карте должны совпадать, т.е. auto-auto, 1000fd-1000fd, 1000hd-1000hd. Изменения старайтесь вносить по одному за подход.

Еще инженер длинков сказал отписаться в Нижегородский филиал, Вам отправят другую прошивку. http://dlink.ru/ru/contacts/17/

Еще дурацкий вопрос: настройки на портах меняли, на коммутаторе порты меняли, а провода меняли?

[pcrasotin]

Для начала попробуйте отключить flow control. Во время отпадания посмотрите, попрет ли drop packets, хотя вряд ли..
Еще jumbo frame попробуйте отключить (если включен).

Flow control отключил. Jumbo Frames не были включены.

Код: Выделить всё

DGS-3450:4#sh ar ipa 10.20.0.45
Command: show arpentry ipaddress 10.20.0.45


 ARP Aging Time : 20

Interface      IP Address       MAC Address        Type
-------------  ---------------  -----------------  ---------------
System         10.20.0.45        00-17-9A-10-41-6B  Local

Total Entries: 1

И что за 10Mbps в логе выскакивает? Это Вы оба порта переводили руками?


Попробуйте руками режимы порта выставить, режимы на порту и сетевой карте должны совпадать, т.е. auto-auto, 1000fd-1000fd, 1000hd-1000hd. Изменения старайтесь вносить по одному за подход.

Еще инженер длинков сказал отписаться в Нижегородский филиал, Вам отправят другую прошивку. http://dlink.ru/ru/contacts/17/

Еще дурацкий вопрос: настройки на портах меняли, на коммутаторе порты меняли, а провода меняли?

Сервер несколько раз перегружали, когда отключали RSS и TCP Offload.
Настройки портов пока не трогали: везде и все в авто.
Но пробовали менять: IP-наcтройки интерфейсов местами, порты на коммутаторе, кабели местами, даже переставили систему на другой сервер (чипсет езернет-котроллера тот же). Результат всегда один и тот же: виснет порт, настроенный на служебную сеть.