flapping портов на коммутаторах MES5324A с адаптерами intel x722

[lichnik]

Всем привет. Покупали в стек два коммутатора модели MES5324A с расчетом подключить к ним пачку из 8-и серверов Леново модели sr630 7x02 с шибко умными встроенными сетевыми адаптерами ThinkSystem 10Gb 2-port SFP+ LOM (7ZT7A00546) на базе intel x722 (37D3) и понеслось......
Порты флапают бесконечно что делать не знаем, перепробовали все:
- ОС и микрософт и линукс - поведение подовсеми ОС одинаковое;
- Все версии драйверов и для виндовс и для линукс;
- Все возможные параметры драйверов для обоих версий ОС;
- Прошивки адаптеров от версии 4.0(первый выпуск для данного адаптера от 18 года) до 5.5 (выпуск конца января 2022);
- Подключение адаптеров через DAC кабеля поставленные с коммутаторами, через DAC кабели поставленные с серверами lenovo, через SR трансиверы и леново и те, что поставлялись с коммутаторами....

Результат нулевой
Что интересно - серверы без проблем работают в старом коммутаторе lenovo модели g8272, но ни в какую на MES5324A.
выглядит вся эта ваакханалия следующим образом со стороны ОС:
на пару секунд линк устанавливается:

Settings for eno2:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: No
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: No
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: internal
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

Через пару секунд линк падает:

Settings for eno2:
Supported ports: [ ]
Supported link modes: 10000baseT/Full
1000baseX/Full
10000baseSR/Full
10000baseLR/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
1000baseX/Full
10000baseSR/Full
10000baseLR/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: Unknown!
Duplex: Unknown! (255)
Port: Other
PHYAD: 0
Transceiver: internal
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: no

Была найден кучка КБ по работе данных адаптеров с коммутаторами сторонних производителей на сейте леново, все они говорят, что проблемы были решены новыми версиями прошивок коммутаторов:
https://support.lenovo.com/ru/en/solutions/ht510776-intel-x722-fails-to-negotiate-a-link-with-some-huawei-switches-lenovo-thinksystem
https://support.lenovo.com/vn/en/solutions/ht510895-intel-x722-10gb-sfp-nic-port-link-flapping-when-connected-to-cisco-sx550-switch-lenovo-thinksystem

Кто нибудь сталкивался с подобными проблемами?

[Евгений Т]

Добрый день.

Прошу завести заявку по форме: https://eltex-co.ru/support/
Туда помимо текущего описания приложить вывод
show tech-sup
в момент соединения сервера с коммутатором с помощью SFP трансиверов (главное, чтобы DDM поддерживали) и приложить фото этих трансиверов.
При замыкании 2 портов MES5324A этими трансиверамми флаппинг проявляется?

[lichnik]

show tech-sup зависает при опросе портов....
Фото трансиверов чьих? поскольку серверов 8, то мы подключили их всем арсеналом в надежде что хоть что-то из этого заработает: пробуем и ДАКи FH-DP1T30SS01 и трансиверами FH-SP851TCDL03 и трансиверами Леново 46C3447 и ДАК кабелями леново 00AY764 все это перефоткать?

Добавлю еще интересную особенность:
Помимо двух MES5324A есть два коммутатора MES2348P. Если подключить сервер в 10G("аплинки") порты MES2348P, то порты сервера поднимаются и работают в них без каких либо проблем.
Как я уже писал в начале - при подключении к коммутаторам леново - проблем с работой адаптеров тоже нет.
т.е. проблема конкретно с коммутаторами MES5324A

особенность самих адаптеров lenovo LOM х772 в том, что на выходе перед sfp+ портами стоит чип-преобразователь интерфейсов marwell inphi CS4227
серверы супермикро с более старыми сетевками intel в MES5324A работают уже пару месяцев без проблем.

[Евгений Т]

show tech-sup зависает при опросе портов....

Отключите на время снятия настройку snmp-server server

Фото трансиверов чьих?

Любых, поддерживающих DDM, из тех, что вы использовали. Я понял, что вы перепробовали несколько вариантов, но нужно с чего-то начать изучение вопроса. Разберём на примере одних трансиверов ситуацию.

Прошу завести заявку по форме: https://eltex-co.ru/support/. Вопрос объёмный, на форуме рассматриваются короткие вопросы, т.к форум - не является платформой для оказания ТП.

[lichnik]

!!! Спасибо.Обратились в поддерку, получили рекомендацию установить последнюю версию прошивки - Неожиданно с последней прошивкой от 04.02.22 заработало, хоть и в описании к ней нет ничего про совместимость с сетевыми адаптерами.