MES5148 не справляется с нагрузкой?

[StarGazer]

Приветствую.

Последний месяц появилась проблема с 5148.
По вечерам, по-видимому в пик нагрузки, у абонентов пропадает интернет.
Проверяем пингами. Пакеты теряются в районе МЕС5148.
В него воткнуты 7 штук LTE8x + Маршрутизатор с NAT + Разные сервера. Все в одном VLANе
Пингуем маршрутизатор с NAT и сервера - пинги пропадают то на NAT, то на один сервер, то на другой. !!!

Конфиг элементарный:

Код: Выделить всё


[/console# sh running-config
spanning-tree hello-time 1
spanning-tree max-age 8
spanning-tree forward-time 5
!
port jumbo-frame
!
vlan database
 vlan 2000
exit
!
no lldp run
!
interface tengigabitethernet 1/0/1
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/2
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/3
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/4
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/5
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/6
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/7
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/8
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/9
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/10
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/11
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/12
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/13
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/14
 switchport mode general
 switchport general pvid 2000
 switchport general allowed vlan add 2000 untagged
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/15
 switchport mode general
 switchport general allowed vlan add 2000
 storm-control broadcast enable
 storm-control broadcast level kbps 10000
 storm-control broadcast logging
 storm-control include-multicast unknown-unicast
 switchport forbidden default-vlan
exit
!
interface tengigabitethernet 1/0/47
 port monitor tengigabitethernet1/0/1
 port monitor tengigabitethernet1/0/11
 port monitor tengigabitethernet1/0/13
exit
!
interface tengigabitethernet 1/0/48
 ip address 10.10.10.118 255.255.255.0
exit
!
arp table-size 4096
!
console#


При этом перезагрузка МЕСа помогает. И дальше все работает нормально, и еще потом пару дней. А на третий, четвертый день после перезагрузки (иногда на пятый) снова возникают подобные проблемы.

В пике трафик на uplink-порту МЕСа подбирается к 4 гб/с.

В чем может быть проблема?

[Александр Селезнев]

Какая версия ПО?
Какая загрузка CPU в момент проблемы?
Растут ли на портах ошибки в момент проблемы?Есть ли TD на интерфейсах?

[StarGazer]

ПО 2.2.11
Некогда было посмотреть - в момент проблемы (поздним вечером) мы уже дома, и заходим к МЕСу удаленно , при этом в каждый момент линк до него может пропасть )) По этому мы только успеваем зайти на него и вбить reload.
По поводу ошибок - аналогичная ситуация, не смотрели.
TD на интерфейсах? Можно подробней?

[StarGazer]

Вообще да - сами понимаем, нужно больше информации по проблеме.
Нужно попытаться как-то ее собрать.
Могу сказать, лишь, что в лог МЕС ничего не пишет о проблеме - все в штатном режиме как будто..

[Александр Селезнев]

Коммутатор используется как L2 или как L3 устройство?
Необходима информация о загрузку CPU в момент проблемы.
Также необходимо понять после чего могла появится проблема, настройка, увеличение загрузки сети и т.д. информацию можете предоставить в личку

[StarGazer]

Полагаю, как L2 - МЕС просто собирает трафик с ЛТЕ и Серверов (там Биллинг и пара DNSов на bind) и передает на единственный uplink. Ну и + берется зеркало с uplink и портов, куда подключены DNSы и кидается на СОРМ.

Признаться мы ни с чем не можем связать эту проблему - никаких настроек не проводилось и изменений не вносилось.
Разве что, один из наших магистральных провайдеров расширил нам канал во внешнюю сеть.
Было 2+2 стало 2+3 = 5 гбит/с.

На счет нагрузки на CPU будем смотреть.. Могу сказать, что сейчас еще не вечер конечно, но при трафике по uplink в 2.5гбит/с нагрузка на CPU MESа 6%.
Думаю, будь трафик хоть все 6Гбит/с, вряд ли МЕС озаботится этим хоть на 25% своих процессорных сил.

Может быть просто порты дуреют от большого количества пакетов?

[StarGazer]

А уровень контроля шторма в 10000 кбит/с, который у нас установлен - это нормально?

[StarGazer]

Хотя колец впринципе быть не может. Топология фактически линейная.

LTE->MES->NAT->Border->internet

[StarGazer]

Сейчас вечером снова были проблемы.
Удалось померить загрузку ЦП.
Она так и держится в районе 6%.
Я проверяю загрузку каждые 10 секунд. Она держится на уровне 6% - потом вдруг показывает 25% и меня выкидывает из консоли (захожу удаленно).
Как-то так. Сообщений в логах нет.
show interface counters показывает что ошибок на портах не много они не растут. В пределах 10-ти это же нормально?
Таблица МАК-адресов почти пустая - 4500 записей.
Однако, команда clear mac-address table dynamic помогла - работа сети нормализовалась и пинги перестали пропадать.

Эм.. Что бы это могло значить?

[Александр Селезнев]

В момент проблемы фиксируется ли увеличение утилизации портов? (флуд юникаста)
После перезагрузки, как изменяется количество мак адресов в таблице?
Просьба выполнить команду описанную в этой теме viewtopic.php?f=10&t=6911

Код: Выделить всё

mac address-table lookup-length 8

[StarGazer]

В момент проблемы фиксируется ли увеличение утилизации портов? (флуд юникаста)

Не успел посмотреть.

После перезагрузки, как изменяется количество мак адресов в таблице?

Кажется раза в два. Было 4500. Стало 2500. Хотя это было сразу после перезагрузки, может еще изучиться не успели.
Дело скорей всего не в количестве тем более это даже не близко к пределу 32к

Просьба выполнить команду описанную в этой теме viewtopic.php?f=10&t=6911

Код: Выделить всё

mac address-table lookup-length 8

Эм. Сразу восьмерку? Для абонентов это не станет сильно критичным?
Сейчас по умолчанию 3 стоит.

[Александр Селезнев]

Нет. Не станет, команда применится после перезагрузки.