О деактивации форума Eltex

Уважаемые коллеги! В связи с потерей актуальности данного ресурса, нами было принято решение о частичной деактивации форума Eltex. Мы отключили функции регистрации и создания новых тем, а также возможность оставлять сообщения. Форум продолжит работу в "режиме чтения", так как за долгие годы работы здесь накопилось много полезной информации и ответов на часто встречающиеся вопросы.

Мы активно развиваем другие каналы коммуникаций, которые позволяют более оперативно и адресно консультировать наших клиентов. Если у вас возникли вопросы по работе оборудования, вы можете обратиться в техническую поддержку Eltex, воспользовавшись формой обращения на сайте компании или оставить заявку в системе Service Desk. По иным вопросам проконсультируют наши менеджеры коммерческого отдела: eltex@eltex-co.ru.

MES5324 и inter-vlan routing

MES, ESR
etosamoe
Сообщения: 26
Зарегистрирован: 15 янв 2018 20:59
Reputation: 0

MES5324 и inter-vlan routing

Сообщение etosamoe » 20 янв 2020 21:03

Всем доброго времени суток.

Столкнулись с интересной проблемой и хотим найти решение:
сейчас у нас в качестве уровня аггрегации стоит MES5324, и в качестве ядра используется флагманский Микротик. На нём терминируются все vlan (штук 30). Собственно за интер-влан роутинг отвечает он сейчас.

Если два сервера расположены в разных вланах, то iperf между ними показывает ~600Mbit (в однопоточном режиме) и ~4,5Gbit в многопоточном. Это при линках 10G+10G.

Для теста сделал два новых vlan на MES5324, сделал ip address на них.
sh ip route показывает

Код: Выделить всё

C   10.1.16.0/23 is directly connected, vlan 1003
C   10.1.18.0/23 is directly connected, vlan 1004


Дефолт-гейтвей пока не писал, просто чтобы протестировать как Элтекс будет между вланами гонять трафик на L3 уровне.
iperf выдал 14,7Гбита в одном потоке и 14,8 в многопоточном.
sh cpu util вроде не показал никакого увеличения нагрузки.

Вопрос в следующем, как MES5324 отреагирует, если мы интервлан роутинг пяти серверных вланов перекинем на него (заведем шлюзы на нем). Не загнется ли от нагрузки? Какой у него запас есть?

Может быть посоветуете другую железку для этих целей?

Евгений Т
Сообщения: 1613
Зарегистрирован: 18 мар 2013 09:48
Reputation: 7
Откуда: Элтекс

Re: MES5324 и inter-vlan routing

Сообщение Евгений Т » 21 янв 2020 12:00

Здравствуйте.

Если два сервера расположены в разных вланах, то iperf между ними показывает ~600Mbit (в однопоточном режиме) и ~4,5Gbit в многопоточном. Это при линках 10G+10G.

Каким трафиком тестируете? И при маршрутизации, и при коммутации утилизация линка будет идентична и максимальна, т.к маршрутизация аппаратная. Утилизация зависит от размера пакетов. На пакетах размером 64 байта она будет меньше, на пакетах большего размера - больше.
Прошу по данному опыту приложить более подробное описание, а также выводы команд
sh tech-sup
sh cpu ut
sh cpu input-rate det
sh int ut (перед опытом на тестируемых интерфейсах заранее прописать load-average 5, чтобы сократить время расчёта утилизации)

Дефолт-гейтвей пока не писал, просто чтобы протестировать как Элтекс будет между вланами гонять трафик на L3 уровне.
iperf выдал 14,7Гбита в одном потоке и 14,8 в многопоточном.

Тут не очень понятно. Как на 10Г была получена утилизация 14,7 Гбит/сек?

Вопрос в следующем, как MES5324 отреагирует, если мы интервлан роутинг пяти серверных вланов перекинем на него (заведем шлюзы на нем). Не загнется ли от нагрузки? Какой у него запас есть?

Не должно быть никаких ограничений, потому что маршрутизация аппаратная и трафик от серверов не должен перехватываться на CPU.
Евгений Тур / Элтекс / Сервисный центр ШПД / https://eltex-co.ru/support/

etosamoe
Сообщения: 26
Зарегистрирован: 15 янв 2018 20:59
Reputation: 0

Re: MES5324 и inter-vlan routing

Сообщение etosamoe » 21 янв 2020 13:41

Добрый день!

Спасибо за ответ.

То тестирование, что выдает 600Мбит\с - это тестирование, где вланы терминируются на Микротике, я грешу именно на него, и многие грешат на него, так как там нет как таковой аппаратной маршрутизации между вланами.


А тестирование с Элтексами проводил по следующей схеме:
Изображение
Простите, не указал, что между коммутаторами не 10г линки. А вот к Микротикам в прошлом тесте идут именно 10+10, но мы и до них не добираемся. (в это время нагрузка на сеть незначительна)

На элтексе банально:

Код: Выделить всё

interface vlan 1003
 ip address 10.1.16.1 255.255.254.0

Код: Выделить всё

interface Port-channel16
 loopback-detection enable
 switchport mode trunk
 switchport trunk allowed vlan add 10,1000-1004,1010
 


sh ip route приводил в прошлом сообщении, там просто DirectConnected маршруты. По этой схеме трафик между серверами (даже если это две виртуалки в пределах одной ноды) будет идти через MES-ы.

sh cpu ut ДО тестирования:

Код: Выделить всё

Memory usage
---------------
Total/Free: 1065353216 B/608950160 B (57%)

CPU utilization service is on.

CPU utilization
---------------
five seconds: 11%; one minute: 21%; five minutes: 22%


sh cpu input-rate det ДО тестирования:

Код: Выделить всё

     Traffic type       Rate in pps  Packets count
---------------------- ------------- -------------
stack                  16            4172640279
http                   0             0
telnet                 0             0
ssh                    0             6886
snmp                   0             343
ip                     0             16
arp                    4             18246617
arp inspection         0             0
stp                    1             24654455
ieee*                  3             104459460
route unknown          0             11189
ip hop by hop          0             0
mtu exceeded           0             0
ipv4 multicast         0             292666
ipv6 multicast         0             0
dhcp snooping          0             0
igmp snooping          0             0
mld snooping           0             0
ttl exceeded           0             0
ipv4 illegal address   0             0
ipv4 header error      0             0
ip DA mismatch         0             0
sflow                  0             0
log deny ACEs          0             0
vrrp                   0             0
log permit ACEs        0             0
ipv6 header error      0             0
multicast routing      0             0
multicast rpf fail     0             0
tcp syn                0             8


Значение stack - rate in pps - иногда подскакивает до 150-220, на несколько секунд.


Запустил iperf -c -t 60 (на 60 сек).
Нагрузка в sh cp ut не изменилась во время тестирования
cpu input-detailed rate во время тестирования показывает такие значения с разницей в 3-6 секунд:

Код: Выделить всё

l2#sh cpu input-rate detailed | exclude 0

     Traffic type       Rate in pps  Packets count
---------------------- ------------- -------------
stack                  59            4172689653
stp                    4             24655352


Код: Выделить всё

l2#sh cpu input-rate detailed | exclude 0

     Traffic type       Rate in pps  Packets count
---------------------- ------------- -------------
stack                  36            4172689717
stp                    4             24655357


Код: Выделить всё

l2#sh cpu input-rate detailed | exclude 0

     Traffic type       Rate in pps  Packets count
---------------------- ------------- -------------
stp                    1             24655363


Результаты теста:
Изображение

Первое это однопоточный режим 10 секунд, второе это однопоточный 60 секунд. Если я правильно понимаю, что TCP Window size и есть максимальные размеры пакета.

Тестирование в течение 60 секунд и на 10 потоках - нагрузка на CPU не меняется, в input-rate тоже самое. Но, когда это всё написал, перечитал ваше сообщение, и понял, что при маршрутизации между вланами трафик через CPU и не проходит, собственно нагрузка и не будет расти.. Ну чтож, удалять не буду)))

Подскажите, что-то же должно у коммутатора нагружаться при маршрутизации между вланами большого количества трафика? Что помониторить, как какие-нибудь значения посмотреть?

sh tech не хочу сейчас выкладывать, скажу лишь, что ничего специфического и неординарного там не настроено, только порт-чанелы в режиме транк. Без ОСПФ и тому подобного. Но, к сожалению, версия ПО пока старая 4.0.10.1, все никак окно не выбьем, чтобы обновиться.

Евгений Т
Сообщения: 1613
Зарегистрирован: 18 мар 2013 09:48
Reputation: 7
Откуда: Элтекс

Re: MES5324 и inter-vlan routing

Сообщение Евгений Т » 21 янв 2020 14:55

Версия ПО не влияет в данном случае

Значение stack - rate in pps - иногда подскакивает до 150-220, на несколько секунд.

Это нормально. Идёт обмен между юнитами стека.

По схеме не очень понял. Т.е до меса идёт LAG из двух 40Г? Потом всё марштуризируется в те закольцованные интерфейсы, что слева? Это 40Г или 10Г? И потом повторно маршрутизируется в LAG?
STP же отключен для такого опыта?

Тестирование в течение 60 секунд и на 10 потоках - нагрузка на CPU не меняется, в input-rate тоже самое. Но, когда это всё написал, перечитал ваше сообщение, и понял, что при маршрутизации между вланами трафик через CPU и не проходит, собственно нагрузка и не будет расти.. Ну чтож, удалять не буду)))

А каковы результаты? Какова скорость?
Хотелось бы увидеть ранее запрошенную команду
> sh int ut (перед опытом на тестируемых интерфейсах заранее прописать load-average 5, чтобы сократить время расчёта утилизации)

Подскажите, что-то же должно у коммутатора нагружаться при маршрутизации между вланами большого количества трафика? Что помониторить, как какие-нибудь значения посмотреть?

Нужно смотреть как раз те команды, что предоставил.
1) Нужно посмотреть, что утилизация интерфейсов в норме и маршрутизируется весь объём трафика.
Вообще для теста рекомендовал бы сначала использовать UDP трафик, чтобы по утилизации на всём пути посмотреть сколько прилетает на мес и сколько улетает. Утилизация на входи и выходе должна совпадать. С TCP трафиком не понятно где узкое место (если оно, конечно, есть).
2) Посмотреть загрузку CPU, также кол-во трафика на CPU. Арпы, например, перехватываются CPU, если есть IP адрес на интерфейсе.
route unknown может расти, если нет арп-записи для next-hop для маршрутизируемого пакета.
Евгений Тур / Элтекс / Сервисный центр ШПД / https://eltex-co.ru/support/

etosamoe
Сообщения: 26
Зарегистрирован: 15 янв 2018 20:59
Reputation: 0

Re: MES5324 и inter-vlan routing

Сообщение etosamoe » 21 янв 2020 16:18

Я, если что, не говорю, что меня что-то не устраивает)) Наоборот, 15-20Гбит\с с текущими интерфейсами меня очень устраивает при данном тестировании iperf-ом. UDP трафиком попробую погонять, спасибо за идею.

Насчет линков.. Есть два МЕС-а в стеке, два DAC 40g из каждого юнита (te1/0/1, te2/0/1 скажем) уходят в два коммутатора Ариста, там настроен так же порт-чаннел между линками. Коммутаторы в virtual stack (не помню точно как он там называется). На обоих порт-чанелах режим trunk с нужными вланами. На стороне Элтекса - на interface vlan 1003 сделан ip address 10.1.16.1 /23.
К Аристам подключены серверы, каждый двумя 10г линками в каждый свитч. На серверах виртуалки.
Собственно на виртуалках в качестве шлюза по умолчанию указан 10.1.16.1 и 10.1.18.1 соответственно во влане 1004, чтобы трафик гнался через элтексы.

Мы как начнем перекидывать серверные вланы - я сообщу сюда о результатах.

Спасибо


Вернуться в «Коммутаторы и маршрутизаторы Ethernet»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость