MES1124 LAG load-balance src-dst-mac-ip-port не работает dst port?

[bazhutyan]

День добрый!

Связали два линка в LAG между MES1124. Настройки одинаковые на обоих свичах:

Код: Выделить всё

Port-Channel load-balance src-dst-mac-ip-port

interface gigabitethernet 1/0/1
 description "To Satis Modem 1 (variant 1)"
 channel-group 1 mode auto
exit

interface gigabitethernet 1/0/3
 description "To Satis Modem 2 (variant 1)"
 channel-group 1 mode auto
exit

interface port-channel 1
 switchport mode general
exit


Код: Выделить всё

  src-dst-mac-ip-port  Port channel load balancing is based on source and
                       destination of MAC and IP addresses and on source and
                       destination TCP/UDP port numbers.


Но вот по факту, если качать один и тот-же файл в несколько потоков с одного source IP, то весь трафик идёт только по одному линку.
Т.е. как-будто не учитывается destination port.

Кусок tcpdump со стороны клиента:

Код: Выделить всё

11:56:58.320391 IP 78.xxx.xxx.230.53902 > 195.14.50.21.80: Flags [.], ack 1126545, win 2580, length 0
11:56:58.321612 IP 195.14.50.21.80 > 78.xxx.xxx.230.53902: Flags [.], seq 1126545:1127993, ack 170, win 31, length 1448
11:56:58.322818 IP 195.14.50.21.80 > 78.xxx.xxx.230.53902: Flags [.], seq 1127993:1129441, ack 170, win 31, length 1448
11:56:58.322838 IP 78.xxx.xxx.230.53902 > 195.14.50.21.80: Flags [.], ack 1129441, win 2580, length 0
11:56:58.324041 IP 195.14.50.21.80 > 78.xxx.xxx.230.53902: Flags [.], seq 1129441:1130889, ack 170, win 31, length 1448
11:56:58.325282 IP 195.14.50.21.80 > 78.xxx.xxx.230.53902: Flags [.], seq 1130889:1132337, ack 170, win 31, length 1448
11:56:58.325302 IP 78.xxx.xxx.230.53902 > 195.14.50.21.80: Flags [.], ack 1132337, win 2580, length 0
11:56:58.326506 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1319129:1320577, ack 170, win 31, length 1448
11:56:58.327741 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1320577:1322025, ack 170, win 31, length 1448
11:56:58.327764 IP 78.xxx.xxx.230.53895 > 195.14.50.21.80: Flags [.], ack 1322025, win 2919, length 0
11:56:58.328979 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1322025:1323473, ack 170, win 31, length 1448
11:56:58.330154 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1323473:1324921, ack 170, win 31, length 1448
11:56:58.330170 IP 78.xxx.xxx.230.53895 > 195.14.50.21.80: Flags [.], ack 1324921, win 2919, length 0
11:56:58.331350 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1324921:1326369, ack 170, win 31, length 1448
11:56:58.332609 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1326369:1327817, ack 170, win 31, length 1448
11:56:58.332624 IP 78.xxx.xxx.230.53895 > 195.14.50.21.80: Flags [.], ack 1327817, win 2919, length 0
11:56:58.333792 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1327817:1329265, ack 170, win 31, length 1448
11:56:58.335019 IP 195.14.50.21.80 > 78.xxx.xxx.230.53895: Flags [.], seq 1329265:1330713, ack 170, win 31, length 1448
11:56:58.335036 IP 78.xxx.xxx.230.53895 > 195.14.50.21.80: Flags [.], ack 1330713, win 2919, length 0
11:56:58.336244 IP 195.14.50.21.80 > 78.xxx.xxx.230.53898: Flags [.], seq 1009257:1010705, ack 170, win 31, length 1448
11:56:58.337493 IP 195.14.50.21.80 > 78.xxx.xxx.230.53898: Flags [.], seq 1010705:1012153, ack 170, win 31, length 1448
11:56:58.337515 IP 78.xxx.xxx.230.53898 > 195.14.50.21.80: Flags [.], ack 1012153, win 2331, length 0


Так и должно работать или всё-таки балансировка в этом случае должна идти по двум линкам?

[Евгений Т]

Добрый день.

Вполне возможна ситуация, в которой алгоритм балансировки будет работать неравномерно. (в вашем случае скачивание по одному линку вполне закономерно)
Вычисление хэш функции и определение индекса порта в портчаннеле:
1. src-dst-mac
алгоритм вычисления порта, куда отправит пакет, такой: MAC SA (с 0 по 5 бит) операция XOR MAC DA (с 0 по 5 бит) получаем HASH. Над HASH выполняем операцию MOD x (x - кол-во портов в LAG). Получаем Index порта в LAG.
2. src-dst-ip
hash вычисляется так: IPSA(c 0 по 5 бит)XOR IPSA(c 16 по 21 бит)XOR IPDA (с 0 по 5 бит)XOR IPDA(c 16 по 21 бит). Над HASH выполняем операцию MOD x (x - кол-во портов в LAG). Получаем Index порта в LAG.
3. src-dst-mac-ip-port
(Хэш, подсчитанный на основе MAC) XOR (Хэш, подсчитанный на основе IP) XOR Source Port(с 0 по 5 бит) XOR Target Port (с 0 по 5 бит). Над HASH выполняем операцию MOD x (x - кол-во портов в LAG). Получаем Index порта в LAG.
4. src-dst-mac-ip
(Хэш, подсчитанный на основе MAC) XOR (Хэш, подсчитанный на основе IP). Над HASH выполняем операцию MOD x (x - кол-во портов в LAG). Получаем Index порта в LAG.

[bazhutyan]

Получается наш случай - это третий пункт. Прикинул сейчас на глаз - разный должен Index порта получаться.
Более того, в нашем случае uplink, т.е. трафик от клиента, распределялся по двум каналам равномерно.
Не могли бы вы всё-таки проверить свой код, может баг?

[Евгений Т]

Прикинул сейчас на глаз - разный должен Index порта получаться.

Тут нужен точный расчет, а не беглый взгляд. Формула дана. Посчитайте на калькуляторе и проверьте. Ход расчета можете выложить сюда.

Более того, в нашем случае uplink, т.е. трафик от клиента, распределялся по двум каналам равномерно.

В аплинке, полагаю, стоит другое оборудование? Там формула расчета может быть иной.

[bazhutyan]

Прикинул сейчас на глаз - разный должен Index порта получаться.

Тут нужен точный расчет, а не беглый взгляд. Формула дана. Посчитайте на калькуляторе и проверьте. Ход расчета можете выложить сюда.

А какую хэш-функцию вы используете для MAC и IP?

Более того, в нашем случае uplink, т.е. трафик от клиента, распределялся по двум каналам равномерно.

В аплинке, полагаю, стоит другое оборудование? Там формула расчета может быть иной.

С обоих сторон стоят MES1124.

[Евгений Т]

А какую хэш-функцию вы используете для MAC и IP?

Формула расчета приведена в пункте 1 и 2.

С обоих сторон стоят MES1124.

Значит надо анализировать трафик, идущий с обеих сторон.
Настройки, я так понимаю идентичные с обеих сторон? Можете привести вырезки конфигов, касающихся LAG с обоих коммутаторов?

[bazhutyan]

Настройки, я так понимаю идентичные с обеих сторон? Можно увидеть вырезки конфигов, касающихся LAG с обоих коммутаторов?

Да, идентичные.

sw1 со стороны клиента:

Код: Выделить всё

Port-Channel load-balance src-dst-mac-ip-port

interface gigabitethernet 1/0/1
 description "To Satis Modem 1 (variant 1)"
 channel-group 1 mode auto
exit

interface gigabitethernet 1/0/3
 description "To Satis Modem 2 (variant 1)"
 channel-group 1 mode auto
exit

interface port-channel 1
 switchport mode general
exit


sw2 со стороны сервера:

Код: Выделить всё

Port-Channel load-balance src-dst-mac-ip-port

interface gigabitethernet 1/0/1
 channel-group 1 mode auto
exit
!
interface gigabitethernet 1/0/3
 channel-group 1 mode auto
exit

interface port-channel 1
 switchport mode general
exit


[bazhutyan]

Тут нужен точный расчет, а не беглый взгляд. Формула дана. Посчитайте на калькуляторе и проверьте. Ход расчета можете выложить сюда.

В нашем случае MAC, SAIP, DAIP и один из портов - это константы. Меняется только порт клиента. Порт сервера - 80 тоже константа.
Поэтому вычислять по сути надо MOD по последним 5 битам двух портов клиента, в примере это 53902 и 53895.

53902 - 1101001010001110: 01110 или 14
53895 - 1101001010000111: 00111 или 7

mod(14) = 0
mod(7) = 1

[Евгений Т]

Добрый день.
Прошу предоставить для обоих сессий скачивания файла SRC и DST IP, MAC, port.
Проведем расчет.

[Евгений Т]

Также прошу показать с обоих коммутаторов
sh bootv
sh int ch 1

[bazhutyan]

Код: Выделить всё

SRC MAC=00:1e:13:21:a8:b9 IP=78.157.253.230 PORT=53898,53900,53902,53903,53895,53904,53895
DST MAC=00:21:d8:1f:9b:19 IP=195.14.50.21   PORT=80

#sh int ch 1

Load balancing: src-dst-mac-ip-port.

Gathering information...
Channel  Ports
-------  -----
Po1      Active: gi1/0/1,gi1/0/3


[Евгений Т]

Это с обоих коммутаторов такой вывод?
еще покажите sh bootv

[bazhutyan]

Да, на обоих одинаково

Код: Выделить всё

khb#sh bootv
Image  Filename   Version               Date                    Status
-----  ---------  -------------------   ---------------------   -----------
1      image-1    1.1.42                18-Sep-2015  10:39:34   Not active
2      image-2    1.1.44[a0025cf1]      12-Jan-2016  16:23:25   Active*

eltex-pk#sh bootv
Image  Filename   Version               Date                    Status
-----  ---------  -------------------   ---------------------   -----------
1      image-1    1.1.40                20-Jul-2015  14:44:31   Not active
2      image-2    1.1.44[a0025cf1]      12-Jan-2016  16:23:25   Active*


[Евгений Т]

Добрый день.

Актуальна ли проблема? Балансировка по-прежнему некорректно отрабатывает на данном коммутаторе?