NTE-RG-1402G(C)-W: зависания

[stfunoob]

Добрый день.

Проблема возникала с:
NTE-RG-1402GC-W:rev.B
NTE-RG-1402G-W:rev.B

На версиях FW:
3.14.2.62
3.14.2.68
3.14.3.43

Проблема проявляет себя следующим образом:
Периодически (от нескольких раз в сутки до 1 раза за 2 недели) пропадает управление устройством как через epon0.6, так и через LAN интерфейсы. При попытке залогиниться на устройство появляется запрос ввода логина/пароля; после ввода логина/пароля (не важно - корректного или нет) через 7-15 секунд появляется повторный запрос на ввод логина/пароля. При попытке достучаться telnet-ом соединение отваливается по таймауту (в некоторых случаях таки приходит TCP ACK, но потом опять же тишина).
В период когда проблема присутствует, у NTEшек отваливается регистрация на SIP сервере, а в некоторых случаях (относительно редких) они так же перестают NATить трафик LAN клиентов. В то же время на epon0.1, epon0.5 и epon0.6 NTEшки обновляют аренду DHCP и отвечают на ICMP запросы.

Что помогает: reboot

Что не помогает: reconfigure и/или перевод в состояние unconfigured, длительное ожидание того, что "починится само" (впрочем, были случаи, когда само "отлипало").

Один раз получилось так, что в момент возникновения проблемы у меня была открытая telnet сессия на устройство. Получилось посмотреть:

Код: Выделить всё

 > ps
  PID USER       VSZ STAT COMMAND
    1 admin     1564 S    init
    2 admin        0 SW<  [kthreadd]
    3 admin        0 SW<  [migration/0]
    4 admin        0 SW   [sirq-high/0]
    5 admin        0 SW   [sirq-timer/0]
    6 admin        0 SW   [sirq-net-tx/0]
    7 admin        0 SW   [sirq-net-rx/0]
    8 admin        0 SW   [sirq-block/0]
    9 admin        0 SW   [sirq-tasklet/0]
   10 admin        0 SW   [sirq-sched/0]
   11 admin        0 SW   [sirq-hrtimer/0]
   12 admin        0 SW   [sirq-rcu/0]
   13 admin        0 SW<  [migration/1]
   14 admin        0 SW   [sirq-high/1]
   15 admin        0 SW   [sirq-timer/1]
   16 admin        0 SW   [sirq-net-tx/1]
   17 admin        0 SW   [sirq-net-rx/1]
   18 admin        0 SW   [sirq-block/1]
   19 admin        0 SW   [sirq-tasklet/1]
   20 admin        0 SW   [sirq-sched/1]
   21 admin        0 SW   [sirq-hrtimer/1]
   22 admin        0 SW   [sirq-rcu/1]
   23 admin        0 SW<  [events/0]
   24 admin        0 SW<  [events/1]
   25 admin        0 SW<  [khelper]
   28 admin        0 SW<  [async/mgr]
   78 admin        0 SW<  [kblockd/0]
   79 admin        0 SW<  [kblockd/1]
   88 admin        0 SW<  [khubd]
  105 admin        0 SW<  [skbFreeTask]
  106 admin        0 SW<  [bpm]
  122 admin        0 SW   [pdflush]
  123 admin        0 SW   [pdflush]
  124 admin        0 SWN  [kswapd0]
  126 admin        0 SW<  [crypto/0]
  127 admin        0 SW<  [crypto/1]
  184 admin        0 SW<  [mtdblockd]
  218 admin        0 SW<  [linkwatch]
  225 admin        0 SWN  [jffs2_gcd_mtd2]
  226 admin     1584 S    -/bin/sh
  255 admin        0 SW   [kpAliveWatchdog]
  292 admin        0 SW   [bcmsw]
  293 admin        0 SW   [bcmsw_timer]
  412 admin     1964 S    /bin/lighttpd -f /etc/lighttpd/lighttpd.conf
  413 admin     3908 S    smd
  414 admin     5428 S    ssk
  428 admin     1388 S    dnsproxy
  435 admin     1424 S    dhcpd
  450 admin     4816 S    mcpd
  504 admin     5508 S    wlmngr -m 0
  520 admin     1324 S    /bin/wlevt
  572 admin     5336 S    swmdk
  573 admin     6492 S    eponapp -m 0
  583 admin     1040 S    bftpd -d
  584 admin     5336 S    swmdk
  585 admin     5336 S    swmdk
  918 admin     1232 S    dhcpc -f -i epon0.6 -d Eltex[Device:NTE-RG-1402GC-W:
  922 admin     1232 S    dhcpc -f -i epon0.1
  926 admin     1232 S    dhcpc -f -i epon0.5
 1086 admin     1180 S    /bin/eapd
 1090 admin     1532 S    /bin/nas
 1132 admin     1284 S    /bin/acsd
 1179 admin     6492 S    eponapp -m 0
 1180 admin     6492 S    eponapp -m 0
 1181 admin     6492 S    eponapp -m 0
 1182 admin     6492 S    eponapp -m 0
 1183 admin     6492 S    eponapp -m 0
 1425 admin     5420 R    tr69c -m 0
 3859 admin     4444 S    upnp -m 0 -L br0 -W epon0.1 -W2 epon0
 4558 admin     6392 S    httpd -m 0
 4687 admin     1576 S    syslogd -n -C -l 7
 4688 admin     1560 S    klogd -n
 4824 admin     4788 S    telnetd -m 0
 4825 admin     4792 R    telnetd -m 0
 4872 admin     1560 S    sh -c ps
 4873 admin     1564 R    ps

Код: Выделить всё

 >sysinfo
Number of processes: 76
  1:08am  up  1:08,
load average: 1 min:1.39, 5 min:1.35, 15 min:1.33
              total         used         free       shared      buffers
  Mem:       125644        70064        55580            0            0
 Swap:            0            0            0
Total:       125644        70064        55580

Код: Выделить всё

 > df
Filesystem           1024-blocks    Used Available Use% Mounted on
mtd:rootfs               15344     13884      1460  90% /
mtd:data                  1024        84       940   8% /data

С благодарностью приму помощь в решении/поиске истоков проблемы.

[rvv]

Наблюдаем похожую проблему. У клиента NTE-rg1402G-W rev. B (Software Version: 3.14.3.65). Теряется удаленный доступ к NTE-RG, так же как в предыдущем сообщении предлагает перелогинится. Раньше спасались ребутом, сейчас попробовал переконфигурировать устройство на станции. После переконфигурации через 1 минуту устройство стало доступно. Вкратце о конфигурации:
используетм IPoE/nat;
на NTE-RG настроена SIP телефония;
так же установлены настройки фильтрации входящих пакетов Advanced Setup / Security / IP Filtering / Incoming.

При подключении по телнет наблюдаю такую картину:
Mem: 73636K used, 52008K free, 0K shrd, 0K buff, 19968K cached
CPU: 0% usr 2% sys 0% nic 78% idle 0% io 3% irq 14% sirq
Load average: 2.31 2.34 2.43 2/95 7369
PID PPID USER STAT VSZ %MEM CPU %CPU COMMAND
7 2 admin SW 0 0% 0 15% [sirq-net-rx/0]
24 2 admin SW< 0 0% 1 2% [events/1]
592 591 admin S 5336 4% 1 0% swmdk
7289 7288 admin R 1572 1% 1 0% top

что посоветуете?

[rvv]

при откате прошивки на 3.14.2.84 загрузка sirq упала с 10% на 0%. Наблюдаем.. Из-за чего возникает загрузка sirq-net-rx на nte-rg-1402G-W rev. B?

[Александр Д]

Судя по всему, что-то летит в сторону ONT, попробуйте посмотреть TCPDUMP на всех интерфейсах когда идет большая нагрузка

[rvv]

Судя по всему, что-то летит в сторону ONT, попробуйте посмотреть TCPDUMP на всех интерфейсах когда идет большая нагрузка

ok. при наличии проблемы сниму дампы.

[rvv]

проблема повторилась, подскажите правильные команды для tcpdump. По умолчанию трафик снимается с интерфейса br0.

Поймал в момент проблемы вывод команды top. В ней видно, что процесс tr69c грузит одно ядро на максимум. :
2047 413 admin R 5396 4% 1 50% tr69c -m 0
7 2 admin SW 0 0% 0 3% [sirq-net-rx/0]

Как отключить tr69? мы его не используем

[flameflower]

проблема повторилась, подскажите правильные команды для tcpdump. По умолчанию трафик снимается с интерфейса br0.

Поймал в момент проблемы вывод команды top. В ней видно, что процесс tr69c грузит одно ядро на максимум. :
2047 413 admin R 5396 4% 1 50% tr69c -m 0
7 2 admin SW 0 0% 0 3% [sirq-net-rx/0]

Как отключить tr69? мы его не используем

Код: Выделить всё

tcpdump -vni any

[rvv]

tcpdump -vni any

спасибо, а как в выводе tcpdump зафильтровать telnet трафик?

[flameflower]

tcpdump -vni any

спасибо, а как в выводе tcpdump зафильтровать telnet трафик?

Что значит зафильтровать?
Отображать только telnet?
Отображать все, кроме telnet?
Если отображать то так, но не думаю, что для тебя это будет полезным.

Код: Выделить всё

tcpdump -XXvnei p5p1 port 23


[rvv]

Что значит зафильтровать?
Отображать только telnet?
Отображать все, кроме telnet?
Если отображать то так, но не думаю, что для тебя это будет полезным.

1) Имелось ввиду не отображать трафик телнет в выводе tcpdump. Это мешает анализу трафика т.к. подключаюсь к ont дистанционно.
2) tcpdump -XXvnei p5p1 port 23
tcpdump: p5p1: No such device exists (SIOCGIFHWADDR: No such device)
вы какое устройство имели ввиду?

[stfunoob]

Сегодня появилось (как водится - случайно) немного наблюдений, которые возможно связаны с зависанием доступа у управлению WEB/telnet(если telnet не был уже подключен до зависания).

В момент, когда ONTшка не доступна по WEB-у у неё в выводе ps появляется процесс
16065 admin 5412 R tr69c -m 0
Если в этот момент попытаться вызвать
> swversion
В ответ получаем:
telnetd:error:163.882:cli_processCliCmd:402:failed to get lock, ret=9809
Could not run command due to lock failure.
CMS MDM lock is held by tr69c (pid=16065) for 510 seconds.
Lock acquired in function updateTr69cCfgInfo
Currently in stl handler function for oid 2
Ну и примерно через те самые 510 секунд оно "оживает" (но может и сразу же уйти на 2ой круг).
Наблюдений было не так много и только на 1 ONT, так что однозначно утверждать, что эти события однозначно связаны я не могу. Но как направление, в какую сторону пытаться "копать" - вполне себе.
Моих знаний, в какую сторону отсюда копать дальше явно недостаточно (Tr069/ACS у нас не используется), но быть может быть это сообщение прочитает тот, у кого такие знания имеются...

[rvv]

Полгода назад у меня были похожие наблюдения на нескольких ONT. Для эксперимента отключал клиент TR-069 через WEB Management / TR-069 Client. Последнее время на других ONT наблюдались зависания, когда поднять сессию telnet или залогиниться по WEB было невозможно. И соответственно посмотреть что их грузит не представлялось возможным.

[stfunoob]

Последнее время на других ONT наблюдались зависания, когда поднять сессию telnet или залогиниться по WEB было невозможно. И соответственно посмотреть что их грузит не представлялось возможным.

Все именно так. Но если залогиниться telnet-ом до зависания и не давать сессии умереть - то её не отстреливает при зависании (как это происходит с WEBом) и таки можно попробовать посмотреть, что же происходит.

[stfunoob]

За прошедшее время удалось несколько раз отловить проблему будучи зателнеченным в ONT. В некоторых случаях - провести некоторые эксперименты. К уже описанным в теме симптомам добавилось 2 случая, когда проблема нарушала доступ пользователя к сети Интернет через ONT.

Во всех случаях, которые получалось наблюдать, проблему вызывал процесс tr69c; выглядело это примерно так:

Код: Выделить всё

 PID  PPID USER     STAT   VSZ %MEM CPU %CPU COMMAND
16663 15334 admin    R     5412   4%   0  49% tr69c -m 0
   24     2 admin    SW<      0   0%   1   1% [events/1]
   17     2 admin    SW       0   0%   1   0% [sirq-net-rx/1]
16642 14861 admin    R     1572   1%   0   0% top

Во всех случаях проблемы с ONT моментально решались после kill -9 <PID tr69c>

Если после этого изменив (или не изменив) настройки в вебморде Management/TR-069 Client нажать Allpy/Save - процесс запускается и моментально снова вешает ONTшку (ну, во всяком случае при следующем обновлении top-а загрузка снова улетает к заветным 49%, а веб-морда сразу "отваливается").

Трафика как такового при этом небыло: tcpdump -i epon0.6 not tcp port 23 показывал пустоту.

Реконфиг ONT по прежнему не помогает, но один раз случилось совсем неприятное - после перезагрузки tr69c очень быстро вешал ONTшку. С 3его раза удалось успеть залогиниться в telnet и пристрелить его.

Пробовал запускать из консоли с -v 2 (LOG_DEBUG): нормальный запуск и запуск курильщика. Различные настройки в Management/TR-069 Client никак не влияют на то, запустится ли t69c нормально или нет.

Ещё из неприятного: судя по всему, настройка "WAN Interface used by TR-069 client" в Management/TR-069 Client никак не влияет на то, на каком интерфейсе будет слушать tr69c - он все равно слушает на всех.

Т.к. надежда на то, что это будет отслежено и пофикшено в ближайшем обозримом будущем весьма слабая (хотя бы из-за сложности воспроизведения), хотелось бы заиметь какой-нибудь способ отключать старт tr69c для тех, кто им не пользуется. Пусть это будет отдельная прошивка; пусть это будет возможно только из busybox-a. Иначе уже серьезно подумываем над тем, чтобы вместо 1402G/1402GC начать закупать 2B/2C + какой-нибудь роутер из беспроблемных.

[Александр Д]

Напишите представителем какого оператора Вы являетесь на почту технической поддержки (есть в подписи) далее попробуем найти решение данной проблемы.