#1 Le 29/01/2021, à 15:18
- romaillard
Interruptions régulières courtes de connexions TCP
Bonjour,
après avoir fouillé un peu partout, je me résigne à poster une discussion des fois qu'une bonne âme aie une idée ou simplement une piste.
En résumé : j'ai installé ubuntu (serveur LTS) sur un pc et il me sert de pare-feu/frontal/passerelle pour un réseau interne ; ce pc (thinkcentre M81) est équipé de 3 prises RJ45 (une interne et 2 PCIs, dont une inactive).
Depuis plusieurs semaines j'ai constaté une interruption complète de toutes les connexions TCP de 2mn toutes les 2 heures, avec parfois une variation d'un jour à l'autre, en clair : un décalage arrive parfois. La coupure arrive de façon assez prévisible de ce fait, et le retour à la normale aussi sans aucune intervention de ma part.
J'ai mis en place un suivi minute par minute pour en faire un graphique, en pièce jointe qui montre bien le phénomène.
Tentatives :
- désactiver toutes les tâches planifiées ;
- changer les câbles pour des catég. 6 ;
- changer de cartes réseaux,
- passer de ubuntu 16.0.4 LTS 32 bits à ubuntu 16.0.4 LTS 64 bits puis à ubuntu 18.0.4 LTS 64 bits ;
- rebooter la box Orange également
: sans effet.
Les adresses IPv4 sont statiques.
Je devrais avoir sous peu un autre PC pour remplacement, nous verrons bien.
Je précise que j'ai déjà effectué d'autres installations avec Ubuntu, ce serveur "frontal" a gentiment fait son boulot pendant plus d'un an sans problème.
J'ai ouvert un ticket auprès du FAI (Fibre Orange) : gelé.
Pour devancer les questions :
ifconfig
root@frontal:/home/romain# ifconfig
eno1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 90.115.53.27 netmask 255.255.255.0 broadcast 90.115.53.255
ether cc:52:af:45:56:b8 txqueuelen 1000 (Ethernet)
RX packets 3068987 bytes 406182173 (406.1 MB)
RX errors 0 dropped 1724 overruns 0 frame 0
TX packets 4755121 bytes 2277503210 (2.2 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
device interrupt 20 memory 0xfe500000-fe520000
enp3s0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.1.8 netmask 255.255.255.0 broadcast 192.168.1.255
ether d4:6e:0e:00:2a:70 txqueuelen 1000 (Ethernet)
RX packets 17816552 bytes 19289169779 (19.2 GB)
RX errors 0 dropped 1724 overruns 0 frame 0
TX packets 12083273 bytes 897664162 (897.6 MB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
loop txqueuelen 1000 (Boucle locale)
RX packets 4572720 bytes 6387663388 (6.3 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 4572720 bytes 6387663388 (6.3 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
root@frontal:/home/romain#
uname -r -m
root@frontal:/home/romain# uname -r -m
4.15.0-134-generic x86_64
root@frontal:/home/romain#
cat /etc/network/interfaces
root@frontal:/home/romain# cat /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).
source /etc/network/interfaces.d/*
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
#auto eno1
#iface eno1 inet dhcp
# The primary network interface
# iface eno1 inet dhcp
# §§RMA 20180529 iface eno1 inet dhcp
auto eno1
iface eno1 inet static
address 90.115.53.27
netmask 255.255.255.0
dns-nameservers 194.2.0.20 194.2.0.50 8.8.8.8
up route add default gw 90.115.53.30
down route del default gw 90.115.53.30
#auto enp2s0
#iface enp2s0 inet static
#address 192.168.1.8
#netmask 255.255.255.0
#dns-nameservers 194.2.0.20 194.2.0.50
auto enp3s0
iface enp3s0 inet static
address 192.168.1.8
netmask 255.255.255.0
dns-nameservers 194.2.0.20 194.2.0.50
gateway 90.115.53.27
# up route add default gw 192.168.1.8
# down route del default gw 192.168.1.8
root@frontal:/home/romain#
lspci -k -nn | grep -A 3 -i net
root@frontal:/home/romain# lspci -k -nn | grep -A 3 -i net
00:19.0 Ethernet controller [0200]: Intel Corporation 82579LM Gigabit Network Connection (Lewisville) [8086:1502] (rev 04)
Subsystem: Lenovo 82579LM Gigabit Network Connection (Lewisville) [17aa:3077]
Kernel driver in use: e1000e
Kernel modules: e1000e
00:1a.0 USB controller [0c03]: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2 [8086:1c2d] (rev 04)
--
02:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168] (rev 06)
Subsystem: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:0123]
Kernel driver in use: r8169
Kernel modules: r8169
03:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8169 PCI Gigabit Ethernet Controller [10ec:8169] (rev 10)
Subsystem: Realtek Semiconductor Co., Ltd. RTL8169/8110 Family PCI Gigabit Ethernet NIC [10ec:8169]
Kernel driver in use: r8169
Kernel modules: r8169
root@frontal:/home/romain#
netstat -nat | grep -v LISTEN
root@frontal:/home/romain# netstat -nat | grep -v LISTEN
Connexions Internet actives (serveurs et établies)
Proto Recv-Q Send-Q Adresse locale Adresse distante Etat
tcp 0 0 192.168.1.8:41132 192.168.1.25:9182 ESTABLISHED
tcp 0 0 192.168.1.8:44962 192.168.1.90:9182 ESTABLISHED
tcp 0 0 127.0.0.1:9104 127.0.0.1:59704 ESTABLISHED
tcp 0 0 127.0.0.1:59704 127.0.0.1:9104 ESTABLISHED
tcp 0 64 192.168.1.8:22222 82.64.224.162:40815 ESTABLISHED
tcp 0 0 192.168.1.8:53478 192.168.1.88:9182 ESTABLISHED
tcp 0 0 127.0.0.1:45142 127.0.0.1:3306 TIME_WAIT
tcp 0 0 192.168.1.8:60066 192.168.1.93:9182 ESTABLISHED
tcp 0 0 127.0.0.1:45166 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45150 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45154 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45182 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45178 127.0.0.1:3306 TIME_WAIT
tcp 0 0 90.115.53.27:9149 51.159.3.152:55512 TIME_WAIT
tcp 0 0 127.0.0.1:45174 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45158 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:45146 127.0.0.1:3306 TIME_WAIT
tcp 0 0 192.168.1.8:43740 192.168.1.74:9182 ESTABLISHED
tcp 0 0 90.115.53.27:9149 51.159.3.152:55456 TIME_WAIT
tcp 0 0 127.0.0.1:57844 127.0.0.1:9090 ESTABLISHED
tcp 0 0 127.0.0.1:3306 127.0.0.1:45138 TIME_WAIT
tcp 0 0 127.0.0.1:45162 127.0.0.1:3306 TIME_WAIT
tcp 0 0 192.168.1.8:43302 192.168.1.32:9182 ESTABLISHED
tcp 0 0 127.0.0.1:57874 127.0.0.1:9090 ESTABLISHED
tcp 0 0 127.0.0.1:3306 127.0.0.1:45166 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:45150 TIME_WAIT
tcp 0 0 192.168.1.8:22222 82.64.224.162:52703 ESTABLISHED
tcp 0 0 192.168.1.8:37816 192.168.1.31:9182 ESTABLISHED
tcp 0 0 127.0.0.1:3306 127.0.0.1:45158 TIME_WAIT
tcp 0 0 192.168.1.8:54098 192.168.1.49:9182 ESTABLISHED
tcp 0 0 127.0.0.1:3306 127.0.0.1:45154 TIME_WAIT
tcp 0 0 127.0.0.1:45138 127.0.0.1:3306 TIME_WAIT
tcp 0 0 192.168.1.8:47422 192.168.1.77:9182 ESTABLISHED
tcp 0 0 192.168.1.8:55104 192.168.1.39:9182 ESTABLISHED
tcp 0 0 127.0.0.1:3306 127.0.0.1:45170 TIME_WAIT
tcp 0 0 127.0.0.1:45170 127.0.0.1:3306 TIME_WAIT
tcp 0 0 127.0.0.1:3306 127.0.0.1:45178 TIME_WAIT
tcp 0 0 90.115.53.27:9149 51.159.3.152:55484 TIME_WAIT
tcp 0 1 192.168.1.8:46094 192.168.1.78:9182 SYN_SENT
tcp 0 0 90.115.53.27:9149 51.159.3.152:55424 TIME_WAIT
tcp 0 0 127.0.0.1:38944 127.0.0.1:9100 ESTABLISHED
tcp6 0 0 127.0.0.1:9090 127.0.0.1:57844 ESTABLISHED
tcp6 0 0 90.115.53.27:9090 51.159.4.148:39322 ESTABLISHED
tcp6 0 0 127.0.0.1:9100 127.0.0.1:38944 ESTABLISHED
tcp6 0 0 90.115.53.27:9100 51.159.3.152:60546 ESTABLISHED
tcp6 0 0 127.0.0.1:9090 127.0.0.1:57874 ESTABLISHED
root@frontal:/home/romain#
En espérant avoir respecté la charte (je suis un habitué du forum, mais nouvel inscrit)
(https://zupimages.net/viewer.php?id=21/04/p998.png)
Merci d'avance Rm *
Dernière modification par romaillard (Le 29/01/2021, à 15:21)
Hors ligne
#2 Le 01/04/2021, à 11:59
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Je reviens sur le sujet,
problème similaire : https://unix.stackexchange.com/question … er-2-hours
piste envisagée, sans succès (paramètre obsolète) : https://tldp.org/HOWTO/TCP-Keepalive-HO … alive.html
La valeur suivie par le graphique est tcpCurrEstab (https://github.com/librenms/librenms/bl … #L158-L165)
à suivre...
Dernière modification par romaillard (Le 01/04/2021, à 12:01)
Hors ligne
#3 Le 01/04/2021, à 12:22
- gascon
Re : Interruptions régulières courtes de connexions TCP
Salut, sur ton graphique sa a l’air de se produire a heure régulier. 2h puis 4h.
Pour les changement de version tu as fait des mise a niveaux ou des réinstallations ? Tel que tu le dit on dirait des mise a niveaux.
Tu peu pas brancher un des PC de ton réseaux directement sur la box et lui faire faire le même log. De manière temporaire pour déterminer définitivement si sa viens de la connexion ou de ton serveur ?
Dernière modification par gascon (Le 01/04/2021, à 13:16)
se qui ne me tue pas me rend plus fort Tout seul on va plus vite, ensemble, on va plus loin. ^^
Hors ligne
#4 Le 01/04/2021, à 12:59
- iznobe
Re : Interruptions régulières courtes de connexions TCP
Bonjour ,
il faudrait regarder dans les logs , voir si il n ' y a pas un truc qui s' active aux heures en concordances avec les heures de la coupure .
coté hardware peut donner des indications arret redemarrage peut etre :
sudo dmesg
Je ne pense pas que ca est a voir avec la config reseau .
Un serveur DHCP installé sur la machine ?
Dernière modification par iznobe (Le 01/04/2021, à 13:04)
retour utilisable de commande
MSI Z490A-pro , i7 10700 , 32 GB RAM .
Hors ligne
#5 Le 03/04/2021, à 09:21
- bruno
Re : Interruptions régulières courtes de connexions TCP
Bonjour,
Il peut y avoir tout un tas de raisons à cela, à commencer par les services actifs et la configuration du pare-feu.
Il faudrait indiquer les services en écoute :
sudo ss -tunlp
Et aussi la configuration complète du pare-feu.
Hors ligne
#6 Le 19/04/2021, à 17:16
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Salut, sur ton graphique sa a l’air de se produire a heure régulier. 2h puis 4h.
Pour les changement de version tu as fait des mise a niveaux ou des réinstallations ? Tel que tu le dit on dirait des mise a niveaux.Tu peu pas brancher un des PC de ton réseaux directement sur la box et lui faire faire le même log. De manière temporaire pour déterminer définitivement si sa viens de la connexion ou de ton serveur ?
Merci pour le retour,
une mise à niveau, puis une réinstallation complète, et enfin un changement de machine, carrément.
J'ai mis un peu de temps à revenir ici, le problème n'est pas réglé, même si le FAI est intervenu pour corriger au niveau de sa box (+ reboot de celle-ci).
Nous continuons à chercher, pour sûr si je trouve je mettrais la solution ou l'explication par ici
Hors ligne
#7 Le 19/04/2021, à 17:19
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Bonjour ,
il faudrait regarder dans les logs , voir si il n ' y a pas un truc qui s' active aux heures en concordances avec les heures de la coupure .
coté hardware peut donner des indications arret redemarrage peut etre :sudo dmesg
Je ne pense pas que ca est a voir avec la config reseau .
Un serveur DHCP installé sur la machine ?
Dmesg ? bonne idée, merci ; j'attendrai la prochaine pour fouiller. J'ai ausculté toutes les logs, en arrêtant le plus de services possible, rien vu de spécial.
Hors ligne
#8 Le 19/04/2021, à 17:27
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Bonjour,
Il peut y avoir tout un tas de raisons à cela, à commencer par les services actifs et la configuration du pare-feu.
Il faudrait indiquer les services en écoute :sudo ss -tunlp
Et aussi la configuration complète du pare-feu.
Je ne connaissais pas ss, plutôt adepte du netstat ou iftop etc. Essentiellement les mêmes infos semble t-il.
voilà le retour de commande, même si ce n'est pas en pleine coupure...
# ss -tunlp
Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port
udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=800,fd=12))
tcp LISTEN 0 128 0.0.0.0:22222 0.0.0.0:* users:(("sshd",pid=3298,fd=3))
tcp LISTEN 0 128 0.0.0.0:80 0.0.0.0:* users:(("apache2",pid=20366,fd=4),("apache2",pid=20365,fd=4),("apache2",pid=19771,fd=4),("apache2",pid=19358,fd=4),("apache2",pid=5170,fd=4),("apache2",pid=4931,fd=4),("apache2",pid=4930,fd=4),("apache2",pid=4926,fd=4),("apache2",pid=4925,fd=4),("apache2",pid=4924,fd=4),("apache2",pid=4773,fd=4))
tcp LISTEN 0 128 0.0.0.0:8080 0.0.0.0:* users:(("apache2",pid=20366,fd=3),("apache2",pid=20365,fd=3),("apache2",pid=19771,fd=3),("apache2",pid=19358,fd=3),("apache2",pid=5170,fd=3),("apache2",pid=4931,fd=3),("apache2",pid=4930,fd=3),("apache2",pid=4926,fd=3),("apache2",pid=4925,fd=3),("apache2",pid=4924,fd=3),("apache2",pid=4773,fd=3))
tcp LISTEN 0 128 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=800,fd=13))
tcp LISTEN 0 128 127.0.0.1:1431 0.0.0.0:* users:(("sqlservr",pid=13701,fd=107))
tcp LISTEN 0 128 0.0.0.0:1433 0.0.0.0:* users:(("sqlservr",pid=13701,fd=64))
tcp LISTEN 0 100 0.0.0.0:25 0.0.0.0:* users:(("master",pid=4886,fd=13))
tcp LISTEN 0 32 0.0.0.0:18746 0.0.0.0:* users:(("proftpd",pid=6360,fd=0))
tcp LISTEN 0 128 0.0.0.0:19100 0.0.0.0:* users:(("apache2",pid=20366,fd=5),("apache2",pid=20365,fd=5),("apache2",pid=19771,fd=5),("apache2",pid=19358,fd=5),("apache2",pid=5170,fd=5),("apache2",pid=4931,fd=5),("apache2",pid=4930,fd=5),("apache2",pid=4926,fd=5),("apache2",pid=4925,fd=5),("apache2",pid=4924,fd=5),("apache2",pid=4773,fd=5))
tcp LISTEN 0 128 0.0.0.0:9149 0.0.0.0:* users:(("apache2",pid=20366,fd=6),("apache2",pid=20365,fd=6),("apache2",pid=19771,fd=6),("apache2",pid=19358,fd=6),("apache2",pid=5170,fd=6),("apache2",pid=4931,fd=6),("apache2",pid=4930,fd=6),("apache2",pid=4926,fd=6),("apache2",pid=4925,fd=6),("apache2",pid=4924,fd=6),("apache2",pid=4773,fd=6))
tcp LISTEN 0 32 0.0.0.0:1663 0.0.0.0:* users:(("proftpd",pid=6360,fd=1))
tcp LISTEN 0 32 0.0.0.0:1664 0.0.0.0:* users:(("proftpd",pid=6360,fd=2))
tcp LISTEN 0 80 *:3306 *:* users:(("mysqld",pid=2235,fd=23))
tcp LISTEN 0 128 *:29100 *:* users:(("prometheus-node",pid=974,fd=3))
tcp LISTEN 0 128 *:29966 *:* users:(("dotnet",pid=1586,fd=142))
tcp LISTEN 0 128 [::]:22222 [::]:* users:(("sshd",pid=3298,fd=4))
tcp LISTEN 0 128 *:29104 *:* users:(("prometheus-mysq",pid=1028,fd=3))
tcp LISTEN 0 100 [::]:25 [::]:* users:(("master",pid=4886,fd=14))
tcp LISTEN 0 128 *:1433 *:* users:(("sqlservr",pid=13701,fd=65))
tcp LISTEN 0 128 *:29090 *:* users:(("prometheus",pid=982,fd=7))
Pour la config. du pare-feu, je suis resté basique (iptables pur et dur), je vais éviter d'en faire lexhaustivité ici (parano. oblige), disons que j'ai pas mal de redirections sur ip et ports ; fail2ban ; et traces maisons
-A PREROUTING -s 176.158.122.245/32 -i enp4s0 -p tcp -m tcp --dport 3383 -j DNAT --to-destination 192.168.1.74:3389
...
-A INPUT -p tcp -j fail2ban-mysqld
-A INPUT -p tcp -m multiport --dports 3380,3381,3382,3383,3384,3392 -m set --match-set f2b-blacklist_TSC src -j REJECT --reject-with icmp-port-unreachable
...
-A INPUT -m set --match-set block src -j LOG --log-prefix " [HACK_block] "
-A INPUT -m set --match-set block src -j DROP
...
Pas de serveur DHCP sur cette machine, il a déjà bien des trucs en charge....
Dernière modification par romaillard (Le 19/04/2021, à 17:34)
Hors ligne
#9 Le 19/04/2021, à 18:03
- bruno
Re : Interruptions régulières courtes de connexions TCP
Ça fait pas mal de services (dont certains sensibles et potentiellement non sécurisés) exposés publiquement, bien plus que ce que tu laissais entendre dans ton premier message…
Ton extrait de pare-feu n'apporte aucune information utile.
Il va falloir que tu examines les logs des différents services au moment où tu as une coupure pour trouver le responsable.
Hors ligne
#10 Le 23/04/2021, à 14:20
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Ça fait pas mal de services (dont certains sensibles et potentiellement non sécurisés) exposés publiquement, bien plus que ce que tu laissais entendre dans ton premier message…
Ton extrait de pare-feu n'apporte aucune information utile.
Il va falloir que tu examines les logs des différents services au moment où tu as une coupure pour trouver le responsable.
Pour le pare-feu je m'en doutais, à pars la quantité de lignes, toutes dans le même style, je mets hors de cause pour le moment.
Pour ce qui est des logs des services, comme j'ai testé en les arrêtant, sans succès, je les mets hors de cause aussi, de fait.
Oui pas mal de services, la sécurisation est au niveau d'iptables (mais je ne suis pas parfait), je renforcerai à l'occasion, bonne remarque, merci.
Et le problème court toujours ;(
Hors ligne
#11 Le 23/04/2021, à 16:04
- iznobe
Re : Interruptions régulières courtes de connexions TCP
Bonjour , dans les logs de fail2ban , rien a signaler ? si des bots attaque toutes les 3 heures ?
le cron user et root ?
retour utilisable de commande
MSI Z490A-pro , i7 10700 , 32 GB RAM .
Hors ligne
#12 Le 23/04/2021, à 16:15
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Bonjour , dans les logs de fail2ban , rien a signaler ? si des bots attaque toutes les 3 heures ?
le cron user et root ?
Les stats sur fail2ban ne signalent aucun pic d'activité, pour root, je vais regarder, merci...
Hors ligne
#13 Le 25/05/2021, à 16:08
- romaillard
Re : Interruptions régulières courtes de connexions TCP
quelques jours plus tard ( )
non, rien de spécial dans les logs de cron...
Nous cherchons toujours
- à suivre -
Hors ligne
#14 Le 07/09/2021, à 11:02
- romaillard
Re : Interruptions régulières courtes de connexions TCP
Un redémarrage (quotidien à 3h30) a provoqué une instabilité sévère des liaisons TCP établies de l'extérieur.
Un changement pour un pilote plus approprié a permis un retour à la normale, enfin version avec coupures de 2mn/2h.
apt-get install r8168-dkms
Nous revoilà avec ces "petites coupures". A noter que juste après cette modification, les coupures étaient de 2mn toutes les 8h, jusqu'à redémarrage.
Toujours pas compris le truc.
Dernière modification par romaillard (Le 07/09/2021, à 11:04)
Hors ligne