Important Service Outage

Switzernet

2008-02-26 23:45

Four of our servers were seriously affected by a network problem occurred at 2008-02-26 2:00 AM in the network of one of our data centers [report]. The SIP servers were overloaded due to high packet loss rate with the authentication servers. The load of SIP servers was redistributed across operational servers at about 14:00:

The packet loss rate was under control at about 17:30:

Sujet : transit globalcrossing

mardi, 26 février 2008, 09:48

Catégorie : tout le reseau 

Détails : Nous constatons des perturbations sur le lien transit avec globalcrossing depuis 2h ce matin environ. Nous travaillons sur le problème.

mardi, 26 février 2008, 10:13

Nous venons de couper les 2 sessions BGP que nous avons avec Global Crossing (2x10G) parce que c'est instable. Nous continuons à fonctionner avec tous les autres fournisseurs de transit (Teleglone, T-System, Free).

mardi, 26 février 2008, 10:32

Nous avons remis une sessions BGP de peering avec Global Crossing afin de voir toutes les routes non "multihome". Et changer la configuration de BGP sur Teleglobe.

mardi, 26 février 2008, 12:30

Nous avons été en contact avec le NOC de global crossing. Il n'y a rien de leur côté non plus. Nous avons remis la session BGP en place. Après 3 minutes les problemes ont recommencé.

On cherche.

mardi, 26 février 2008, 13:14

Dés que les sessions BGP sont en fonctionnement, la communication entre les 2 routeurs est mauvaise. Même le ping ne passe pas bien alors qu'on est à peine sur 1Gbps.

mardi, 26 février 2008, 13:19

On va rebooter gsw-1-6k.

gsw-1-6k uptime is 1 year, 6 days, 8 hours, 57 minutes

mardi, 26 février 2008, 14:13

Nous avons coupé les sessions BGP avec Global Crossing. Nous cherchons avec les ingés reseau de GBLX l'origine du probleme.

En attendant trouver l'origine du probleme, nous avons équilibré le traffic du reseau avec les 4x10G que nous avons chez Free.

mardi, 26 février 2008, 14:36

Nous faisons les tests. Il y a à nouveau des pertes de packets. Sur chaque interface dés que nous depassons 1Gbps par interface 10G, il y a des pertes de packets. On cherche pourquoi.

mardi, 26 février 2008, 14:47

La carte sur le routeur de Global Crossing ne fonctionne pas correctement. Ils ont declanché un changement de la carte. En attendant ils sont en train de regarder s'il n'y a pas de ports 10G libres sur un routeur chez eux à Paris.

mardi, 26 février 2008, 14:57

Les 2x10G vont être bougés sur une autre carte du même routeur. On attend la manip de côté GBLX.

Plus tard dans la nuit, la carte va être changée et nous allons passer l'un de 2 10G sur la nouvelle carte. Comme ça on sera connecté sur 2 cartes differentes du même routeur.

mardi, 26 février 2008, 15:37

Les ports ont été bougé. Nous testons.

mardi, 26 février 2008, 15:42

Tout est okey. Le trafic passe bien. Nous attendons 1 heure.

mardi, 26 février 2008, 16:19

Tout marche. L'incident est fini. Désolé pour les perturbations.

mardi, 26 février 2008, 17:18

Le probleme n'est pas resolu. Dés qu'on push plus que 7Gbps en tout il y a un probleme à nouveau. Nous avons reduit le traffic sur GBLX pour l'instant.

mardi, 26 février 2008, 17:22

Les ingés de Cisco sont sur le coup pour trouver l'origine du probleme. Nous tournons avec moins de 7Gbps sur les 2 interfaces et le reste sur Teleglobe.

As soon as the packet loss rate was under control, at about 17:30 we started re-distribution of the load back across the full range of servers. The datacenter limited the traffic through the faulty links for ensuring lossless transmissions:

The impact on the overall traffic:

Date	Time	Inbound+Outbound
08-02-27	00:15
08-02-27	00:00
08-02-26	23:45
08-02-26	23:30
08-02-26	23:15
08-02-26	23:00
08-02-26	22:45
08-02-26	22:30
08-02-26	22:15
08-02-26	22:00
08-02-26	21:45
08-02-26	21:30
08-02-26	21:15
08-02-26	21:00
08-02-26	20:45
08-02-26	20:30
08-02-26	20:15
08-02-26	20:00
08-02-26	19:45
08-02-26	19:30
08-02-26	19:15
08-02-26	19:00
08-02-26	18:45
08-02-26	18:30
08-02-26	18:15
08-02-26	18:00
08-02-26	17:45
08-02-26	17:30
08-02-26	17:15
08-02-26	17:00
08-02-26	16:45
08-02-26	16:30
08-02-26	16:15
08-02-26	16:00
08-02-26	15:45
08-02-26	15:30
08-02-26	15:15
08-02-26	15:00
08-02-26	14:45
08-02-26	14:30
08-02-26	14:15
08-02-26	14:00
08-02-26	13:45
08-02-26	13:30
08-02-26	13:15
08-02-26	13:00
08-02-26	12:45
08-02-26	12:30
08-02-26	12:15
08-02-26	12:00
08-02-26	11:45
08-02-26	11:30
08-02-26	11:15
08-02-26	11:00
08-02-26	10:45
08-02-26	10:30
08-02-26	10:15
08-02-26	10:00
08-02-26	09:45
08-02-26	09:30
08-02-26	09:15
08-02-26	09:00
08-02-26	08:45
08-02-26	08:30
08-02-26	08:15
08-02-26	08:00
08-02-26	07:45
08-02-26	07:30
08-02-26	07:15
08-02-26	07:00
08-02-26	06:45
08-02-26	06:30
08-02-26	06:15
08-02-26	06:00
08-02-26	05:45
08-02-26	05:30
08-02-26	05:15
08-02-26	05:00
08-02-26	04:45
08-02-26	04:30
08-02-26	04:15
08-02-26	04:00
08-02-26	03:45
08-02-26	03:30
08-02-26	03:15
08-02-26	03:00
08-02-26	02:45
08-02-26	02:30
08-02-26	02:15
08-02-26	02:00
08-02-26	01:45
08-02-26	01:30
08-02-26	01:15
08-02-26	01:00
08-02-26	00:45
08-02-26	00:30
08-02-26	00:15
08-02-26	00:00
08-02-25	23:45
08-02-25	23:30
08-02-25	23:15
08-02-25	23:00
08-02-25	22:45
08-02-25	22:30
08-02-25	22:15
08-02-25	22:00
08-02-25	21:45
08-02-25	21:30
08-02-25	21:15
08-02-25	21:00
08-02-25	20:45
08-02-25	20:30
08-02-25	20:15
08-02-25	20:00
08-02-25	19:45
08-02-25	19:30
08-02-25	19:15
08-02-25	19:00
08-02-25	18:45
08-02-25	18:30
08-02-25	18:15
08-02-25	18:00
08-02-25	17:45
08-02-25	17:30
08-02-25	17:15
08-02-25	17:00
08-02-25	16:45
08-02-25	16:30
08-02-25	16:15
08-02-25	16:00
08-02-25	15:45
08-02-25	15:30
08-02-25	15:15
08-02-25	15:00
08-02-25	14:45
08-02-25	14:30
08-02-25	14:15
08-02-25	14:00
08-02-25	13:45
08-02-25	13:30
08-02-25	13:15
08-02-25	13:00
08-02-25	12:45
08-02-25	12:30
08-02-25	12:15
08-02-25	12:00
08-02-25	11:45
08-02-25	11:30
08-02-25	11:15
08-02-25	11:00
08-02-25	10:45
08-02-25	10:30
08-02-25	10:15
08-02-25	10:00
08-02-25	09:45
08-02-25	09:30
08-02-25	09:15
08-02-25	09:00
08-02-25	08:45
08-02-25	08:30
08-02-25	08:15
08-02-25	08:00
08-02-25	07:45
08-02-25	07:30

*   *   *