Below will follow a detailed error report from Telenor Norway in regards to the disturbance on the 29th of February 2024.

Incident registrert
29/2-2024 10:06

Incident rettet
29/2-2024 12.26

Rotårsak
Feil på ruter kombinert med ustabil fiberkobling på sekundær IPT SBC

Kundekonsekvens
Kunder uten SBC lastdeling på IPT flerbruker-tjenesten var nede i perioden

Hendelse (hvordan rotårsaken oppsto)
Primær svitsj faller ned på IPT lokasjon Arthur. Konsollruter til primærsamband faller ut samtidig, noe som tyder på strømbrudd.

Hvordan ble feilen rettet
Re-kobling av fiber og switchover til SBC standby node (som benytter sekundær ruter). Deretter retting av feil på primær ruter.

Hendelsesforløp

10:06
Primær svitsj faller ned og trafikk re-rutes over sekundær aksess på IPT lokasjon Arthur. Det forventes at trafikk flyter ok gjennom sekundær ruter. Konsollruter til primærsamband faller ut samtidig, noe som tyder på strømbrudd. IPT SBC blir likevel berørt ved at ca 5-8% av trafikken avvises med 503 respons.

10:27
IPT SBC på lokasjon Arthur avviser nå alle terminerende anrop (innkommende til kunde). Originerende anrop fra IPT Flerbruker oppnår ikke kontakt med Arthur SBC, så kunder som ikke har implementert SBC lastdeling får derfor ikke ringt ut.

11:35
Manuell switchover til sekundær node i SBC Arthur utført. Nettverks-interface på kundesiden kommer opp OK, men SBC får ikke kontakt med switch på Telenor side Det legges derfor tilbake til primær node igjen

11:36
Manuell switchover tilbake til primær node i SBC, Arthur utført.

12:26
Feilen rettet. Tekniker har kommet ut på site Arthur, og har utført re- kobling av fiber på sekundær SBC-node. Det forsøkes manuell switchover på ny, og det bekreftes at SBC nå prosesserer trafikk som normalt igjen. Trafikk flyter gjennom sekundær SBC og sekundær ruter

‌

Tiltak 1. kort beskrivelse
Bytte/oppgradere ruter-par (allerede planlagt)

Ansvarlig
Fixed Network Planning and Rollout

Frist
30.06.2024

‌

Tiltak 2. kort beskrivelse
Innføre bedre alarmovervåkning på IPT SBC.

Ansvarlig
Mobile Core

Frist
31.03.24

‌

Tiltak 3. kort beskrivelse
Følge opp IPT-kunder som fortsatt ikke har innført støtte for SBC lastbalansering

Ansvarlig
Business Services

Frist