Thursday 14th November 2019

Secured by Nets Opfølgning på Secured by Nets

Secured by Nets problemer - opfølgning

Fra tirsdag kl. 15.30 til torsdag kl. 11.30 var det ikke muligt at gennemføre Dankort betalinger med Secured by Nets gennem QuickPay. Andre PSPer var kortvarigt ramt omkring tirsdag kl. 15.30, mens vi desværre blev ramt af længerevarende problemer.

Næsten 2 døgns driftsproblemer på en del af betalingsflowet er heldigvis aldrig noget, vi har oplevet før. For mange af de berørte butikker var det heldigvis muligt enten af deaktivere Secured by Nets eller få Visa/Dankort processeret som Visa-kort i stedet for Dankort, og de kunne dermed modtage betalinger i perioden.

Selve problemet

Da først selve problemet blev fundet, var en løsning sat i drift på omkring 20 minutter.

Problemet skyldes en opdatering af et framework hos Nets’ underleverandør af Secured by Nets. Denne opdatering betød, at Secured by Nets afviste alle requests fra QuickPay, da de indeholdte en såkaldt SOAPAction HTTP header.

Der er påbegyndt en dialog med Nets’ underleverandør for at finde ud af, hvordan en mindre opdatering af deres framework betød, at betalinger slet ikke kunne gennemføres.

Om problemet i sidste ende var fordi at vi sendte en header, der ikke skulle have været sendt, eller om det skyldtes at Secured by Nets ikke længere accepterede denne header er dog ikke formålet med denne opfølgning. Fejl kan ske, og sker, hos QuickPay, Nets og Nets’ underleverandører. Det er desværre umuligt helt at undgå, selvom oppetid, sammen med sikkerhed, er vores øverste prioriteter.

Det som springer i øjnene i denne sag er en meget vanskelig kommunikation mellem to samarbejdspartnere, som desværre resulterer i unødig lang “nedetid”.

Processen med at finde problemet

Det viste sig, at den største udfordring blev at lokalisere problemet.

Fra betalingerne blev afvist fra tirsdag 15.30, gik der få minutter til at status.quickpay.net blev opdateret med en besked om at betalinger gennem Secured by Nets blev afvist. Vi kontaktede Nets og meldingen derfra var, i vanlig stil, at de ikke havde driftsproblemer. Desværre betød en mindre, urelateret, fejl hos os, at disse afviste betalinger ikke blev logget korrekt som fejl hos os.

Kort tid efter går situationens alvor op for os, og vi gik tilbage til egne systemer og ledte med lys og lygte efter noget som ikke var, som det skulle være. Alle services kørte, og da vi ikke havde ændret den del af systemerne længe, var vi, også som vanligt, noget mistroiske overfor Nets' melding om, at de ikke havde driftsproblemer.

Vi eskalerede vores "nødråb" til Nets. Ved 22-tiden fik vi besked af Nets, at de ville kigge på det næste morgen(!).

Onsdag fortsatte dialogen med Nets, der ikke kunne melde om problemer eller systemændringer i deres ende. Onsdag ved 17-tiden meldte Nets, at deres underleverandør vurderede, at problemet skyldes et udløbet certifikat. Onsdag aften blev herefter hos os brugt på at kigge på dette, uden det desværre viste sig at være tilfældet eller grunden til problemerne. Senere i forløbet blev det oplyst fra Nets, at underleverandøren på starttidspunktet for problemerne havde udført en mindre systemopdatering.

På dette tidspunkt kontaktede vi Nets’ underleverandør direkte. Dette muligjgorde en reel fejlsøgning. Da det endelige problem blev fundet blev en løsning sat i drift ca. 20 min senere.

Afrunding

Vi skal endnu en gang beklage den historisk lange nedetid på en delservice. Vi er i færd med, at følge op hos Nets om hvorfor en løsning på så relativt simpelt problem skulle tage så uendelig lang tid. Nets har for så vidt allerede beklaget forløbet og den mangel på service og kommunikation vi føler at have oplevet.