Storing mainsite

Discussieer mee over de wereld van het grootschalig elektriciteitsnet en alles wat daarmee te maken heeft
Plaats reactie
Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Storing mainsite

Bericht door Hans » 18 aug 2014 10:45

Beste gebruikers van de mainsite,

Momenteel ervaren we een storing op de mainsite. Het opwaarderen van een bepaald stuk software is niet verlopen zoals dat had gemoeten. Hierdoor is een cascadestoring ontstaan en momenteel is de zaak ongewild spanningsloos.
Het forum (dit platform) is niet beïnvloed en staat nog wel gewoon onder spanning.

We werken eraan de zaak zo snel mogelijk weer in commissie te krijgen met behulp van een backup, maar het is moeilijk te zeggen hoe lang een en ander gaat duren. Tot die tijd, onze verontschuldiging voor het ongemak.

Gebruikersavatar
Shrek
380 kV + Netkaartcrew
Berichten: 2493
Lid geworden op: 18 mei 2012 17:53
Dichtstbijzijnde trafo: Wespelaar

Re: Storing mainsite

Bericht door Shrek » 18 aug 2014 11:50

Hans schreef: We werken eraan de zaak zo snel mogelijk weer in commissie te krijgen met behulp van een backup, maar het is moeilijk te zeggen hoe lang een en ander gaat duren.
De blackstart capacity testen dus

Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Re: Storing mainsite

Bericht door Hans » 18 aug 2014 12:01

Shrek schreef: De blackstart capacity testen dus
Dat blijkt inderdaad niet eenvoudig. Ik heb liever gewoon een gefaalde component met een enkelvoudige storing. Dan leid je gewoon wat dingen om via de FTP en dan loopt de zaak weer. Er staat nu nog een aangekoppelde belasting van ongeveer 350 pagina's en een paar duizend klantaansluitingen via de netkaart (waarvan enkele honderden de laatste 24 uur onder spanning zijn geweest), samen met een database die in totaal 1,5 Gigawatt- eh, byte aan capaciteit vraagt. Dat is me nogal geen blackstart.

Gisteravond werd de N-1 toestand al afgekondigd bij het beheer (de enkelvoudige storingsreserve zou niet gewaarborgd zijn als zowel wijzelf alsook de host tegelijk bezig waren met onderhoud), maar vanmorgen heb ik die toestand weer ingetrokken en nu zitten we met een gefaalde component in de webserver. Het gevolg was een cascade die de FTP-omgeving liet klappen. Normaal is er dan nog de opofferingsbeslissing, de uiterste bevoegdheid. Maar omdat alles op zwart staat valt er niets op te offeren om een storing af te wenden. We hebben dus een heuse power crash. Zodra ik meer weet, hoort men ervan. Eerst zelf maar eens een blackstart doen: ik ben wel even toe aan een enorm sterke kop zwarte koffie.

Ik ben eventjes erg blij dat het forum momenteel op eilandbedrijf draait.
Halfverankering is net als Volbeat: het kan altijd

Gebruikersavatar
Mark
Globale moderator
Berichten: 1190
Lid geworden op: 25 jan 2012 01:06
Dichtstbijzijnde trafo: Spijkenisse

Re: Storing mainsite

Bericht door Mark » 18 aug 2014 15:54

Kudo's voor de analogie naar het hoogspanningsbedrijf .

Alexander
laagspanning
Berichten: 7
Lid geworden op: 19 aug 2014 10:09
Dichtstbijzijnde trafo: Almelo Mosterdpot

Re: Storing mainsite

Bericht door Alexander » 19 aug 2014 10:15

Beetje vreemde eerste reactie als 'net ingelust persoon' die de site al een tijdje volgt.

Zijn er al aggregaten besteld/onderweg om het geheel weer onder spanning te brengen? Is er nog een parallelschakeling mogelijk naar een eerdere grondsituatie voor de werkzaamheden?
Zo nee, nog een monteur nodig?

Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Re: Storing mainsite

Bericht door Hans » 19 aug 2014 10:27

Momenteel is men bij de leverancier van vermogen (euh.. de host) ermee bezig. Inmiddels weten we dat er een enkelvoudige storing is ontstaan tijdens het in bedrijf nemen van een opwaardering. Er werd een stap overgeslagen in het uitvoeren van een update. Dat resulteerde in een harde sluiting en daarna vond er een cascadestoring plaats in de FTP, zodat het hele deelnet op zwart ging. Vanwege veiligheidsredenen is de automatische herinschakeling daarna gefaald, zodat het net spanningsloos bleef en er handmatig naar gekeken moest worden.

Het is altijd moeilijk om een blackstart uit te voeren als je niet weet waar de gefaalde component zich bevindt. Daardoor hebben we het verzoek aan de host gedaan om de bedrijfstoestand van een paar dagen eerder te herstellen.

Dank voor de suggestie m.b.t. aanbod van noodvermogen. Maar vooralsnog is de bal eerst bij de host gelegd. Daar betalen we dan ook netwerkkosten voor. Dit wachten we eerst even af en ik weet dat er wordt momenteel aan wordt gewerkt.
Halfverankering is net als Volbeat: het kan altijd

Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Re: Storing mainsite

Bericht door Hans » 19 aug 2014 18:01

Inmiddels is de storing verholpen.
Nog niet alle deelnetten zijn weer onder spanning gebracht (zo werkt de bezoekersteller nog steeds niet), maar alle pagina's en klantaansluitingen zijn inmiddels weer van vermogen voorzien. Ook de netkaart functioneert weer.
Binnenkort zal opnieuw dezelfde update als welke de storing veroorzaakte moeten worden doorgevoerd i.v.m. de netbeveiliging. Er zal ditmaal echter een andere procedure voor worden gevolgd.

Alexander
laagspanning
Berichten: 7
Lid geworden op: 19 aug 2014 10:09
Dichtstbijzijnde trafo: Almelo Mosterdpot

Re: Storing mainsite

Bericht door Alexander » 19 aug 2014 18:30

Mooi dat de mainsite weer op spanning is gebracht. Zal wel wat kopzorgen hebben gekost.

Maak je gebruik van een oefencircuit voordat je het circuit verzwaard? Misschien is het handig om die wel te hebben om de verzwaring te testen.
Vergeet niet de extra bundelgeleiders naar het backup station en de MySQL condensator. Die wordt nog wel eens vergeten.

Ik ben blij dat de landelijke netbeheerder beide condensators nog gevuld en op voorraad had, want doorgaans is de regionale netbeheerder daar zelf voor verantwoordelijk.

Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Re: Storing mainsite

Bericht door Hans » 21 aug 2014 09:57

Nou staat die mainsite alweer zonder spanning.
Klinkt gek van het netbeheer om daar zelf over te klagen. Maar de oorzaak is ditmaal toch echt buiten onszelf gelegen.

Sinds gistermiddag zijn er geen omschakelingen geweest en alles zou gewoon marktbeschikbaar moeten zijn. De oorzaak ligt dan ook op een heel bekende plek met het hoofdkantoor in Lelystad. De ticketafhandeling en service van onze vermogensleverancier is uitstekend (daarover hoor je ons niet), maar de uptime en performance daarentegen...

Gebruikersavatar
Hans
Site Admin + actief in het mainsite team
Berichten: 3824
Lid geworden op: 03 dec 2011 20:49
Dichtstbijzijnde trafo: Veenoord 110/10 kV

Re: Storing mainsite

Bericht door Hans » 22 aug 2014 13:41

Ook vandaag weer spanningsloze toestand.
Inmiddels wordt het beheer het zat om excuses te prevelen, vandaar dit bericht op deze plek in plaats van in Schakelveld 51.

Ik heb de host om opheldering gevraagd en ze moeten met a) een goed verhaal en b) een verder storingsvrij restant van deze maand aankomen, wil ik niet heel dringend gaan kijken bij de concurrentie.
De balans tussen een uitstekende klantenservice en de bedroevende uptime begint zoek te raken. Ook non-profit websites hebben belang bij bereikbaarheid, zeker met een web-based netkaart die nu dus ook niet werkt bij alle aangeslotenen.

Plaats reactie