Storing mainsite
Storing mainsite
Beste gebruikers van de mainsite,
Momenteel ervaren we een storing op de mainsite. Het opwaarderen van een bepaald stuk software is niet verlopen zoals dat had gemoeten. Hierdoor is een cascadestoring ontstaan en momenteel is de zaak ongewild spanningsloos.
Het forum (dit platform) is niet beïnvloed en staat nog wel gewoon onder spanning.
We werken eraan de zaak zo snel mogelijk weer in commissie te krijgen met behulp van een backup, maar het is moeilijk te zeggen hoe lang een en ander gaat duren. Tot die tijd, onze verontschuldiging voor het ongemak.
Momenteel ervaren we een storing op de mainsite. Het opwaarderen van een bepaald stuk software is niet verlopen zoals dat had gemoeten. Hierdoor is een cascadestoring ontstaan en momenteel is de zaak ongewild spanningsloos.
Het forum (dit platform) is niet beïnvloed en staat nog wel gewoon onder spanning.
We werken eraan de zaak zo snel mogelijk weer in commissie te krijgen met behulp van een backup, maar het is moeilijk te zeggen hoe lang een en ander gaat duren. Tot die tijd, onze verontschuldiging voor het ongemak.
Re: Storing mainsite
De blackstart capacity testen dusHans schreef: We werken eraan de zaak zo snel mogelijk weer in commissie te krijgen met behulp van een backup, maar het is moeilijk te zeggen hoe lang een en ander gaat duren.
Re: Storing mainsite
Dat blijkt inderdaad niet eenvoudig. Ik heb liever gewoon een gefaalde component met een enkelvoudige storing. Dan leid je gewoon wat dingen om via de FTP en dan loopt de zaak weer. Er staat nu nog een aangekoppelde belasting van ongeveer 350 pagina's en een paar duizend klantaansluitingen via de netkaart (waarvan enkele honderden de laatste 24 uur onder spanning zijn geweest), samen met een database die in totaal 1,5 Gigawatt- eh, byte aan capaciteit vraagt. Dat is me nogal geen blackstart.Shrek schreef: De blackstart capacity testen dus
Gisteravond werd de N-1 toestand al afgekondigd bij het beheer (de enkelvoudige storingsreserve zou niet gewaarborgd zijn als zowel wijzelf alsook de host tegelijk bezig waren met onderhoud), maar vanmorgen heb ik die toestand weer ingetrokken en nu zitten we met een gefaalde component in de webserver. Het gevolg was een cascade die de FTP-omgeving liet klappen. Normaal is er dan nog de opofferingsbeslissing, de uiterste bevoegdheid. Maar omdat alles op zwart staat valt er niets op te offeren om een storing af te wenden. We hebben dus een heuse power crash. Zodra ik meer weet, hoort men ervan. Eerst zelf maar eens een blackstart doen: ik ben wel even toe aan een enorm sterke kop zwarte koffie.
Ik ben eventjes erg blij dat het forum momenteel op eilandbedrijf draait.
Halfverankering is net als Volbeat: het kan altijd
Re: Storing mainsite
Beetje vreemde eerste reactie als 'net ingelust persoon' die de site al een tijdje volgt.
Zijn er al aggregaten besteld/onderweg om het geheel weer onder spanning te brengen? Is er nog een parallelschakeling mogelijk naar een eerdere grondsituatie voor de werkzaamheden?
Zo nee, nog een monteur nodig?
Zijn er al aggregaten besteld/onderweg om het geheel weer onder spanning te brengen? Is er nog een parallelschakeling mogelijk naar een eerdere grondsituatie voor de werkzaamheden?
Zo nee, nog een monteur nodig?
Re: Storing mainsite
Momenteel is men bij de leverancier van vermogen (euh.. de host) ermee bezig. Inmiddels weten we dat er een enkelvoudige storing is ontstaan tijdens het in bedrijf nemen van een opwaardering. Er werd een stap overgeslagen in het uitvoeren van een update. Dat resulteerde in een harde sluiting en daarna vond er een cascadestoring plaats in de FTP, zodat het hele deelnet op zwart ging. Vanwege veiligheidsredenen is de automatische herinschakeling daarna gefaald, zodat het net spanningsloos bleef en er handmatig naar gekeken moest worden.
Het is altijd moeilijk om een blackstart uit te voeren als je niet weet waar de gefaalde component zich bevindt. Daardoor hebben we het verzoek aan de host gedaan om de bedrijfstoestand van een paar dagen eerder te herstellen.
Dank voor de suggestie m.b.t. aanbod van noodvermogen. Maar vooralsnog is de bal eerst bij de host gelegd. Daar betalen we dan ook netwerkkosten voor. Dit wachten we eerst even af en ik weet dat er wordt momenteel aan wordt gewerkt.
Het is altijd moeilijk om een blackstart uit te voeren als je niet weet waar de gefaalde component zich bevindt. Daardoor hebben we het verzoek aan de host gedaan om de bedrijfstoestand van een paar dagen eerder te herstellen.
Dank voor de suggestie m.b.t. aanbod van noodvermogen. Maar vooralsnog is de bal eerst bij de host gelegd. Daar betalen we dan ook netwerkkosten voor. Dit wachten we eerst even af en ik weet dat er wordt momenteel aan wordt gewerkt.
Halfverankering is net als Volbeat: het kan altijd
Re: Storing mainsite
Inmiddels is de storing verholpen.
Nog niet alle deelnetten zijn weer onder spanning gebracht (zo werkt de bezoekersteller nog steeds niet), maar alle pagina's en klantaansluitingen zijn inmiddels weer van vermogen voorzien. Ook de netkaart functioneert weer.
Binnenkort zal opnieuw dezelfde update als welke de storing veroorzaakte moeten worden doorgevoerd i.v.m. de netbeveiliging. Er zal ditmaal echter een andere procedure voor worden gevolgd.
Nog niet alle deelnetten zijn weer onder spanning gebracht (zo werkt de bezoekersteller nog steeds niet), maar alle pagina's en klantaansluitingen zijn inmiddels weer van vermogen voorzien. Ook de netkaart functioneert weer.
Binnenkort zal opnieuw dezelfde update als welke de storing veroorzaakte moeten worden doorgevoerd i.v.m. de netbeveiliging. Er zal ditmaal echter een andere procedure voor worden gevolgd.
Re: Storing mainsite
Mooi dat de mainsite weer op spanning is gebracht. Zal wel wat kopzorgen hebben gekost.
Maak je gebruik van een oefencircuit voordat je het circuit verzwaard? Misschien is het handig om die wel te hebben om de verzwaring te testen.
Vergeet niet de extra bundelgeleiders naar het backup station en de MySQL condensator. Die wordt nog wel eens vergeten.
Ik ben blij dat de landelijke netbeheerder beide condensators nog gevuld en op voorraad had, want doorgaans is de regionale netbeheerder daar zelf voor verantwoordelijk.
Maak je gebruik van een oefencircuit voordat je het circuit verzwaard? Misschien is het handig om die wel te hebben om de verzwaring te testen.
Vergeet niet de extra bundelgeleiders naar het backup station en de MySQL condensator. Die wordt nog wel eens vergeten.
Ik ben blij dat de landelijke netbeheerder beide condensators nog gevuld en op voorraad had, want doorgaans is de regionale netbeheerder daar zelf voor verantwoordelijk.
Re: Storing mainsite
Nou staat die mainsite alweer zonder spanning.
Klinkt gek van het netbeheer om daar zelf over te klagen. Maar de oorzaak is ditmaal toch echt buiten onszelf gelegen.
Sinds gistermiddag zijn er geen omschakelingen geweest en alles zou gewoon marktbeschikbaar moeten zijn. De oorzaak ligt dan ook op een heel bekende plek met het hoofdkantoor in Lelystad. De ticketafhandeling en service van onze vermogensleverancier is uitstekend (daarover hoor je ons niet), maar de uptime en performance daarentegen...
Klinkt gek van het netbeheer om daar zelf over te klagen. Maar de oorzaak is ditmaal toch echt buiten onszelf gelegen.
Sinds gistermiddag zijn er geen omschakelingen geweest en alles zou gewoon marktbeschikbaar moeten zijn. De oorzaak ligt dan ook op een heel bekende plek met het hoofdkantoor in Lelystad. De ticketafhandeling en service van onze vermogensleverancier is uitstekend (daarover hoor je ons niet), maar de uptime en performance daarentegen...
Re: Storing mainsite
Ook vandaag weer spanningsloze toestand.
Inmiddels wordt het beheer het zat om excuses te prevelen, vandaar dit bericht op deze plek in plaats van in Schakelveld 51.
Ik heb de host om opheldering gevraagd en ze moeten met a) een goed verhaal en b) een verder storingsvrij restant van deze maand aankomen, wil ik niet heel dringend gaan kijken bij de concurrentie.
De balans tussen een uitstekende klantenservice en de bedroevende uptime begint zoek te raken. Ook non-profit websites hebben belang bij bereikbaarheid, zeker met een web-based netkaart die nu dus ook niet werkt bij alle aangeslotenen.
Inmiddels wordt het beheer het zat om excuses te prevelen, vandaar dit bericht op deze plek in plaats van in Schakelveld 51.
Ik heb de host om opheldering gevraagd en ze moeten met a) een goed verhaal en b) een verder storingsvrij restant van deze maand aankomen, wil ik niet heel dringend gaan kijken bij de concurrentie.
De balans tussen een uitstekende klantenservice en de bedroevende uptime begint zoek te raken. Ook non-profit websites hebben belang bij bereikbaarheid, zeker met een web-based netkaart die nu dus ook niet werkt bij alle aangeslotenen.