Probleem met openen Profit

Na een uitvoerige evaluatie van deze storing, hebben we de volgende samenvatting gemaakt:

Rond 07:45 uur kregen we de eerste meldingen over problemen met Citrix-applicaties. We zijn meteen in actie gekomen en al snel hebben we de situatie geëscaleerd en het team uitgebreid. Tegen 08:30 uur ontdekten we dat de oorzaak in de Citrix-database lag, en niet in overbelasting door externe systemen.

De storing werd veroorzaakt door een tabel in de Citrix-database die verouderde statistieken bevatte. Deze inefficiëntie ontstond tijdens de voorbereiding voor de nieuwe AFAS Profit-versie, in verband met het aanmaken van Citrix-applicaties op de avond van 25 juni. Hoewel dit normaal is, waren er mogelijk meer applicaties betrokken. Dit leidde tot trage prestaties van de betrokken tabel en zwaar resourcegebruik op de databaseserver. Hierdoor ontstonden de inlogproblemen.

Zodra we de oorzaak in kaart hadden gebracht, hebben we de statistieken van de betreffende tabellen meteen bijgewerkt. Dit was om 09:13 uur klaar en alles functioneerde direct weer zoals het hoort. Na dit incident hebben we een aantal verbeteringen doorgevoerd:

• We breiden het nachtelijke optimalisatieschema voor databases en tabellen uit.
• We voegen handmatige optimalisatie van statistieken toe aan de werkinstructie voor het aanpassen van meerdere applicaties.
• We verbeteren de escalatie naar collega’s.
• We passen de monitoring aan om soortgelijke problemen eerder te kunnen signaleren, op basis van andere indicatoren.
• We verhuizen de website afasstatus.nl naar een ander platform, omdat het huidige platform zijn capaciteitsgrenzen bereikt. Deze migratie stond al op de planning.

We hebben de oorzaak gevonden in de database. Hier hebben we een ad-hoc oplossing voor doorgevoerd. We gaan zorgen dat dit probleem niet meer kan voorkomen. Inloggen is nu weer mogelijk. Het kan tijdelijk nog wat langzamer reageren, omdat er veel logins tegelijk plaatsvinden. Excuses voor het ongemak!

We hebben nu helder waar het probleem zit, in de Citrix database. Deze laat zeer slechte performance zien. We zijn dit aan het onderzoeken met een database expert.

We zien dat er binnen Citrix vertragingen plaatsvinden waardoor Apps niet doorstarten. We zijn met een team bezig om dit te onderzoeken en op te lossen. Op dit moment is het nog onduidelijk hoe lang we hier voor nodig hebben.