Prejsť na navigáciu

Nečakaný výpadok infraštruktúry

Hoci sme už za tie roky fungovania zažili všeličo, aj dnes nám nad niektorými vecami zostáva rozum stáť. Vládne všeobecný názor, že pokiaľ firma má dobre vybavenú primárnu, produkčnú „sajtu“ a k tomu na sekundári celkom funkčný backup, nič ju nemôže zaskočiť. Ale nie vždy je to tak!

Vo štvrtok večer zavolal zákazník (ktorého z pochopiteľných dôvodov nebudeme menovať) nášmu kolegovi, že im „spadla“ kompletná infraštruktúra. Podľa jeho slov, firemný admin plánovane, na niekoľkých hostoch, urobil upgrade virtualizačného softvéru. Ten neplánovane poškodil dáta na primári a replika preniesla „škodu“ na sekundár. Support vendora potvrdil, že problém pravdepodobne nastal v prístupe viacerých hostov k jednému datacentru, kde prišlo ku „skorumpovaniu dát“ na primárnej aj záložnej infraštruktúre.

Klienta pred väčšou stratou dát zachránili snapshoty. Tie sme mu po implementácii riešenia odporučili robiť na pravidelnej báze, čo sa na konci ukázalo ako prelomové rozhodnutie. Vďaka snapshotom sa infraštruktúru podarilo obnoviť s iba niekoľkohodinovým výpadkom dát, čo sa v danej situácii dá považovať za úspech.

Čo bolo presnou príčinou spomínaného crashu sme sa zatiaľ nedozvedeli ani v spolupráci so supportom vendora. Trochu sme zostali zaskočení zistením, že tu na Slovensku sme práve u nášho klienta objavili bug na produkte jedného z technologických lídrov.

Ľudské pochybenie v práci s IT nie je ani trochu neobvyklá záležitosť. Úplne sa vyhnúť takýmto situáciám je v podstate nemožné. Preto je veľmi dôležité pre takéto situácie mať plán B. Opäť sa potvrdilo, že „šťastie praje pripraveným“.

Radi poradíme a pomôžeme aj vám. Neváhajte kontaktovať našich kolegov!