Sprzątanie po e-katastrofie. Czy Beyond.pl uda się przywrócić dane i dobre imię

W poniedziałek w serwerowni Beyond doszło do dwóch katastrof. Na skutek awarii zasilania jeden po drugim padały kolejne polskie serwisy. Co gorsza jeden z nich e24cloud.com (należący do Beyond) stracił macierz dyskową oraz backup. Odzyskanie danych wcale nie jest pewne, a przecież nie takich wiadomości spodziewa się ktoś powierzający swój internetowy los jednej z największych firm hostingowych w kraju.
Sprzątanie po e-katastrofie Czy Beyond.pl uda się przywrócić dane i dobre imię? W poniedziałek w serwerowni Beyond doszło do dwóch katastrof. Na skutek awarii zasilania jeden po drugim padały kolejne polskie serwisy. Co gorsza, jeden z nich, e24cloud.com (należący do Beyond), stracił macierz dyskową oraz backup. Odzyskanie danych wcale nie jest pewne, a przecież nie takich wiadomości spodziewa się ktoś powierzający swój internetowy los jednej z największych firm hostingowych w kraju. Beyond.pl to (wciąż używamy czasu teraźniejszego) jedna z największych firm hostingowych w naszym kraju, powołana do życia siedem lat temu, z siedzibą w Poznaniu. Oferuje serwerownie, cloud computing, serwery dedykowane, streaming danych. Na jej serwerach przechowywała niegdyś dane Nasza Klasa, a i dziś na liście klientów firmy są wielkie nazwy: PayU, Wykop, Oferia, Natemat, Allegro, Media Markt i wiele innych. Michał Grzybkowski, prezes Beyond, tłumaczy w wystąpieniu umieszczonym na firmowej stronie: "Beyond.pl jest serwerownią, która spełnia wymogi Tier IV, najbardziej restrykcyjne zasady dotyczące bezpieczeństwa. Dzisiaj (w poniedziałek) o godzinie 7.35 podczas rutynowego testu zasilania jedna z linii zasilających miała kilkuminutową przerwę. Udało się nam bardzo szybko przywrócić zasilanie, już przed godziną 8 serwerownia była w pełni operacyjna".

Spokojnie, to tylko awaria

Beyond.pl to (wciąż używamy czasu teraźniejszego) jedna z największych firm hostingowych w naszym kraju, powołana do życia siedem lat temu, ma siedzibę w Poznaniu. Oferuje serwerownie, cloud computing, serwery dedykowane, streaming danych. Na jej serwerach przechowywała niegdyś dane Nasza Klasa, a i dziś na liście klientów firmy są wielkie nazwy: PayU, Wykop, Oferia, Natemat, Allegro, Media Markt i wiele innych.

Beyond

W poniedziałek rano podczas testów licznych instalacji znajdujących się serwerowni doszło do awarii jednej z nich - zasilania.

Michał Grzybkowski, prezes Beyond, tłumaczy w wystąpieniu umieszczonym na firmowej stronie:

"Beyond.pl jest serwerownią, która spełnia wymogi Tier IV, najbardziej restrykcyjne wymagania dotyczące bezpieczeństwa. Dzisiaj [w poniedziałek - red ] o godzinie 7.35 podczas rutynowego testu zasilania jedna z linii zasilających miała kilkuminutową przerwę. Udało się nam bardzo szybko przywrócić zasilanie, już przed godziną 8 serwerownia była w pełni operacyjna".

Dalej słyszymy o tym, że gigantyczny agregat, który czuwa nad bezpieczeństwem całej struktury zadziałał jak trzeba i wszystko powoli wraca do normy. Tymczasem przecież doszło do odcięcia zasilania od serwerów, a to w ogóle - według normy Tier IV - nie powinno mieć miejsca. Na stronie monitoring-serwerowni.pl czytamy: Tier IV składa się z wielu aktywnych instalacji zasilających, posiada komponenty nadmiarowe i jest odporna na uszkodzenia, zapewnia 99,995% dostępności.

Piorunem w chmurę

Prezes Grzybkowski nie wspomina o drugiej katastrofie. Należący do Beyond serwis e24cloud.com - od jesieni zeszłego roku oferujący profesjonalny, komercyjny hosting "w chmurze" - ucierpiał w znacznie większym stopniu. "Rany", które odniósł są niemal śmiertelne. Okazało się, że podczas wspomnianej awarii zasilania doszło do uszkodzenia macierzy dyskowej. Co gorsza - również backupu. Prawdopodobnie uszkodzeniu uległ cały system RAID, wynika więc z tego, że kopia zapasowa nie znajdowała się na innym urządzeniu. A chyba powinna. Powinna też - jak czytamy na blogu sysadminblog.pl mieć niezależną linię zasilającą.

Koszmar każdego właściciela portalu internetowego ziścił się: odzyskiwanie danych leży teraz w gestii specjalistów od uszkodzonych dysków, a wiadomo, że tego typu procedura jest niezwykle czasochłonna i kosztowna.

Na stronie spidersweb.pl czytamy wypowiedź Piotra Dembińskiego z firmy Kroll Ontrack, która podjęła się próby odzyskania danych:

Z reguły nie ma najmniejszych szans na odzyskanie 100% danych. Średnia skuteczność to 76%. W najlepszych polskich przypadkach taka skuteczność dochodzi do 80%. Na pytanie o doświadczenie w odzyskiwaniu danych dla polskich serwisów hostingowych, Dembiński poinformował nas, że w ostatnich dwóch latach Kroll Ontrack pomagał w dwóch takich przypadkach. O skuteczności tych operacji nie chciał mówić. Dodał, że taka operacja jest też z reguły dość czasochłonna - w zależności od skali zniszczeń, profesjonalne odzyskiwanie danych z macierzy dyskowej trwa od jednego dnia do tygodnia, a nawet dłużej.

Klienci e24cloud.com zaufali zapewnieniom o 100% bezawaryjności, o spełnieniu restrykcyjnej normy Tier IV, która nakazuje w przypadku awarii podtrzymanie zasilania przez 24 godziny a zaleca przez 72.

Pomimo zapewnień doszło do uszkodzenia zarówno danych jak i kopii bezpieczeństwa. Jak? Tego nikt z firmy nie tłumaczy rozgoryczonym klientom, którzy nie szczędzą ostrych sformułowań zirytowani szczególnie kiepską komunikacją ze strony Beyond. Na YouTube czytamy:

"Daliście ciała i? nawet nie potraficie przyznać się do tego uczciwie i powiedzieć co naprawdę spieprzyliście, tylko rzucacie jakąś tanią ściemę. "
"W momencie, kiedy z jednej strony słyszę przechwałki o spełnianiu standardów Tier 4, a z drugiej pojawiają się informacje o wożeniu dysków z danymi oraz backupami do odzysku czy też informacje o serwisach, które nie wstały od pół doby, to sam przyznasz, że to śmierdzi. A jedynym oficjalnym wyjaśnieniem ze strony Beyond jest jakaś niejasna paplanina o awarii zasilania."

Sieć nie jest więc dla firmy zbyt łaskawa, znalazły się jednak opinie bardziej stonowane:

"nie rozgrzeszam ich tylko na chwilę obecną mamy za mało danych żeby ferować wyroki. Podejrzewam, że będą musieli przemyśleć projekt infrastruktury oraz opis usługi, żeby klienci wiedzieli co kupują."

Beyond

Czy chmura jest ze szkła?

Klienci byli bowiem przekonani, że kupują 100% pewność utrzymania danych. Dlaczego teraz muszą liczyć na najwyższej klasy specjalistów od odzyskiwania danych? Czy Beyond.pl mogło uniknąć wpadki i czy wie już co tak naprawdę się stało? Czy e24cloud.com działało w oparciu o infrastrukturę funkcjonującej według normy Tier IV? Gdyby tak było do uszkodzenia danych chyba by nie doszło.

Warto na koniec wspomnieć, że podobne awarie zdarzają się największym. W listopadzie 2007 roku ciężarówka staranowała transformator i odcięła zasilanie w jednym z największych amerykańskich data center - RackSpace. Na kilka godzin zniknęło wiele serwisów, między innymi GigaOM. Swoje wpadki zaliczają też Amazon, Google, Facebook. Dlatego też rozsądne jest tworzenie własnych kopii bezpieczeństwa i nie ufanie nikomu. Bez względu na to, co obiecuje podczas podpisywania umowy. Chmura nie jest niezniszczalna.

Wpadka Beyond.pl jest jednak szczególnie bolesna. Podważa zaufanie do chmury, która przecież dopiero zaczyna nabierać znaczenia. W wywiadzie udzielonym Money.pl w 2011 prezes Beyond.pl przewidywał:

"Być może już za trzy lata nikt nie będzie kupował serwerów [..] Producenci i dystrybutorzy serwerów mają wielki orzech do zgryzienia, bo z milionów, liczba ich klientów na świecie stopnieje do, powiedzmy, stu - pięciuset. I to będą właśnie dostawcy rozwiązań chmurowych."

Wciąż trwa liczenie strat, Beyond.pl obiecuje, że "nikogo nie pozostawi samemu sobie". Walczy o swój dalszy los, nie ma innego wyjścia.

Rankiem na profilu Facebooka firma umieściła następujące wpisy:

Drodzy użytkownicy, informujemy, że zainstalowanych zostało 33% maszyn. Dane z backupów, które zostały wykonane z poziomu panelu przez Użytkowników, będą dostępne po starcie serwisu. Prace nad odzyskiwaniem reszty trwają.

oraz

Dane z backupów wykonanych przez Użytkowników, będą dostępne po starcie serwisu. Prace nad resztą trwają.

Co jednak z odzyskaniem danych z uszkodzonej macierzy? Co z przyczynami "katastrofy"? Czekamy na wyjaśnienia.

 

[ Aktulizacja ]

E24cloud nie zamierza uciekać od odpowiedzialności, wydało następujące oświadczenie.

"Szanowni Klienci - jako poważne przedsiębiorstwo nie uciekamy od odpowiedzialności biznesowej i zamierzamy zrekompensować naszym Klientom niedogodności związane z awarią. Zapewniamy ze - natychmiast po zakończeniu wszelkich prac technicznych związanych z testami ponownie uruchomionych systemów, przystąpimy do indywidualnego ustalania sposobu rekompensowania faktu niedostępności serwisów. Jednocześnie wprowadzamy usługę jednorazowego - darmowego backupu dla wszystkich naszych klientów. Dziękujemy za wsparcie i pomoc."

Na blogu niebezpiecznik.pl można też znaleźć opis zaistniałej sytuacji bliższy - według zainteresowanej firmy - temu, co się wydarzyło. Choć w komentarzach widocznych pod wpisem słychać niedowierzanie wobec niektórych przedstawionych faktów. Część klientów wciąż ma do e24cloud pretensje pomimo przywrócenia działania samego serwisu.

 

[ Aktualizacja ] 15:57

Niestety, wiele danych zostało utraconych bezpowrotnie. Na profilu e24cloud czytamy:

Jeśli chodzi o odzyskiwanie danych, to sprawa jest poważna (prawdopodobnie straciliśmy 60% dysków z grupy raidowej). Nasi inżynierowie są cały czas w kontakcie ze specjalistami z Ontracka i w tym momencie trudno jest określić, jak długo potrwa odzyskiwanie. Nie chcemy podawać sztucznych terminów, których możemy nie dotrzymać. Prosimy o wyrozumiałość. Będziemy Wam przekazywali każdą nową informację.