Tech Life

Ilustrační obrázek

Novinky v zálohování

04. 02. 2013 14:56    kategorie: Tech Life    autor: Aja    komentářů: 1

Naše projekty jsou stále komplexnější a datově náročnější a naše požadavky na zálohovací systém stále vyšší. Z původního softwaru, postaveného především na rsyncu, jsme “vyrostli” a přišel čas přehodnotit stávající procesy i cíle. Proto jsme na začátku loňského roku začali implementovat nové zálohování, které mělo mnohé vyřešit a vylepšit. Jak projekt vypadá po roce?
 

Nový systém staví na našich dlouholetých zkušenostech, po technologické stránce je ale spíš revolucí. Potřebujeme software, který efektivně zvládne velké datové objemy a dokáže využít vysokokapacitní konektivtu a storage servery. Samozřejmě při zachování uživatelské přívětivosti pro lidi, kteří s ním pracují.

Tento nelehký úkol jsme svěřili open source softwaru Bacula (www.bacula.org), který má dlouholetou tradici stabilních vydání a dobré dokumentace, lze jej jednoduše škálovat a hravě si poradí stovkami gigabajtů dat. Dokáže maximálně využít gigabitovou konektivitu, a zároveň minimálně vytěžovat zálohovaný server.

Nový zálohovací systém nám přinesl mnohá vylepšení a možnosti rozvoje, především tyto:

  • Uživatelská přívětivost
    Tam, kde jsme předtím hledali soubory na disku přes NFS, máme dnes interaktivní konzolovou aplikaci. Potřebujeme-li obnovit data, aplikace nás provede všemi potřebnými kroky a o zbytek se postará sama. Kroků je celkem asi šest a celý proces trvá kolem pěti minut.
  • Transparentnost
    Uspořádání uložených dat spolu se systémem měkkých kvót umožňují detailní sledování kapacity využívané nejen našimi klienty a interními odděleními, ale také jednotlivými servery. Tato data, spolu s podrobným předhledem nákladů a výnosů, poskytují solidní podklady pro plánování dalších investic.
  • Monitoring
    Sondy ověřující dostupnost důležitých komponent a procesů jsou přímo v hlavním monitoringu (Nagiosu). Samozřejmostí je monitoring stavu jednotlivých zálohovacích procesů.

    Víme nejen zda jednotlivé komponenty beží, ale také jestli opravdu fungují. Pokud se některá z komponent přestane chovat správně, je automaticky restartována doplňkovým dohledovým systémem (monit).

  • Retence a ukládání dat
    Jasně stanovujeme, jak dlouho mají data v zálohách zůstávat. Nejasné "navždycky" bylo nahrazeno přesnou definicí retence podle typů dat a potřeb klienta. Promazávání dat probíhá plně automaticky dle nastavení.

    Data nejsou na úložištích ukládána po jednotlivých souborech. Každý zálohovací task si vytváří pro danou zálohu tzv. virtuální pásku - velký binární soubor, do kterého jsou data uložena. Díky tomu nedegradujeme výkon na souborových systémech: namísto desítek milionů souborů máme tisíce, které jsou navíc čteny sekvenčně.

  • Zabezpečení kritických dat
    Máme-li citlivá data, potřebujeme, aby do nich nikdo na zálohovacích úložištích neviděl, tedy šifrování. Zálohovací software nám toto umožnuje. Kromě standardního zabezpečeného přenosu dat v TLS spojení umí data i šifrovat. To sice přináší zvýšené náklady na zálohování jako takové, řeší ale problém s ukládáním osobních údaju a podobných dat.
  • Časová náročnost zálohovacích procesů
    Měl-li předchozí systém zálohovat velké množství dat, i inkrementální záloha mu trvala velmi dlouho. Jako příklad vezměme 30 milionů souborů v podobě obrázkových příloh k inzerátům. Inkrementální záloha tohoto souborového systému trvala několik dní. Těch samých 30 milionů souborů dokáže nový systém zazálohovat za 2-3 dny na lince s kapacitou 100mbps. Inkrementální záloha nyní trvá 1-2 hodiny.
  • Synchronizace produkčních dat na testovací prostředí
    Nový systém nám umožnil implementaci poměrně jednoduchého skriptu, který zajišťuje automatickou synchronizaci produkčních dat na testovací prostředí. Vždy nad ránem, po dokončení záloh produkce, se na testovacím prostředí spustí aktualizační úloha. Když ráno přijdeme do práce, vše je hotovo.

    Kromě provádění synchronizace tato úloha testuje funkčnost samotného procesu obnovení dat. Víme nejen že data byla v pořádku zazálohovaná, ale i to, že je záloha konzistentní a lze jí v případě potřeby obnovit.

Změna zálohování téměř tří set serverů samozřejmě nenastane ze dne na den. V novém systému je už uloženo více než 8TB dat, představujících 45% všech našich serverů. Další budou následovat v nejbližších měsících. Spolu s postupem migrace a realizací nových projektů bude také potřeba navýšit kapacitu diskových polí - ve stávajících 23 terabajtech už nám bude trochu těsno.

Čeká nás i rozvoj po softwarové stránce, například monitoring velikosti záloh, upozorňující na statisticky významné odchylky ve velikost záloh, nebo vylepšení webového rozhraní.

Sdílet odkaz:
tisk

Diskuze k článku

Výuka a doučování anglického a českého jazyka, 16.1.2014 23:26

Výuka a doučování anglického a českého jazyka, nabídka překladů.

Nabízíme Vám přípravu na závěrečné i přijímací zkoušky z anglického jazyka, průběžné doučování, pravidelnou nebo občasnou pomoc vašim dětem s porozuměním učiva probíraného ve škole, zopakování a upevnění vašich dosavadních znalostí.
Více zde: http://anglictina-hradec.webnode.cz/

Přidat příspěvek

 

Kontakt pro média


Máte zájem o další informace, odborný článek či přednášku na konferenci? Kontaktujte nás prosím na pr@etnetera.cz.

RSS - Tech life


RSS kanál Tech Life Blogu

Offlineblog

Offlineblog

Ljama


Komix z prostředí imaginární firmy.

ljama

Ještě jste ho nečetli? Tak tudy ...

 
Doporučujeme: Nabídka práce, volná pracovní místa - pracovní portál SPRÁVNÝKROK.CZ