Ceph FS – a felhő fájlrendszer

Van egy mondás, miszerint olyan nincs hogy felhő, mert az valaki másnak a számítógépe.
Mondjuk ez tényleg nagy igazság, de ettől még napjaink egyik vezető piacává vált a felhő alapú adattárolás.

Annak, aki nem rendszerinformatikával foglalkozik, szinte azonnal adja magát a kérdés, hogy milyen fájlrendszere van a felhőnek ?

Ehhez néhány alapfogalmat tisztáznunk kell.

Fürt – azaz cluster (klaszter) technológia

A nagy könyv megfogalmazása szerint egy számítógép-cluster különálló, teljes értékű számítógépekből – saját tár, kommunikáció, feldolgozóegység és operációs rendszer – felépülő rendszer, amely valamilyen értelemben egységes rendszerképet mutat.

Többféle céllal hozunk ilyen fürtöket létre, lehet cél a magas rendelkezésre állás, a teljesítmény elosztás, számítási  teljesítmény vagy adattárolás.

Node

Egy fürt építőeleme, tehát az egyik számítógép a sok közül. Ez lehet frontend node vagy backend node attól függően, hogy milyen feladatot lát el az adott clusterben az adott gép.
Képzeljünk el egy nagy teljesítményű tűzfal rendszert, ahol a frontend node kezeli az összes beérkező kérést és szépen továbbítja az összes backend node felé, amelyek majd a tényleges munkát végzik el az adott csomagokon.

Felhő – cloud

Az angol cloud, azaz felhő kifejezés lényegében a nagy tároló kapacitással rendelkező fürtök rendszere.

Mi a különbség akkor a fürt és a felhő között, ha mind a kettő szinte ugyanaz a megfogalmazás szerint?

A fürt általában az egy fizikai helyszínen, jellemzően egy épületben, de mindenképpen egy LAN -on lévő gépeket jelenti, amelyek sokszor ugyanazon szériába is tartoznak, egy kaptafára készültek, tehát nagyjából egyforma teljesítményűek.

A cloud kifejezés ugyanakkor az egymástól akár fizikailag eltérő, teljesen különböző kapacitású gépeket, fürtöket, akár földrajzi értelemben teljesen más helyszínen lévő berendezéseket jelent, illetve egészen pontosan ezen eszközök és rendszerek összességét.

Tehát amikor nagyon nagy kapacitású adattárolásra lesz szükségünk egy adott tudományos projekthez, mint a napjainkban népszerű mesterséges intelligencia (AI) kutatása vagy különleges videós projekteket készítünk és bődületes méretű és mennyiségű fájlt fogunk lementeni, akkor jön a képbe  a nagy kapacitású storage node -okból épített Ceph FS cluster.

A Ceph FS

A Ceph elosztott tárolórendszer a Santa Cruz-i Kaliforniai Egyetem kutatóinak fejlesztése és ennek egy eleme az elosztott fájlrendszer, a  CephFS. Valójában az objektumtárolóját, a RADOS-t, ami a reliable autonomic distributed object store (megbízható autonóm elosztott objektumtároló rövidítése) eredetileg a CephFS nemzeti laboratóriumok nagy teljesítményű számítógép (HPC) klasztereiben történő használatára tervezték.

A Ceph egy nyílt forráskódú  tárolási platform, amely elosztott számítógépfürtben valósítja meg az objektumok tárolását, és lehetőséget biztosít az objektum-, blokk- és fájlszintű tároláshoz.

Két fő alkotóeleme adja  a rendszer alapját,

• a kliens vagy ügyfél
• és a metadata szerver, az MDS.

Az MDS a fájlrendszer összes metaadatának szinkronizálási pontja és gyorsítótárazási rétege.
Elsődleges funkciója, hogy lehetővé tegye az ügyfelek számára a fájlrendszerrel kapcsolatos metaadatok biztonságos tárolását  (mint például egy könyvtár mely fájlokat tartalmazza) anélkül, hogy azok következetlenné válnának (például két ügyfél nem ért egyet abban, hogy mely fájlok vannak egy könyvtárban 😀 ).

A CephFS megkülönböztető jellemzője, hogy a kliensek az MDS jelentős kézi irányítása nélkül képesek fájlokat olvasni és írni.
Az ügyfélnek csak meg kell nyitnia egy fájlt (azaz meg kell mondania az MDS -nek, hogy használni kívánja a fájlt), majd a kívánt módon olvasni/írni, és csak időnként kell frissítenie az MDS-t.

Ennek a kialakításnak a következménye a rendszer jobb skálázhatósága, ahol a kliensek nagyméretű olvasási/írási műveleteket végezhetnek, amelyek lineárisan skálázódnak a RADOS-fürtben lévő objektumtároló eszközök számával (de minden egyes kliensnek a hálózati kapcsolat sávszélessége szab határt nyilván).

Akár Ceph Object Storage és/vagy Ceph Block Device szolgáltatásokat szeretnénk nyújtani felhőplatformok számára, akár más célra szeretnénk használni, minden Ceph Storage Cluster telepítés az egyes Ceph node -ok, a hálózat és a Ceph Storage Cluster beállításával kezdődik. Egy Ceph Storage Clusterhez legalább egy Ceph Monitor, Ceph Manager és Ceph OSD (Object Storage Daemon) szükséges. A Ceph File System kliensek futtatása esetén a Ceph Metadata Server is szükséges.

Ezekről bővebben itt lehet olvasni, a legújabb dokumentáció közvetlen linkje – hogy ne kelljen keresgélni: https://docs.ceph.com/en/latest/start/intro/

A doksi kitér olyan alapvető dolgokra is többek között, hogy milyen operációs rendszer ajánlott és hogy milyen hardver ajánlott a rendszer telepítéséhez és természetesen magára a telepítésre is jó alaposan.

A projekt weboldala, további információk és letöltés: https://ceph.com/en/

Továbbra is várunk mindenkit nagy szeretettel csevegő oldalunkon élőben:
https://skamilinux.hu/chat/

Aktív fórum témák:
https://skamilinux.hu/phpBB3/search.php?search_id=active_topics

Legutóbbi PuppySzoftverek:
https://sourceforge.net/p/puppyszoftver/activity