Proxmox+Ceph ile Açık Kaynak Kodlu Hyper-Converged Platform

Genel de uzun süre tecrübe ettiğim yâda aktif kullandığım ürünler ile ilgili (her ne kadar kaynak gösterilmeden birçok yerde farklı insanlar tarafından sanki kendileri yazmış gibi yayınlansa da ) paylaşımlar da bulunmayı seven biriyimdir fakat bu yazımın tek sebebi insanlar ile bilgi paylaşıyor olmayı sevmem değil. Son yıllar da zaten pekte ucuz olmayan lisans ücretleri üzerine bir de Kurdaki artış eklenince , aradaki farkın açılması ile açık kaynak kodlu çözümlere olan ilgi oldukça arttı.

Bu sebeple aslında bu yazının en sık aldığım sorulardan biri olan ” Hypervisor ve Storage tarafındaki maliyetler den nasıl minimum maliyet ile maximum fayda sağlarıma” genel bir cevap ta olmasını da ayrıca istiyorum.

Açık kaynak kodlu sanallaştırma platformları özelinde beğendiğim ve kullandığım 2 proje mevcut. Bir tanesi Red Hat RHEV in açık kaynak kodlu versiyonu olan Ovirt diğer ise Proxmox. Bugün Proxmox üzerine konuşacağız.

Bu yazıda;

• Proxmox sanallaştırma platformu ile ilgili genel bir bilgilendirme
• Proxmox sunucuların kurulumu
• Proxmox sunucular üzerinde Cluster yapılandırması
• Node’lar üzerindeki Local diskleri kullanarak Ceph Cluster konfigürasyonu

Yaparak direk sanallaştırma yaptığımız sunucular üzerindeki local diskleri kullanıp Hyper-converged bir sanallaştırma platformu dizayn edeceğiz.

Resim-1

Proxmox Debian tabanlı bir açık kaynak kodlu sanallaştırma platformu, özellikle Avrupa da yaygın olarak kullanıldığını söyleyebilirim. Sanal sunucular haricinde container yönetimi de yapabilme yeteneğine sahip. Her bir host\node web ara yüzüne sahip ve bu ara yüz üzerinden Cluster bir mimariniz var ise diğer host\node larıda yönetebiliyorsunuz.

KVM üzerinde sanallaştırma yapıyor ve aslında günlük hayatımızda oldukça sık kullandığımız HA Cluster, Automatic failover, Live Migration, Snapshot gibi özelliklerin hepsine sahip. Ama beni en sevdiğim özelliği CEPH ile dahili olarak gelmesi, hızlı ve kolay kurulum imkanının yanı sıra direk kendi web ara yüzü üzerinden CEPH Management yapılabilmesi. Kurulum detaylı bilgilerin bulunduğu Datasheet ‘i indirip okumanızı öneririm. Yapıyı daha iyi anlamanız için örnek mimari dizaynını aşağıda paylaşıyorum. Yapımız bu şekilde olacak.

Resim-2

Hızlıca kuruluma geçebiliriz. Kurulum için gerekli olan iso dosyasını buraya tıklayarak indirebilirsiniz, en son yayınlanan 6.0.1 versiyonu kullanacağınız.

Kurulum aşaması oldukça basit , özel hazırlanmış iso dosyasını indirdikten sonra yönergeleri takip ederek çok hızlı bir şekilde kurulumları tamamlayacağız.

• 3 adet Host kullanacağız.
• Her sunucuda 2 adet network kartı olacak. Network kartının birini Production Network olarak kullanacağınız.
• Diğerini ise Ceph tarafından veri replikayonu yapmak üzere ayıracağız.
• Her host üzerinde 50 ve 200 GB’lık 2 ayrı disk bulunuyor. 50 GB’lık diske Proxmoxu kurduktan sonra 200 GB’lık diski Shared Storage olarak kullanmak üzere oluşturduğumuz pool’a dahil edeceğiz.

Kurulum kısmı oldukça kolay olduğu için sadece ilk kurulum ekranı ve birkaç kritik yerin ekran görüntüsünü paylaşacağım. ISO dosyasını Mount ettikten sonra Boot sonrası ilk sıradaki Install seçeneği üzerinden devam ediyoruz.

Resim-3

Disk seçme kısmına geldiğimiz zaman Proxmox kurulumu yapacağımız 50 GB’lık disk’i seçerek devam ediyoruz. Altta gördüğünüz 200 GB’lık alanı ceph için kullanacağız.

Resim-4

Network kısmında gördüğünüz gibi 2 adet NIC mevcut. 1 tanesini Management ve demo ortamı olduğu için Production network için kullanırken altta gördüğünüz ens224 isimli NIC’i ceph tarafınaki data replikasyonuna ayırdım.

Resim-5

Kurulum işlemi bittikten sona sunucuyu restart ederek artık //IPADRESI:8006 üzerinden web Management konsola bağlanabilirsiniz.

Aynı şekilde diğer 2 hostunuzun da kurulumunu yapmanız gerekiyor. 3 hostun da kurulumu yaptıktan sonra verdiğiniz FQDN adreslerini etc\hosts altında 3 sunucuya da eklemeniz gerekli.

Resim-6

Kurulum işlemlerini tamamladıktan sonra. İlk sunucumuza login oluyoruz ve aşağıdaki komut ile cluster’ı hızlı bir şekilde oluşturuyoruz. Üzerinde cluster oluşturduğumuz sunucu otomatik olarak cluster’a dahil olacaktır.

pvecm create proxmoxcluster

Resim-7

Diğer sunucularımıza login olup aşağıdaki komutu çalıştırarak onları da cluster’a dahil edelim. Komutu çalıştırınca PNM01 sunucusunun şifresini girererek devam edebilirsiniz.

pvecm add PNM01

Resim-8

Aynı komutu 3 sunucuda da çalıştırdıktan sonra herhangi bir sunucu üzerinde ” pvecm status ” komutu ile cluster durumunu görüntüleyebilirsiniz.

Resim-9

Herhangi bir sunucuya web arayüzü üzerinden bağlandığınız da 3 sunucuyu da görebilmeniz gerekiyor.

Resim-10

Artık ceph konfigürasyonuna geçebiliriz. 3 sunucuya bağlanarak “pveceph install” komutu ile ilgili paketleri yüklüyoruz.

Resim-11

Yüklemeleri tamamladıktan sonra ceph replikayonu için kullanılacak network için gerekli konfigürayonları tamamlayacağız. Aynı ayar 3 sunucu içinde yapılacak.

İşlem yapacağımız sunucuyu seçtikten sonra Create\Linux Bond seçeneğini seçerek kullanacağınız network bilgisini gateway bilgisi girmeden aşağıdaki gibi konfigüre edebilirsiniz. Slave kısmında gördüğünüz gibi sadece 1 adet NIC mevcut eğer Ceph replikayonu için birden fazla network kartı kullanarak throughput unuzu arttırmak isterseniz slaves kısmında diğer NIC leride eklemeniz yeterli. Sunucu üzerindeki bu network tanımlamasını yaparken her sunucuya ayrı bir ip adresi vermeyi unutmayın. Bu örnekte ben 172.16.1.10/24 diyerek 10 ip adresini verdiğim, diğer sunucular da 11 ve 12 ip adreslerini kullanabilirsiniz.

Resim-12

Aynı network ayarlarını 3 sunucu üzerinde de tanımladıktan sonra. Cluster kurulumu yaptığınız ilk node üzerinde aşağıdaki komutu çalıştırarak Ceph cluster kurulumunu yapıyoruz. Bu işlemi sadece bir sunucuda yapmanız yeterli, web arayüzü üzerinden kontrol ettiğiniz de Ceph konfigürasyonunun geldiği görmeniz gerekiyor.

pveceph init –network 172.16.1.0/24

Resim-13

Ceph cluster içerisindeki bütün operayonların takip edilmesi için minimum 3 sunucu üzerinde ceph monitör kurulumu önerilmektedir. Proxmox GUI ekranı yada Shell üzerinden hızlıca oluşturabiliriz.

Sunuculara login olarak ” pveceph createmon” komutu ile monitörlerimizi oluşturuyoruz.

Resim-14

GUI üzerinden de kontrollerimizi sağlayarak konfigürasyonun tamamlandığını teyit ediyoruz.

Resim-15

GUI üzerinde CEPH \ OSD \ Create: OSD diyerek disk olarak daha önce bu iş için ayırdığımız 200 GB’lık diskimizi olduğu diski göstererek “Create” diyoruz ve aynı işlemi diğer 2 sunucu üzerinde de yapıyoruz.

Resim-16

Artık 3 sunucu içinde ortak olarak kullanacağımız Storage Pool oluşturabiliriz. Ceph\Pools altından “Create” diyerek pool tanımlamasını yapıyoruz.

• Size         : Replikayon Sayısı
• Min. Size    : izin verilen en az sayıdaki veri kopyası sayısı

Resim-17

Kontrol ettiğimiz de Storage Pool’umuzun bütün sunucularımızda tanımlandığını görebiliyoruz.

Resim-18

Yeni sunucu oluşturmak istediğimiz de ise Storage Pool’umuzu seçerek kurumum yapabiliriz.

Resim-19

Dashboard ekranı üzerinden OSD’lerin ve Monitoring servsilerinin durumlarını gözlemleyebilir, Performans kısmından aktif IO durumunu takip edebilirsiniz.

Resim-20

TAGs: Proxmox, Hypervisor, Proxmox Kurulumu, hyperconverged, hyper-converged, Ceph, Ceph Storage, Storage Pool, Virtual Environment