CI/CD Pipeline with Fleet: Code Push to Deployment

Uçtan Uca Akış: Teoriden Pratiğe

Şimdiye kadar adım adım inşa ettiğimiz akışı bir bütün olarak tekrar gözden geçirelim. Her şey, uygulama kodunuzda yapacağınız bir değişiklikle başlayacak.

Bugünkü görevimiz bu akışı canlı olarak tetiklemek, izlemek ve doğrulamaktır.

Adım 1: Boru Hattını Ateşlemek

Her şey küçük bir değişiklikle başlar. PySpark ETL uygulamanızın kod tabanında basit ama gözlemlenebilir bir değişiklik yapın. Örneğin, bir print() ifadesi veya bir log mesajı ekleyebilir ya da değiştirebilirsiniz.

Örnek Değişiklik:

# pyspark_etl/main.py dosyanızda
def main():



    # ...
    # Mevcut bir log satırını bulun veya yeni bir tane ekleyin
    print("ETL Job v1.1 starting...") 



    # ...

Bu değişikliği yaptıktan sonra, uygulama deponuzun ana geliştirme dalına (main veya dev) commit'leyin ve push'layın.

git add .
git commit -m "feat: Add version identifier to start log"
git push origin main

Bu git push komutu, az önce tüm otomasyon zincirini başlattı. Şimdi süreci izleyelim.

Adım 2: CI ve CD Aşamalarını İzlemek

Sürecin nasıl işlediğini görmek, onu anlamanın en iyi yoludur. GitHub Actions'ın CI görevlerini yerine getirmesini ve ardından Rancher Fleet'in CD görevini devralmasını izleyeceğiz.

Aşağıdaki video, bizim kurduğumuz akışa çok benzer bir senaryoyu canlı olarak gösteriyor. Bir kod değişikliği yapılıyor, GitHub Actions çalışıyor, Helm deposu güncelleniyor (bizim kustomization.yaml dosyamız gibi) ve son olarak Rancher, değişikliği algılayıp yeni sürümü dağıtıyor.

Videonun gösterdiği gibi, süreci izlemek iki ana platformda gerçekleşir:

1. GitHub Actions'ı İzleme

1. Uygulama deponuzun GitHub sayfasında Actions sekmesine gidin.
2. Az önce yaptığınız commit ile başlayan yeni iş akışı çalışmasını (workflow run) göreceksiniz. Üzerine tıklayın.
3. İş akışındaki adımların (jobs) birer birer tamamlandığını izleyin:
   • Test ve Lint: pytest ve ruff adımlarının başarıyla tamamlandığından emin olun.
   • Build and Push Docker Image: Konteyner imajının oluşturulup kayıt defterine gönderildiğini doğrulayın.
   • Update Manifest: kustomize edit set image komutunun çalıştırıldığı ve EndBug/add-and-commit eyleminin GitOps deponuza yeni bir commit gönderdiği adımı bulun.
4. Bu adım tamamlandıktan sonra, GitOps deponuza gidin. CI botu tarafından oluşturulmuş yeni bir commit görmelisiniz. Bu commit'in overlays/dev/kustomization.yaml dosyasındaki newTag değerini yeni commit SHA'nız ile güncellediğini doğrulayın.

2. Rancher Fleet'i İzleme

GitHub Actions görevini tamamladığında, top artık Rancher Fleet'tedir.

1. Rancher UI'nıza giriş yapın.
2. Sol menüden Continuous Delivery'ye gidin.
3. GitOps deponuzu temsil eden GitRepo kaynağını bulun.
   • Fleet, varsayılan olarak her 15 saniyede bir Git deposunu kontrol eder. Kısa bir süre içinde, GitRepo'nun durumunun güncellendiğini ve COMMIT alanının CI botunun gönderdiği yeni commit SHA'sını yansıttığını göreceksiniz.
   • GitRepo kaynağına tıklayarak, ilgili Bundle'ın durumunu görebilirsiniz. Değişiklik uygulanırken durumu Modifying gibi geçici bir duruma, ardından tekrar Active durumuna dönecektir.

Adım 3: Dağıtımı Doğrulamak ve Sorun Gidermek

Fleet, dağıtımın başarılı olduğunu bildirdiğinde, son adım yeni PySpark işinin kümede gerçekten çalışıp çalışmadığını doğrulamaktır.

1. Rancher UI'da, kümenizin ana kontrol panelinde Workload > Jobs bölümüne gidin.
2. Fleet tarafından yeni oluşturulmuş bir Job kaynağı görmelisiniz. Bu işin adı, temel manifestonuzdaki addan türetilmiş olacaktır.
3. Yeni oluşturulan işe tıklayın ve YAML'sini inceleyin. spec.template.spec.containers[0].image alanının, CI tarafından oluşturulan yeni imaj etiketini içerdiğinden emin olun.
4. İş tarafından oluşturulan Pod'u bulun. Bu Pod'un loglarını (Logs) kontrol edin. Kodda yaptığınız değişikliği (örneğin, "ETL Job v1.1 starting..." log mesajı) loglarda görmelisiniz. Bu, uçtan uca boru hattının başarıyla çalıştığının nihai kanıtıdır.

İzleme ve Sorun Giderme için İleri Düzey Araçlar

Boru hattı karmaşıklaştıkça, olası sorunları teşhis etmek için doğru komutları bilmek önemlidir. Aşağıdaki kaynak, Fleet dağıtımlarını kubectl kullanarak nasıl izleyeceğinizi ve yaygın sorunları nasıl gidereceğinizi açıklayan harika komutlar ve ipuçları içerir.

Sonuç

Tebrikler! Az önce bir veri mühendisinin en güçlü otomasyon araçlarından birini baştan sona çalıştırdınız. Tek bir git push ile kodunuzu test ettiniz, paketlediniz ve güvenli bir şekilde geliştirme ortamınıza dağıttınız.

Temel Çıkarımlar:

• CI/CD boru hattı, uygulama geliştirme yaşam döngüsündeki adımları (test, build, deploy) otomatikleştiren bir olaylar zinciridir.
• GitHub Actions, CI (Sürekli Entegrasyon) görevlerini yönetmek için güçlü bir platformdur.
• Rancher Fleet, GitOps prensiplerini uygulayarak CD (Sürekli Dağıtım) görevini üstlenir ve Git deposunu kümenin durumuyla senkronize eder.
• Tüm süreci izlemek, her bileşenin beklendiği gibi çalıştığını doğrulamak ve sorunları hızlıca teşhis etmek için kritik öneme sahiptir.

Gelecek Dersin Önizlemesi:
Geliştirme ortamına otomatik dağıtım harika bir başlangıç, ancak gerçek dünya uygulamalarının bir de üretim (production) ortamı vardır. Bir sonraki ve son proje dersimizde, belirli bir uygulama sürümünü geliştirme ortamından üretim ortamına "terfi ettirmek" (promote) için bir Git tabanlı strateji tasarlayıp uygulayacağız. Bu, manuel bir onay adımı ekleyerek üretim dağıtımları üzerinde tam kontrol sahibi olmamızı sağlayacaktır.