"Configuring Fleet Deployments with fleet.yaml"

fleet.yaml: Dağıtımın Beyni

Önceki derste GitRepo kaynağının spec.paths alanında belirttiğimiz dizinleri (k8s gibi) hatırlayın. Fleet, bu dizinlerden birinin içinde fleet.yaml adında bir dosya bulduğunda, o dizini artık basit bir manifest koleksiyonu olarak değil, Bundle olarak adlandırılan tek bir dağıtılabilir birim olarak ele alır.

Kısacası, fleet.yaml dosyası:

1. Bir dizini resmi bir Fleet Bundle'ına dönüştürür.
2. Bu Bundle'ın farklı hedef kümelere nasıl dağıtılacağına dair kuralları ve özelleştirmeleri içerir.

Bu dosyanın ne işe yaradığına dair genel bir bakış için resmi dokümantasyona göz atalım.

Kümeleri Etiketlerle Hedefleme

fleet.yaml dosyasının en güçlü özelliği, dağıtımları farklı kümelere göre özelleştirebilmesidir. Peki Fleet, bir kümenin dev mi yoksa prod mu olduğunu nasıl anlar? Cevap, Kubernetes'in temel yapı taşlarından biri olan etiketlerde (labels) yatıyor.

Kubernetes deneyiminizden bildiğiniz gibi, kümelere veya diğer kaynaklara env: dev veya region: us-east gibi keyfi etiketler atayabiliriz. Fleet, bu etiketleri kullanarak hangi özelleştirmenin hangi kümeye uygulanacağını belirler.

Aşağıdaki video, kümelere bu tür etiketlerin nasıl atandığını ve bu etiketlere dayalı olarak küme gruplarının nasıl oluşturulduğunu pratik olarak göstermektedir. Bu, fleet.yaml'daki hedefleme mantığının temelini oluşturur.

targetCustomizations ile Ortama Özel Yapılandırma

Kümelerimizi etiketledikten sonra, fleet.yaml içindeki targetCustomizations bloğunu kullanarak her bir hedef için özel kurallar tanımlayabiliriz. Bu blok, bir dizi kural içerir. Fleet, her küme için bu kuralları sırayla değerlendirir ve kümenin etiketleriyle eşleşen ilk kuralı uygular.

Şimdi aynı videonun en can alıcı kısmını izleyerek fleet.yaml dosyasının bu konsepti nasıl hayata geçirdiğini görelim.

Bu konsepti pekiştirmek için, farklı ortamlarda veritabanı replikasyonu gibi özellikleri kontrol eden bir başka pratik fleet.yaml örneğini inceleyelim.

Uygulama: Projemiz için fleet.yaml Oluşturma

Artık teoriyi ve pratik örnekleri gördüğümüze göre, kendi PySpark ETL projemiz için bir fleet.yaml dosyası oluşturma zamanı geldi.

Gelecekte SparkApplication manifestimizi bir Helm chart'ı içine paketleyeceğiz. Bu, yapılandırmayı yönetmenin standart ve en esnek yoludur. Şimdiden bu yapıya hazırlık yapmak için fleet.yaml dosyamızı Helm değerlerini (values) geçersiz kılacak şekilde tasarlayacağız.

Senaryomuz:

• dev ortamı: Geliştirme yaparken hızlı denemeler için daha az kaynak kullanan ve en son geliştirme imajını (-dev etiketli) çeken bir yapılandırma.
• prod ortamı: Kararlı, versiyonlanmış bir imajı kullanan ve daha fazla kaynak (örneğin daha fazla executor) ile çalışan bir yapılandırma.

Projenizin k8s dizini içine fleet.yaml adında yeni bir dosya oluşturun ve içeriğini aşağıdaki gibi doldurun. Bu dosya, SparkApplication manifestinizin yanında yer alacaktır.

k8s/fleet.yaml:

# Bu bundle için varsayılan Helm chart ayarları.
# Henüz bir Helm chart'ımız olmasa da, gelecekteki yapı için iskeleti kuruyoruz.
helm:



  # SparkApplication manifestlerimizi içeren Helm chart'ının
  # release adını belirtir.
  releaseName: pyspark-etl-job




# Ortama özel yapılandırmalar.
targetCustomizations:



  # Geliştirme (dev) ortamı için kural.
  - name: dev-environment



    # Helm chart'ına özel değerler gönderiyoruz.
    helm:
      values:



        # Geliştirme için kullanılacak Docker imajı.
        image: "YOUR_DOCKER_HUB_USERNAME/pyspark-etl:latest-dev"



        # Geliştirme ortamında daha az executor kullan.
        sparkConfig:
          executors: 1
          executorCores: 1
          executorMemory: "1g"



    # Bu kuralın hangi kümelere uygulanacağını belirleyen seçici.
    clusterSelector:
      matchLabels:



        # 'environment' etiketi 'dev' olan kümelerle eşleşir.
        environment: dev




  # Üretim (prod) ortamı için kural.
  - name: prod-environment
    helm:
      values:



        # Üretim için kullanılacak Docker imajı.
        # Bu değer CI pipeline tarafından güncellenecek! (örn: git SHA)
        image: "YOUR_DOCKER_HUB_USERNAME/pyspark-etl:1.0.0"



        # Üretim ortamında daha fazla kaynak ayır.
        sparkConfig:
          executors: 4
          executorCores: 2
          executorMemory: "4g"
    clusterSelector:
      matchLabels:



        # 'environment' etiketi 'prod' olan kümelerle eşleşir.
        environment: prod

Bu dosyayı oluşturup Git deponuza gönderdiğinizde, Fleet artık k8s dizinini bir Bundle olarak tanıyacak. Kümenize environment: dev etiketini eklerseniz, Fleet bu bundle'ı dev-environment kurallarına göre (1 executor ile) dağıtacaktır. environment: prod etiketli bir kümeye ise prod-environment kurallarını (4 executor ile) uygulayacaktır.

Bu yapı, CI/CD otomasyonumuzun temelini oluşturur. CI sürecimiz (GitHub Actions) kodu test edip yeni bir Docker imajı oluşturduğunda, CD süreci (Fleet) bu imajı doğru ortama doğru yapılandırmayla otomatik olarak dağıtabilecektir.

Özet ve Sonuç

Bu derste, Fleet'in dağıtım davranışını ortamlara göre nasıl özelleştireceğimizi öğrendik.

Temel Çıkarımlar:

• Bir dizine eklenen fleet.yaml dosyası, o dizini Fleet için dağıtılabilir bir Bundle'a dönüştürür.
• Fleet'in gücü, targetCustomizations bloğu aracılığıyla farklı kümelere farklı yapılandırmalar uygulama yeteneğinden gelir.
• Hedefleme, kümelerdeki etiketlere (labels) ve clusterSelector'a dayanır. Bu, Kubernetes'teki temel seçici mantığıyla aynıdır.
• helm.values alanını kullanarak, hedef ortama özel Helm değerlerini (imaj etiketi, kaynak limitleri, replika sayısı vb.) geçersiz kılabiliriz. Bu, PySpark işlerimiz gibi uygulamalar için dinamik ve esnek bir dağıtım stratejisi sağlar.

Gelecek Dersin Önizlemesi:
fleet.yaml ile farklı ortamlar için özelleştirmeler tanımlayabiliyoruz. Peki ya manifest dosyalarımızın kendisi de ortama göre değişiyorsa? Örneğin, prod ortamında ek bir ConfigMap veya Secret gerekebilir. Bir sonraki dersimizde, fleet.yaml'ın yeteneklerini Kustomize benzeri bir yapı olan overlay'ler ile birleştirerek Git depomuzu farklı ortamlar için nasıl daha modüler ve temiz bir şekilde organize edeceğimizi öğreneceğiz.