Optimizing Docker Images with Multi-Stage Builds

Çok Aşamalı Yapılar (Multi-stage Builds) Nedir?

Çok aşamalı yapılar, tek bir Dockerfile içinde birden fazla FROM talimatı kullanarak imaj oluşturma sürecini farklı aşamalara ayırmanıza olanak tanır. Her FROM talimatı yeni bir aşama başlatır ve önceki aşamaları atarak temiz bir başlangıç yapar.

Bu tekniğin arkasındaki ana fikir şudur:

1. "İnşaatçı" (Builder) Aşaması: Bu ilk aşamada, uygulamanızı ve bağımlılıklarınızı derlemek/kurmak için gereken tüm araçları (örneğin, build-essential, python3-dev, maven) içeren daha büyük bir temel imaj kullanırsınız. Python paketlerini bir sanal ortam (virtual environment) içine kurarsınız.
2. "Üretim" (Production) Aşaması: Bu son aşamada, çok daha küçük ve minimal bir temel imajla (örneğin, python-slim veya bizim durumumuzda apache/spark-py) başlarsınız. Ardından, "inşaatçı" aşamasından sadece ve sadece uygulamanın çalışması için gerekli olan dosyaları (örneğin, oluşturulmuş sanal ortam ve uygulama kodunuz) kopyalarsınız.

Bu, tüm derleme araçlarını, geçici dosyaları ve gereksiz "artıkları" son imajın dışında bırakmanızı sağlar.

Pratikte Çok Aşamalı Yapılar: Python Örneği

Bu konseptin gücünü anlamak için, genel bir Python uygulaması üzerindeki etkisini görelim.

Gördüğünüz gibi, imaj boyutundaki azalma oldukça etkileyici. Bu sadece bir başlangıç. Modern araçlar ve daha modüler tasarımlarla bu süreci daha da optimize edebiliriz.

Aşağıdaki video, uv gibi modern bir paket yöneticisi kullanarak hem geliştirme hem de üretim için optimize edilmiş aşamalar içeren daha gelişmiş bir Dockerfile yapısını gösteriyor.

PySpark Projemiz için Çok Aşamalı Dockerfile

Şimdi bu öğrendiklerimizi kendi PySpark projemize uygulayalım. Önceki dersteki Dockerfile'ımızı çok aşamalı bir yapıya dönüştüreceğiz.

Stratejimiz:

1. builder Aşaması: Genel bir python:3.11-slim imajı kullanarak başlayacağız. Bu aşamada, requirements.txt dosyasındaki tüm Python bağımlılıklarını /opt/venv adında bir sanal ortama kuracağız.
2. Son Aşama: Önceki derste kullandığımız apache/spark-py imajı ile başlayacağız çünkü bu imaj Java ve Spark'ı bizim için hazır olarak sunuyor. Daha sonra, builder aşamasından /opt/venv sanal ortamını ve yerel makinemizden uygulama kodumuzu (src klasörü) bu son imajın içine kopyalayacağız.

Projenizdeki Dockerfile'ı açın ve içeriğini aşağıdakiyle değiştirin:

# ==============================================================================
# AŞAMA 1: Builder - Python bağımlılıklarını kurmak için.
# ==============================================================================
FROM python:3.11-slim as builder




# Çalışma dizinini ayarla
WORKDIR /app




# Sanal ortam için ortam değişkeni
ENV VENV_PATH=/opt/venv



# Sanal ortamı oluştur
RUN python3 -m venv $VENV_PATH




# PATH'i güncelle, böylece venv'deki `pip` kullanılır
ENV PATH="$VENV_PATH/bin:$PATH"




# requirements.txt dosyasını kopyala
COPY requirements.txt .




# Bağımlılıkları kur. 
# --no-cache-dir imaj boyutunu küçültür.
RUN pip install --no-cache-dir -r requirements.txt





# ==============================================================================
# AŞAMA 2: Final - Üretim imajı.
# ==============================================================================
# Java ve Spark'ın kurulu olduğu resmi PySpark imajını kullan
FROM apache/spark-py:v3.5.1




# Çalışma dizinini ayarla
WORKDIR /app




# Builder aşamasından sanal ortamı kopyala
COPY --from=builder /opt/venv /opt/venv




# Uygulama kaynak kodunu kopyala
COPY src/ /app/src/




# (İsteğe Bağlı) Harici JAR dosyalarını ekle
# Örneğin bir PostgreSQL sürücüsü eklemek için:
# RUN wget https://jdbc.postgresql.org/download/postgresql-42.7.3.jar -P /opt/spark/jars/




# Ortam değişkenlerini ayarla
# SPARK_HOME, temel imajda zaten ayarlanmıştır.
# PATH'e venv'i ekleyerek, konteyner başladığında
# kurduğumuz kütüphanelerin bulunmasını sağla.
ENV PATH="/opt/venv/bin:$PATH"




# Güvenlik için Spark'ın varsayılan non-root kullanıcısına geç
USER 185

Bu yeni Dockerfile ile docker build komutunu çalıştırdığınızda, Docker önce builder aşamasını çalıştıracak, sanal ortamı oluşturacak ve ardından apache/spark-py temel imajı üzerine bu sanal ortamı ve kodunuzu kopyalayarak son, daha küçük bir imaj üretecektir. Derleme için kullanılan python:3.11-slim imajının kendisi ve içindeki hiçbir araç (sanal ortam hariç) son imaja dahil edilmez.

Daha derinlemesine ve üretim odaklı bir bakış açısı için, aşağıdaki makale, gördüğümüz konseptleri pekiştiren harika bir kaynaktır.

Sonuç

Bu derste, Docker imajlarımızı optimize etmek için güçlü bir teknik olan çok aşamalı yapıları öğrendik. Bu yöntem, son imajlarımızdan gereksiz derleme araçlarını ve bağımlılıkları çıkararak onları daha küçük, daha güvenli ve daha hızlı hale getirmemizi sağlar.

Temel Çıkarımlar:

• Çok aşamalı yapılar, tek bir Dockerfile içinde birden fazla FROM kullanarak imaj oluşturma sürecini mantıksal aşamalara ayırır.
• Bir builder aşaması, bağımlılıkları kurmak için kullanılırken, son production aşaması sadece çalışma zamanı için gerekli olanları içerir.
• COPY --from=<stage_name> komutu, aşamalar arasında dosya ve dizinleri kopyalamanın anahtarıdır.
• Bu optimizasyon, CI/CD işlem hatlarında imaj transfer sürelerini kısaltır ve depolama maliyetlerini düşürür.

Gelecek Dersin Önizlemesi:
Artık optimize edilmiş bir Docker imajı oluşturmak için bir Dockerfile'ımız var. Ancak bu imajın gerçekten beklendiği gibi çalışıp çalışmadığını nasıl anlarız? Bir sonraki dersimizde, oluşturduğumuz bu konteynerleştirilmiş PySpark işini docker run komutunu kullanarak yerel olarak nasıl çalıştıracağımızı ve doğrulayacağımızı öğreneceğiz. Bu, imajı bir konteyner kayıt defterine (container registry) göndermeden önce yapacağımız önemli bir "sağlamlık kontrolü" olacaktır.