Salam. Əvvəlki dərsdə biz Robert Seinerin "Qeyri-invaziv Data İdarəçiliyi" (NIDG) yanaşmasını araşdırdıq və data idarəçiliyi rollarını (stüard, sahib, şura) təşkilatın mövcud strukturlarına necə "toxuyacağımızı" öyrəndik. Artıq idarəçilikdə "kimin" məsuliyyət daşıdığını və bu məsuliyyətləri işçilərə əlavə yük olmadan necə rəsmiləşdirəcəyimizi bilirik.
Bu günkü dərsimizlə biz artıq yeni bir modula – Əsas Domenlərin İdarə Edilməsi: Keyfiyyət və Metadata – başlayırıq. Bugünkü məqsədimiz öyrəndiyimiz nəzəri rolları praktiki fəaliyyətə çevirməkdir. Data idarəçiliyi proqramının ən fundamental və dəyər yaradan sahələrindən biri olan data keyfiyyətinə fokuslanacağıq. Dərsin sonunda siz, data keyfiyyəti qaydalarını yaratmaq və tətbiq etmək üçün dayanıqlı, təkrarlanan bir prosesi necə dizayn edəcəyinizi öyrənəcəksiniz. Bu proses, əvvəlki dərsdə müəyyən etdiyimiz idarəçilik rollarının birgə işlədiyi bir mexanizm olacaq.
Data Keyfiyyəti Nədir və Niyə İdarə Olunmalıdır?
Proses dizaynına başlamazdan əvvəl, "keyfiyyətli data" dedikdə nəyi nəzərdə tutduğumuzu dəqiq müəyyənləşdirməliyik. Ümumi mənada, data keyfiyyəti, məlumatın nəzərdə tutulan məqsəd üçün nə dərəcədə "yararlı olması"dır. Lakin bu, subyektiv bir anlayışdır. İdarəetmə baxımından bizə daha konkret və ölçülə bilən meyarlar lazımdır.
Data keyfiyyəti çoxşaxəlidir və adətən aşağıdakı altı əsas ölçü (dimension) ilə təsvir olunur. Bu ölçüləri başa düşmək, effektiv keyfiyyət qaydaları yaratmağın ilk addımıdır.
Data Management - Data Quality
"Global Data Store LLC" kanalının bu qısa videosu, data keyfiyyətinin altı əsas ölçüsünü aydın və sadə nümunələrlə izah edir.
Videoda data keyfiyyətinin tərifi və altı ölçünün izah olunduğu hissəni izləyin: Dəqiqlik (Accuracy), Düzgünlük (Validity), Vaxtlı-vaxtında Olma (Timeliness), Tamlıq (Completeness), Unikallıq (Uniqueness) və Ardıcıllıq (Consistency). Hər bir ölçünün nə demək olduğuna və verilən nümunələrə diqqət yetirin.
İzlədiyiniz kimi, hər bir ölçü fərqli bir problemi hədəfləyir:
- Tamlıq: Müştərinin ünvanında poçt indeksinin olmaması.
- Düzgünlük: "Cins" sahəsinə "Kişi" və ya "Qadın" əvəzinə "Mavi" yazılması.
- Dəqiqlik: Real dünyada "İsmayılov" olan soyadın sistemə "İsmayilov" kimi daxil edilməsi.
- Ardıcıllıq: Müştəri hesabının "bağlı" statusunda olmasına baxmayaraq, həmin müştəriyə yeni sifarişin qeydə alınması.
- Unikallıq: Eyni müştərinin sistemdə iki fərqli ID ilə mövcud olması.
- Vaxtlı-vaxtında Olma: Ünvan dəyişikliyinin bir ay sonra sistemə daxil edilməsi.
Bu problemlərin qarşısını almaq üçün biz data keyfiyyəti qaydaları müəyyən edirik. Data keyfiyyəti qaydası, məlumatların bu ölçülərdən birinə və ya bir neçəsinə uyğunluğunu təmin etmək üçün tərtib edilmiş bir biznes tələbidir.
Data Management - Data Quality
İndi isə eyni videoda bu ölçülərin qaydalara necə çevrildiyinə baxaq.
Qaydaların izahı hissəsini izləyin. Burada "doğum tarixi" nümunəsi üzərindən Düzgünlük və Tamlıq ölçüləri üçün konkret qaydaların necə təyin edildiyi göstərilir. Məsələn: "Doğum tarixi 1900-cü il ilə cari tarix arasında olmalıdır" (Düzgünlük qaydası).
Bu qaydalar, data idarəçiliyi proqramının icra mexanizmidir. Onlar olmadan, keyfiyyət sadəcə bir arzu olaraq qalır.
Data Keyfiyyətinin İdarə Edilməsi Prosesi
Data keyfiyyətini təmin etmək birdəfəlik bir layihə deyil, davamlı bir prosesdir. Təşkilatlar adətən bu prosesi aşağıdakı şəkildə təsvir edilən dövri bir tsikl şəklində qururlar. Bu, bizim dizayn edəcəyimiz prosesin əsasını təşkil edəcək.
Diaqramda gördüyünüz kimi, proses altı əsas addımdan ibarətdir və bu, davamlı təkmilləşdirmə tsiklidir. İndi hər bir addımı ətraflı araşdıraq və bu prosesin idarəetmə rolları ilə necə əlaqəli olduğunu görək.
Mərhələ 1: Datanın Profilini Çıxarmaq (Profile the Data)
Hər şey datanın mövcud vəziyyətini anlamaqla başlayır. Profil çıxarmaq (profiling), datanın keyfiyyətini qiymətləndirmək üçün onun tərkibini, strukturunu və anomaliyalarını tədqiq etmək deməkdir.
- Məqsəd: "Bizim datamız nə qədər pis vəziyyətdədir?" sualına cavab tapmaq. Hansı sütunlarda boş dəyərlər var? Hansı formatlar standarta uyğun deyil? Nə qədər dublikat mövcuddur?
- İdarəçilik Rolu: Bu mərhələnin əsas icraçısı Data Stüardı (və ya SME - Subject Matter Expert) olur. Çünki yalnız biznes kontekstini bilən şəxs, məsələn, "Address2" sütunundakı "San Diego" və "SD" dəyərlərinin eyni anlama gəldiyini anlaya bilər.
- Proses: Stüardlar, SQL sorğuları və ya xüsusi proqram təminatı (məsələn, Informatica Data Quality) vasitəsilə datanı analiz edir, nəticələri sənədləşdirir və problemli sahələri müəyyən edirlər.
Bu prosesin necə işlədiyini daha əyani görmək üçün aşağıdakı video fraqmentinə nəzər yetirək.
Implementing Effective Data Quality
"datasourcetv" kanalındakı bu təqdimat, profilinq mərhələsinin praktiki tərəflərini və məsləhətlərini ətraflı izah edir.
Videoda profilinq mərhələsi haqqında danışılan hissəni izləyin. Burada altı keyfiyyət ölçüsünün profilinq zamanı necə yoxlanıldığı və effektiv profilinq üçün məsləhətlər (məsələn, real istehsalat məlumatlarının profillənməsi, nəticələrin sənədləşdirilməsi) verilir.
Mərhələ 2: Metriklər və Qaydalar Təyin Etmək (Establish Metrics and Define Rules)
Profilinq nəticələrinə əsaslanaraq, Data Stüardları spesifik, ölçülə bilən və test edilə bilən data keyfiyyəti qaydaları təyin edirlər.
- Məqsəd: Biznes tələblərini və profilinq zamanı aşkarlanan problemləri konkret qaydalara çevirmək.
- İdarəçilik Rolu: Data Stüardları qaydaların məzmununu ("doğum tarixi boş ola bilməz") təyin edir. Data Sahibi isə bu qaydaları rəsmi olaraq təsdiqləyir və onların prioritetini müəyyənləşdirir. Data İdarəçiliyi Şurası isə fərqli domenlər arasında ziddiyyətli qaydalar yaranarsa, son qərarı verir.
- Proses: Qaydalar adətən iki cür olur:
- Manipulyasiya/Təmizləmə Qaydaları: Datanı standart formata gətirir (məsələn, bütün hərfləri böyütmək, boşluqları silmək).
- Doğrulama (Validation) Qaydaları: Datanın standart siyahıya (məsələn, ölkələr siyahısı) və ya formata (məsələn, VÖEN formatı) uyğunluğunu yoxlayır.
Implementing Effective Data Quality
Eyni videoda qaydaların təyin edilməsi prosesinin praktiki tərəflərinə baxaq.
Qaydaların təyin edilməsi hissəsini izləyin. Burada manipulyasiya və doğrulama qaydaları arasındakı fərq, qaydaların prioritetləşdirilməsinin vacibliyi və etalon məlumat cədvəllərindən (reference tables) istifadə kimi vacib məqamlar izah edilir.
Mərhələ 3 & 4: Qaydaları Dizayn Etmək və Proseslərə İnteqrasiya Etmək (Design & Integrate Rules)
Təyin edilmiş biznes qaydaları artıq texniki həllərə çevrilməlidir. Bu, qaydaların tətbiq (enforcement) edildiyi mərhələdir.
- Məqsəd: Biznes qaydalarını avtomatlaşdırılmış şəkildə işləyən kod və ya konfiqurasiyalara çevirmək və onları məlumat axınlarına (məsələn, ETL/ELT prosesləri, məlumat daxil etmə formaları) daxil etmək.
- İdarəçilik Rolu: Bu mərhələnin əsas icraçıları Developerlər və ya Data Mühəndisləridir. Onlar Data Stüardlarının təqdim etdiyi tələblərə əsasən texniki həlli qururlar. Onlar həm də Data Kustodianları (Data Custodians) rolunu oynayırlar, çünki datanın saxlandığı sistemlərdə bu qaydaların texniki icrasına cavabdehdirlər.
- Proses: Developerlər təkrar istifadə oluna bilən qayda modulları (məsələn, "telefon nömrəsini standartlaşdır" modulu) yaradırlar. Bu, gələcəkdə eyni qaydanı fərqli sistemlərdə tətbiq etməyi asanlaşdırır və ardıcıllığı təmin edir.
Mərhələ 5: İstisnaları Nəzərdən Keçirmək və Qaydaları Təkmilləşdirmək (Review Exceptions)
Heç bir qayda mükəmməl deyil. Həmişə qaydalara uymayan və ya gözlənilməyən hallar ("exceptions") olacaq. Bu mərhələ həmin istisnaların idarə edilməsi üçündür və idarəçiliyin effektivliyini göstərən ən vacib döngələrdən biridir.
- Məqsəd: Qaydanı pozan məlumatların kök səbəbini araşdırmaq və onları aradan qaldırmaq.
- İdarəçilik Rolu: Data Stüardları istisnaları analiz edir. Onlar qərar verməlidirlər: problem datanın özündədir (məsələn, səhv daxil edilib) yoxsa qaydanın özündədir (məsələn, qayda artıq biznes reallığını əks etdirmir)?
- Proses: Stüard kök səbəb analizindən sonra aşağıdakı qərarlardan birini verir:
- Datanı Düzəltmək: Məlumat mənbəyində düzəldilir.
- Qaydanı Düzəltmək: Qayda dəyişdirilir və təsdiq üçün yenidən Data Sahibinə göndərilir.
- İstisnanı Qəbul Etmək: Bəzən istisna hal qanunidir və qəbul edilməlidir.
Mərhələ 6: Data Keyfiyyətini Monitorinq Etmək (Monitor Data Quality)
Bu, prosesin nəticələrini izləmək və hesabat vermək mərhələsidir.
- Məqsəd: Data keyfiyyətinin zamanla necə dəyişdiyini izləmək, trendləri müəyyən etmək və tərəqqini maraqlı tərəflərə (stakeholders) çatdırmaq.
- İdarəçilik Rolu: Data Stüardları gündəlik və ya həftəlik olaraq keyfiyyət göstəricilərini izləyirlər. Data İdarəçiliyi Şurası və İcraçı Rəhbərlik isə ümumi tərəqqini qiymətləndirmək üçün yüksək səviyyəli keyfiyyət hesabatlarını ("scorecards") nəzərdən keçirirlər.
- Proses: Data keyfiyyəti qaydalarının nəticələri əsasında vizual panellər (dashboards) və göstərici kartları (scorecards) hazırlanır. Bu kartlar, məsələn, "Müştəri məlumatlarının tamlıq səviyyəsi son 3 ayda 85%-dən 95%-ə yüksəldi" kimi nəticələri göstərir.
Bu altı mərhələ başa çatdıqda, proses yenidən başa qayıdır. Çünki biznes dəyişir, yeni datalar yaranır və keyfiyyət standartları təkmilləşdirilir.
Nəticə
Bu gün biz data keyfiyyəti qaydalarının yaradılması və tətbiqi üçün dayanıqlı bir prosesin necə qurulduğunu öyrəndik. Gördük ki, bu, sadəcə texniki bir fəaliyyət deyil, idarəçilik rollarının (Stüard, Sahib, Developer) sıx əməkdaşlıq etdiyi, davamlı bir idarəetmə tsiklidir.
Əsas Çıxarışlar:
- Data Keyfiyyəti Ölçülə Biləndir: Keyfiyyət, altı əsas ölçü (tamlıq, düzgünlük, dəqiqlik, ardıcıllıq, unikallıq, vaxtlı-vaxtında olma) ilə təyin olunur.
- Qaydalar İcra Mexanizmidir: Data keyfiyyəti qaydaları, bu ölçüləri təmin etmək üçün tərtib edilmiş konkret biznes tələbləridir.
- Proses Dövridir: Data keyfiyyətinin idarə edilməsi 6 mərhələli bir tsikldir: Profil çıxarmaq -> Qaydalar təyin etmək -> Dizayn və İnteqrasiya -> İstisnaları idarə etmək -> Monitorinq.
- İdarəçilik Mərkəzdədir: Hər mərhələdə müəyyən idarəçilik rolları (Data Stüardı, Sahibi, Developer, Şura) öz məsuliyyətlərini yerinə yetirir. Stüardlar prosesin ürəyi, developerlər icraçı qüvvəsi, sahiblər isə qərarvericiləridir.
Növbəti Dərsə Baxış
Bu gün öyrəndiyimiz prosesin son mərhələsi monitorinq və hesabatlılıq idi. Növbəti dərsimizdə məhz bu mövzunu daha da dərinləşdirəcəyik və maraqlı tərəflərə hesabat vermək üçün data keyfiyyəti panelinin (dashboard) konsepsiyasını və Əsas Fəaliyyət Göstəricilərini (KPIs) necə hazırlayacağımızı öyrənəcəyik.