Salam. Əvvəlki dərsimizdə biz data keyfiyyəti problemlərini aşkar etmək və izləmək üçün panellərin (dashboards) və KPI-ların necə dizayn ediləcəyini öyrəndik. Panellər bizə "nəyin" səhv olduğunu göstərir, lakin bu, hekayənin yalnız başlanğıcıdır. Bir problemi aşkar etmək onu həll etmək demək deyil.
Bu gün biz məhz bu növbəti addıma fokuslanacağıq. Bu dərsin məqsədi data keyfiyyəti probleminin həlli üçün iş axınını (workflow), o cümlədən kök səbəb analizi (root cause analysis) və aradan qaldırma planını (remediation planning) təsvir etməkdir. Data analitiki kimi təcrübənizdə yəqin ki, tez-tez "çirkli data" ilə qarşılaşmısınız və onu təmizləmisiniz. Bu dərsdə biz bu prosesi fərdi, reaktiv addımlardan çıxarıb, bütün təşkilat üçün tətbiq oluna bilən, təkrarlana bilən və idarə olunan bir çərçivəyə necə salacağımızı öyrənəcəyik.
Bütöv Məsələ Həlli İş Axını (End-to-End Workflow)
Data keyfiyyəti məsələlərinin idarə edilməsi xaotik olmamalıdır. Bunun üçün əvvəlcədən müəyyən edilmiş, ardıcıl bir proses olmalıdır. Aşağıdakı təsvir bu prosesin mərhələlərini yüksək səviyyədə göstərir.
Gəlin bu mərhələləri nəzərdən keçirək:
- Məsələnin Qeydiyyatı (Issue Logging): Bir problem aşkar edildikdə (məsələn, panel vasitəsilə və ya bir istifadəçi tərəfindən), o, rəsmi şəkildə qeydə alınmalıdır. Bu, adətən bir tapşırıq izləmə sistemində (məsələn, Jira, ServiceNow) həyata keçirilir.
- Təsirin Qiymətləndirilməsi (Impact Assessment): Problem nə qədər ciddidir? Hansı biznes proseslərinə, hesabatlara və ya müştərilərə təsir edir? Bu mərhələ problemin prioritetini müəyyən edir.
- Məsuliyyətin Təyini (Ownership Assignment): Problemin həllinə kim cavabdehdir? Bu, adətən problemin aid olduğu data domeni üzrə Data Stüardı və ya Data Sahibi olur.
- Kök Səbəb Analizi (Root-Cause Analysis - RCA): Bu, problemin sadəcə simptomunu deyil, onun yaranmasına səbəb olan əsas, kök mənbəyi tapmaq üçün aparılan "detektiv işidir". Bu mərhələyə daha dərindən nəzər salacağıq.
- Həll və Bərpa (Resolution and Remediation): Analizdən sonra həll planı hazırlanır və icra edilir. Burada iki fərqli anlayış var:
- Düzəliş (Correction): Səhv datanı dərhal düzəltmək. Məsələn, səhv yazılmış müştəri ünvanını düzəltmək.
- Bərpa/Düzəldici Tədbir (Remediation/Corrective Action): Problemin təkrar yaranmasının qarşısını almaq. Məsələn, ünvanın səhv daxil edilməsinə imkan verən sistemdə boşluğu aradan qaldırmaq.
- İzləmə və Monitorinq (Tracking and Monitoring): Tətbiq edilən həllin effektivliyini yoxlamaq. Problem həqiqətən aradan qalxdımı?
- Bağlanış və Hesabat (Close-out and Reporting): Məsələ həll edildikdən sonra tapşırıq bağlanır və nəticələr (əldə edilən dərslər daxil olmaqla) maraqlı tərəflərə bildirilir.
Bu mərhələlər, keyfiyyət idarəetməsində geniş istifadə olunan PDCA (Plan-Do-Check-Act) dövrünün bir tətbiqidir.
Data quality issue [Data Management Wiki]
Data Management Wiki portalındakı bu məqalə, data keyfiyyəti məsələlərinin həyat dövrünü PDCA çərçivəsində təsvir edir.
Məqalədəki "Lifecycle" başlığı altındakı cədvələ nəzər yetirin. Burada "Plan", "Do", "Check" və "Act" mərhələlərində hansı fəaliyyətlərin yer aldığı göstərilir. Bu fəaliyyətlərin yuxarıda təsvir etdiyimiz 7 mərhələli proseslə necə əlaqəli olduğuna diqqət yetirin.
Dərin Təhlil: Kök Səbəb Analizi (RCA)
İş axınının ən kritik hissəsi kök səbəbin düzgün tapılmasıdır. Əgər səbəbi səhv müəyyən etsək, yalnız simptomları müalicə etmiş olarıq və problem qısa müddət sonra yenidən üzə çıxacaq.
What is Root Cause Analysis (RCA)?
IBM Technology kanalının bu videosu Kök Səbəb Analizinin (RCA) nə olduğunu və niyə vacib olduğunu izah edir.
Zəhmət olmasa, videonun ilk hissələrini izləyin və bu məqamlara fokuslanın: RCA-nın məqsədi: Məqsədin sadəcə problemi müəyyən etmək deyil, onun bir daha təkrarlanmamasını təmin etmək olduğu vurğulanır. Simptom və problem fərqi: "Verilənlər bazası oflayn oldu" bir simptomdur, problem deyil. RCA daha dərini araşdırmağı tələb edir. Data toplamağın vacibliyi: Qərarlar fərziyyələrə deyil, faktlara və dataya əsaslanmalıdır. "Niyə?" sualını vermək: Əsl səbəbi tapana qədər ardıcıl olaraq "niyə?" sualını verməyin vacibliyi izah edilir.
Data keyfiyyəti kontekstində RCA prosesi aşağıdakı kimi daha detallı şəkildə təsvir edilə bilər:
Gördüyünüz kimi, proses problemi müəyyən etməkdən başlayır, komanda formalaşdırır, hipotezlər irəli sürür, onları test edir və nəhayət, həll tətbiq olunur. Bəs bu analiz zamanı hansı praktiki üsullardan istifadə edə bilərik?
Praktiki RCA Texnikaları
1. "5 Niyə" (The 5 Whys) Texnikası
Bu, Yaponiyada Toyota tərəfindən yaradılmış sadə, lakin çox güclü bir texnikadır. Məqsəd, problemin kök səbəbini tapana qədər ardıcıl olaraq "Niyə?" sualını verməkdir. Adətən, beşinci "niyə?" sualından sonra əsl səbəbə çatmaq mümkün olur.
Root Cause Analysis Techniques | Root Cause Analysis | Invensis Learning
Invensis Learning kanalının bu videosu bir neçə RCA texnikasını izah edir. Biz ilk olaraq "5 Niyə" texnikasına baxacağıq.
Videoda "The five whys" hissəsini izləyin. Texnikanın məqsədinin davamlı təkmilləşdirmə üçün əsl səbəbi tapmaq olduğu və komanda əməkdaşlığını təşviq etdiyi izah edilir.
Data keyfiyyəti üçün bir nümunəyə baxaq:
- Problem: Müştərinin aylıq hesabatında satış rəqəmi səhvdir.
- 1. Niyə? Çünki həmin ay üçün bir sifariş sistemə daxil edilməyib.
- 2. Niyə? Çünki sifariş faylı emal prosesi zamanı xəta verib və proses dayanıb.
- 3. Niyə? Çünki fayldakı tarix formatı ("GG-AA-İİİİ") sistemin gözlədiyi formatla ("AA/GG/İİİİ") uyğun gəlmirdi.
- 4. Niyə? Çünki yeni bir satış tərəfdaşı fərqli formatda fayl göndərməyə başlayıb.
- 5. Niyə? (Kök Səbəb) Çünki data qəbulu prosesində daxil olan faylların formatını avtomatik yoxlayan və ya standartlaşdıran bir validasiya (yoxlama) mərhələsi yoxdur.
Gördüyünüz kimi, problemin həlli sadəcə həmin bir sifarişi əl ilə daxil etmək deyil, data qəbulu prosesinə validasiya mərhələsi əlavə etməkdir.
2. Balıq Sümüyü Diaqramı (Fishbone/Ishikawa Diagram)
Daha mürəkkəb problemlər üçün "5 Niyə" kifayət etməyə bilər. Balıq Sümüyü diaqramı potensial səbəbləri müəyyən kateqoriyalara bölərək beyin fırtınası aparmaq üçün vizual bir vasitədir.
Root Cause Analysis Techniques | Root Cause Analysis | Invensis Learning
İndi isə eyni videoda Balıq Sümüyü diaqramı haqqında olan hissəyə baxaq.
Videoda "Fishbone diagram" hissəsini izləyin. Bu alətin problemi (balığın başı) və ona təsir edən potensial səbəbləri (sümüklər) vizual olaraq necə təşkil etdiyinə diqqət yetirin.
Data keyfiyyəti problemləri üçün ümumi səbəb kateqoriyaları (əsas sümüklər) bunlar ola bilər:
- İnsanlar (People): Təlim çatışmazlığı, diqqətsizlik, məlumat daxil edərkən edilən səhvlər.
- Proseslər (Processes): Yoxlama addımlarının olmaması, zəif standartlar, mürəkkəb və ya aydın olmayan iş axınları.
- Sistemlər/Texnologiya (Systems/Technology): Proqram təminatında olan xətalar (bugs), sistem inteqrasiyası problemləri, köhnəlmiş texnologiya.
- Data (Data): Mənbə sistemdəki səhv data, referens datanın olmaması və ya köhnəlməsi.
- Ölçmə (Measurement): Data keyfiyyəti qaydalarının səhv təyin edilməsi, yanlış metrikalar.
- Ətraf Mühit (Environment): Sistemdə planlaşdırılmamış kəsintilər, təzyiq altında işləmə mühiti.
Bu diaqram komandaya bütün potensial səbəbləri sistematik şəkildə nəzərdən keçirməyə və heç bir ehtimalı gözdən qaçırmamağa kömək edir.
Analizdən Fəaliyyətə: Bərpa Planının Hazırlanması
Kök səbəbi tapdıqdan sonra, növbəti addım onu aradan qaldırmaq üçün bir plan hazırlamaqdır. Bu mərhələdə "düzəliş" və "düzəldici tədbir" arasındakı fərqi anlamaq çox vacibdir.
[PDF] A Management System for Data Quality - DAMA NL
DAMA-NL tərəfindən hazırlanmış bu sənəd Data Keyfiyyəti İdarəetmə Sisteminin (DQMS) bir elementi kimi "data keyfiyyəti məsələsi"nin idarə edilməsini izah edir.
Sənədin 6-cı səhifəsində, "27 Data quality issue" adlı bölməni oxuyun. Burada, məsələnin həllinin iki hissədən ibarət olduğu aydın şəkildə göstərilir: anında həll ('correction') və gələcəkdə qarşısını almaq üçün tədbir ('corrective actions').
Gəlin bu anlayışları Data Management Wiki-dəki kiçik hekayə ilə daha aydın başa düşək.
Data quality issue [Data Management Wiki]
Bu resursun sonunda yer alan qısa hekayə bu iki anlayış arasındakı fərqi əyani şəkildə göstərir.
"Story" başlığı altındakı hekayəni oxuyun. Müştəriyə səhv məhsul göndərilib. Düzəliş (Correction): Data Stüardı məhsul nömrəsini sistemdə düzəldir. Düzəldici Tədbir (Corrective Action): Gələcəkdə bu cür səhvlərin olmaması üçün məlumat daxil edildikdən sonra ikinci bir şəxsin yoxlaması prosedurunu tətbiq edir.
Bərpa planı (remediation plan) bu addımları sənədləşdirməli, icra üçün məsul şəxsləri təyin etməli və son tarixləri müəyyən etməlidir.
Nəticə
Bu gün biz data keyfiyyəti probleminin aşkar edilməsindən onun daimi həllinə qədər olan bütün prosesi əhatə edən strukturlaşdırılmış bir iş axınını təsvir etdik. Gördük ki, effektiv idarəçilik təsadüfi "yanğınsöndürmə" əməliyyatlarından daha çox, proqnozlaşdırıla bilən və təkrarlana bilən bir prosesə əsaslanır.
Əsas Çıxarışlar:
- Sistematik İş Axını: Data keyfiyyəti məsələlərinin həlli üçün qeydiyyat, təsirin qiymətləndirilməsi, analiz, həll və monitorinq kimi aydın mərhələlərdən ibarət bir proses olmalıdır.
- Simptomla Deyil, Səbəblə Mübarizə: Məqsəd problemi müvəqqəti düzəltmək deyil, Kök Səbəb Analizi (RCA) vasitəsilə onun bir daha təkrarlanmasının qarşısını almaqdır.
- Praktiki Alətlər: "5 Niyə" və "Balıq Sümüyü Diaqramı" kimi sadə, lakin effektiv alətlər kök səbəbin tapılmasında mühüm rol oynayır.
- Düzəliş və Bərpa: Bərpa planı həm mövcud səhvi aradan qaldıran dərhal düzəlişi (correction), həm də problemin təkrar yaranmasını əngəlləyən uzunmüddətli düzəldici tədbiri (corrective action) əhatə etməlidir.
Növbəti Dərsə Baxış
Data keyfiyyətinin idarə olunması üçün əsas prosesləri əhatə etdikdən sonra, indi diqqətimizi data idarəçiliyinin digər kritik bir sahəsinə – Metadataya yönəldəcəyik. Növbəti dərsimizdə biz ortaq biznes anlayışının təməl daşı olan Biznes Lüğətinin (Business Glossary) idarəçilik strukturunu, o cümlədən terminlərin yaradılması, təsdiqlənməsi və saxlanması üçün iş axınlarını necə dizayn edəcəyimizi araşdırmağa başlayacağıq.