Data həmişə həqiqəti demir: Statistik düşüncənin gücü

Data analitikanı öyrənərkən əsas diqqət çox vaxt alətlərə yönəlir. Excel-də hansı funksiyanı bilməliyik, SQL-də sorğunu necə yazmalıyıq, Power BI-da dashboard-u necə qurmalıyıq və ya Python-da datanı necə analiz etməliyik? Təbii ki, bunların hər biri analitik üçün vacib bacarıqlardır. Ancaq yalnız alətləri yaxşı bilmək düzgün analiz aparmaq üçün kifayət etmir.

Data analitikin ən vacib bacarıqlarından biri statistik düşüncə və statistik analiz qabiliyyətidir. Çünki proqram bizə hesablamanı verə bilər, korrelyasiyanı hesablaya bilər, ortalamanı çıxara və qrafiki qura bilər. Amma həmin nəticənin nə demək olduğunu, hansı hallarda yanıltıcı ola biləcəyini və qərar vermək üçün nə dərəcədə etibarlı olduğunu proqram deyil, analitik müəyyən edir.

Məsələn, iki göstərici arasında yüksək korrelyasiya görmək onların bir-birinə səbəb olduğunu göstərmir. Eyni şəkildə, satışların ortalamasının yüksək olması bütün mağazaların yaxşı nəticə göstərdiyi mənasına gəlmir. Bəzən bir neçə ekstremal göstərici bütün nəticəni dəyişir, bəzən isə dataya kimlərin daxil edilməsi və kimlərin kənarda qalması tamam fərqli mənzərə yaradır.

Məhz buna görə yaxşı data analitik yalnız “rəqəm neçədir?” sualını verməməlidir. O, eyni zamanda “bu rəqəm niyə belədir?”, “bu nəticəyə hansı amillər təsir edib?” və “başqa cür baxsaq, nəticə dəyişə bilərmi?” kimi suallar da verməlidir.

Rəqəm doğru, nəticə isə səhv ola bilər

Data analitikasında ən təhlükəli səhvlərdən biri səhv hesablanmış rəqəm deyil. Bəzən hesablamalar tam doğrudur, SQL sorğusu düzgün işləyir, dashboard-da göstərici də doğru əks olunur, amma həmin rəqəmdən çıxardığımız nəticə yanlış olur.

Bunun əsas səbəbi datanın reallığın özü deyil, reallığın müəyyən üsulla ölçülmüş və bizə təqdim edilmiş bir hissəsi olmasıdır. Hansı məlumatların dataya daxil edilməsi, hansıların kənarda qalması, hansı göstəricidən istifadə olunması və datanın hansı səviyyədə ümumiləşdirilməsi nəticəyə ciddi təsir göstərə bilər.

Məsələn, bir şirkətdə satışların artdığını görüb bunu dərhal reklama bağlaya bilərik. Halbuki həmin dövrdə bazarda tələb artmış, qiymətlər dəyişmiş, yeni mağazalar açılmış və ya mövsümi satış dövrü başlamış ola bilər. Yəni rəqəm doğrudur, lakin onun səbəbini yanlış müəyyən etmiş ola bilərik.

Statistik araşdırmalarda da müşahidə etdiyimiz məlumatlardan birbaşa səbəb-nəticə əlaqəsi çıxarmağın çətin olduğu vurğulanır. Çünki görünən əlaqənin arxasında üçüncü amillər, məlumatların seçilmə forması və ya səbəbin düşündüyümüz istiqamətin əksinə işləməsi dayana bilər. Başqa sözlə, analitikin işi rəqəmi tapmaqla bitmir. Əsas iş həmin rəqəmin niyə belə göründüyünü anlamaqla başlayır.

Yazılanlara uyğun olaraq statistik təhlil zamanı diqqət etdiyimiz sadə bir məqama baxaq:

Korrelyasiya səbəb-nəticə demək deyil

Data analizində ən çox rast gəlinən yanlış nəticələrdən biri belədir: “X artdı, eyni zamanda Y də artdı. Deməli, X, Y-ni artırdı.” İlk baxışda bu yanaşma məntiqli görünür. Ancaq statistik baxımdan iki göstəricinin birlikdə dəyişməsi onların bir-birinə səbəb olduğunu göstərmir. Korrelyasiya sadəcə iki dəyişənin müəyyən dərəcədə birlikdə hərəkət etdiyini göstərir. Bu əlaqənin həqiqətən səbəb-nəticə əlaqəsi olması mümkündür, amma başqa amillərin təsiri ilə yaranması da mümkündür. Bəzən hər iki göstəriciyə üçüncü bir faktor təsir edir, bəzən isə səbəb hesab etdiyimiz göstərici əslində nəticə ola bilər. Müşahidə məlumatlarında korrelyasiyanın səbəb-nəticə kimi qəbul edilməsi məhz buna görə analitik səhvlərin əsas mənbələrindən biridir.

Maraqlı real nümunə: televizor sayı və ömür uzunluğu

Journal of Statistics Education jurnalında təqdim edilmiş maraqlı bir datasetdə əhalisi 20 milyondan çox olan 40 ölkənin göstəriciləri müqayisə edilmişdi. Datasetdə ölkələr üzrə həyat gözləntisi, hər televizora düşən insan sayı və hər həkimə düşən insan sayı kimi göstəricilər yer alırdı. Məlumatlar 1990-cı ilə aid idi. Analiz zamanı hər televizora düşən insan sayı ilə həyat gözləntisi arasında −0.606 korrelyasiya müəyyən edilmişdi. Başqa sözlə, televizorların əhali arasında daha geniş yayıldığı ölkələrdə insanların orta ömür uzunluğu da daha yüksək görünürdü. Əgər korrelyasiyanı birbaşa səbəb kimi qəbul etsəydik, belə bir nəticəyə gələ bilərdik:

“İnsanlara daha çox televizor versək, onların ömür uzunluğu artacaq.”

Təbii ki, bu nəticə məntiqli deyil.

Əslində burada televizor sayı başqa sosial-iqtisadi göstəricilərlə əlaqəli ola bilər. Daha inkişaf etmiş ölkələrdə əhalinin gəlir səviyyəsi, səhiyyəyə çıxışı, infrastruktur, təhsil və yaşayış şəraiti daha yaxşı ola bilər. Eyni zamanda həmin ölkələrdə televizor sahibliyi də daha yüksək ola bilər. Yəni həm televizor sayına, həm də insanların ömür uzunluğuna təsir edən üçüncü amillər mövcuddur. Statistikada buna təsiredici və ya qarışdırıcı amil (confounding factor) deyilir. Deməli, televizorla ömür uzunluğu arasında əlaqə görməyimiz televizorun insanların daha uzun yaşamasına səbəb olduğunu göstərmir.

Eyni səhv biznesdə necə görünür?

Tutaq ki, bir şirkətin son dörd ay üzrə reklam xərcləri və satış nəticələri belədir:

Ay Reklam xərci Satış

Yanvar 20 000 AZN 100 000 AZN

Fevral 25 000 AZN 115 000 AZN

Mart 35 000 AZN 145 000 AZN

Aprel 45 000 AZN 180 000 AZN

Bu cədvələ baxdıqda ilk nəticə çox sadə görünür:

Reklama daha çox pul xərclədik → satış artdı.

Rəqəmlər də bunu dəstəkləyirmiş kimi görünür. Reklam xərcləri artdıqca satışlar da yüksəlir. Amma yaxşı analitik burada dayanmaz. Çünki həmin aylarda satışlara təsir edə biləcək başqa faktorlar da ola bilər. Məsələn, bazarda ümumi tələb artmış, məhsulların qiyməti dəyişmiş, yeni satış nöqtələri açılmış, məhsul çeşidi genişlənmiş və ya mövsümi satış dövrü başlamış ola bilər.

Hətta tamamilə əks bir vəziyyət də mümkündür. Şirkət müəyyən aylarda satışların yüksək olacağını əvvəlcədən bildiyi üçün reklam büdcəsini həmin aylarda artırmış ola bilər. Bu halda:

reklam artdığı üçün satış artmayıb, əksinə satışın yüksək olacağı gözlənildiyi üçün reklam artırılıb. Belə vəziyyətlərdə yalnız mövcud rəqəmlərə baxaraq səbəb-nəticə əlaqəsi qurmaq düzgün deyil.

Ona görə də analitik korrelyasiyanı gördükdən sonra özünə ikinci bir sual verməlidir:

“Bu əlaqəni yarada biləcək başqa hansı amillər var?”

Məsələn, reklamın satışlara həqiqətən təsir edib-etmədiyini müəyyən etmək istəyiriksə, yalnız reklam xərci və satış arasındakı korrelyasiyaya baxmaq kifayət etmir. Mövsümi dəyişikliklər, qiymət, mağaza sayı, endirim kampaniyaları, ümumi bazar tələbi və digər faktorlar da nəzərə alınmalıdır.

Mümkün olduğu hallarda A/B testləri və digər nəzarətli eksperimentlərdən istifadə etmək daha sağlam nəticə verə bilər. Eksperiment aparmaq mümkün deyilsə, məlumatı müxtəlif qruplar üzrə müqayisə etmək, uyğun statistik modellər qurmaq və digər təsiredici amilləri analizə daxil etmək lazımdır. Buradan çıxan əsas nəticə isə sadədir:

Korrelyasiya bizə iki göstəricinin birlikdə dəyişdiyini deyir. Amma bunun “niyə” baş verdiyini demir.

Məhz həmin “niyə?” sualını cavablandırmaq analitikin işidir.

Yekun olaraq qeyd edə bilərik ki, əgər statistika və statistik təhlil bilmiriksə data analitika sahəsində uğur qazana bilmərik.