p değeri nedir? 0,05 nereden geliyor ve nasıl yorumlanır?
İstatistiksel anlamlılığın gerçekte ne anlama geldiği, p değerinin en yaygın yanlış yorumları, etki büyüklüğünün önemi ve p-hacking tuzağı.
Özetle
- p değeri, sıfır hipotezi doğruyken elinizdeki kadar uç bir sonuç görme olasılığıdır — hipotezinizin doğru olma olasılığı değildir.
- 0,05 eşiği bilimsel bir yasa değil, tarihsel bir uzlaşımdır ve alanına göre 0,01 veya 0,10 da kullanılabilir.
- p < 0,05 sonucu “fark var” der; farkın büyüklüğü ve önemi hakkında hiçbir şey söylemez.
- Büyük örneklemlerde önemsiz farklar bile anlamlı çıkar; bu nedenle etki büyüklüğü mutlaka raporlanmalıdır.
- Anlamlı sonuç çıkana kadar analiz denemek (p-hacking) bilimsel etik ihlalidir.
p değeri, istatistikte en çok kullanılan ve en çok yanlış yorumlanan kavramdır. Doğru anlamak, hem bulgularınızı doğru raporlamanız hem de savunmada zor durumda kalmamanız için gereklidir.
p değeri gerçekte ne söyler?
Resmî tanım: Sıfır hipotezi doğru olsaydı, elimizdeki kadar veya daha uç bir sonuç gözlemleme olasılığı.
Yani p değeri, verinin sıfır hipotezine ne kadar uyumsuz olduğunu ölçer. Küçük p, “bu sonuç, fark olmadığı varsayımı altında oldukça şaşırtıcı” anlamına gelir.
Dört yaygın yanlış yorum
| Yanlış | Doğru |
|---|---|
| p = 0,03 → “Hipotezim %97 doğru” | p, hipotezin doğruluk olasılığını vermez |
| p = 0,03 → “Fark %3 olasılıkla tesadüf” | p, sonucun tesadüf olma olasılığı değildir |
| p > 0,05 → “Fark yoktur” | Kanıt bulunamadı; yokluk kanıtlanmadı |
| Küçük p → “Etki büyük” | p, etkinin büyüklüğü hakkında bilgi vermez |
Örneklem büyüklüğü tuzağı
Aynı büyüklükteki bir fark, örneklem büyüdükçe daha kolay anlamlı çıkar:
| Örneklem | Ortalama farkı | p değeri | Cohen’s d |
|---|---|---|---|
| 30 | 0,15 | 0,42 (anlamsız) | 0,12 |
| 300 | 0,15 | 0,04 (anlamlı) | 0,12 |
| 3000 | 0,15 | < 0,001 (çok anlamlı) | 0,12 |
Üç satırda da etkinin büyüklüğü aynıdır (d = 0,12, ihmal edilebilir düzeyde). Değişen tek şey örneklemdir. Bu yüzden p değerini tek başına raporlamak yanıltıcıdır.
Etki büyüklüğü: eksik yarısı
| Analiz | Etki büyüklüğü | Küçük | Orta | Büyük |
|---|---|---|---|---|
| t-testi | Cohen’s d | 0,20 | 0,50 | 0,80 |
| ANOVA | Eta kare (η²) | 0,01 | 0,06 | 0,14 |
| Korelasyon | r | 0,10 | 0,30 | 0,50 |
| Regresyon | f² | 0,02 | 0,15 | 0,35 |
| Ki-kare | Cramér’s V | 0,10 | 0,30 | 0,50 |
Güven aralığı: daha bilgilendirici alternatif
%95 güven aralığı, p değerinin sunmadığı bilgiyi verir: etkinin büyüklüğü ve belirsizliği.
- Fark = 0,45; %95 GA [0,12 – 0,78]: Etki pozitif ve muhtemelen anlamlı büyüklükte.
- Fark = 0,45; %95 GA [−0,02 – 0,92]: Etki sıfır da olabilir; belirsizlik yüksek.
- Fark = 0,03; %95 GA [0,01 – 0,05]: Anlamlı ama çok küçük — pratik değeri sorgulanmalı.
Güven aralığı sıfırı içeriyorsa sonuç anlamlı değildir; ancak aralığın genişliği size tahmin hassasiyetinizi de gösterir.
Birinci ve ikinci tip hata
| H0 gerçekte doğru | H0 gerçekte yanlış | |
|---|---|---|
| H0 reddedildi | I. Tip hata (α) — yanlış alarm | Doğru karar (güç) |
| H0 reddedilemedi | Doğru karar | II. Tip hata (β) — kaçırılan etki |
İstatistiksel güç (1 − β), var olan bir etkiyi yakalama olasılığıdır ve genellikle 0,80 hedeflenir. Yeterli örneklem toplamamak, gerçek etkileri kaçırmanın en yaygın nedenidir.
Çoklu karşılaştırma sorunu
Her testte %5 yanlış pozitif riski vardır. 20 test yaparsanız, hiçbir gerçek etki olmasa bile ortalama 1 tanesi “anlamlı” çıkar.
Düzeltme yöntemleri:
- Bonferroni: α / test sayısı. 10 test için 0,05/10 = 0,005. Katıdır, güç kaybettirir.
- Holm-Bonferroni: Kademeli, daha az katı.
- FDR (Benjamini-Hochberg): Çok sayıda testte tercih edilir.
p-hacking ve nasıl kaçınılır
p-hacking, bilinçli ya da bilinçsiz olarak anlamlı sonuca ulaşana kadar analizi değiştirmektir:
- Anlamlı çıkana kadar farklı kontrol değişkenleri denemek
- Uç değerleri seçici biçimde silmek
- p = 0,06 çıkınca 30 kişi daha toplayıp tekrar bakmak
- Anlamlı çıkan alt grubu ana bulgu gibi sunmak
- Hipotezleri sonuçlara göre yeniden yazmak (HARKing)
Korunma yolu: Analiz planınızı veri toplamadan önce yazın. Hangi testleri, hangi değişkenlerle, hangi ölçütlerle yapacağınızı belirleyin ve ona sadık kalın. Keşifsel analizler yapıyorsanız bunları “keşifsel” olarak etiketleyin.
APA formatında raporlama
“Gruplar arasında anlamlı bir fark bulunmuştur, t(298) = 4,27, p < ,001, d = 0,49, %95 GA [0,18, 0,52]. Etki büyüklüğü orta düzeydedir.”
Kurallar: p değeri 0,001’den küçükse “p < ,001” yazılır; büyükse tam değer verilir (p = ,032). Türkçe metinlerde ondalık ayracı virgüldür. p değeri asla tek başına raporlanmaz.
Sonuç
p değeri, bir karar aracıdır; gerçeğin ölçüsü değildir. “Anlamlı çıktı” demek yerine “ne kadar büyük bir etki bulduk ve bu pratikte ne ifade ediyor” sorusunu sorun. Bu yaklaşım hem daha dürüst hem de savunmada çok daha güçlüdür.
Analiz planınızı kurarken destek için akademik danışmanlık hizmetimize göz atabilirsiniz.