چطور تست‌های زیاد، نتیجهٔ شانسی می‌سازن

مثبت کاذب یعنی اثر پیدا شده، ولی واقعی نیست

وقتی در واقع اثری وجود نداره، باز هم ممکنه یک آزمون به‌خاطر شانس از آستانهٔ معناداری رد بشه. اگر آستانه پنج درصد باشه، در درازمدت حدود پنج درصد آزمون‌های مستقل چنین نتیجه‌ای می‌دن.

تعداد مورد انتظار با تعداد قطعی فرق داره

E[FP] = n*alpha; alpha = 0.05

اگر n آزمون مستقل داشته باشی و برای هر کدوم آستانهٔ خطای پنج‌درصدی بذاری، میانگین مثبت‌های کاذب برابر پنج صدمِ n می‌شه. این میانگین لازم نیست عدد صحیح باشه و تعداد واقعی در هر مجموعه تغییر می‌کنه.

آزمون‌های بیشتر، احتمال یک خطا رو بالا می‌برن

P(FP >= 1) = 1 - (1-alpha)^n

اگر هر آزمون مستقل باشه و احتمال مثبت کاذب پنج درصد باشه، احتمال این‌که هیچ آزمونی مثبت کاذب نشه برابر ۰٫۹۵ به توان n است. پس احتمال دست‌کم یکی منهای این مقدار می‌شه.

تصحیح بونفرونی آستانه رو سخت‌تر می‌کنه

alpha_per_test = alpha_family / n

برای محدود کردن احتمال مثبت کاذب در کل یک دسته آزمون، می‌شه آستانهٔ هر آزمون رو بر تعداد آزمون‌ها تقسیم کرد. این روش ساده‌ست، ولی ممکنه پیدا کردن اثرهای واقعی رو هم سخت‌تر کنه.