آزمایشگاه آزاد؛ بدون نیاز به ورود
این سکه منصفانه‌ست؟ p-value چه می‌گه؟
فرض کن سکه منصفانه‌ست و هر پرتاب مستقل از قبلیه. تعداد شیرها و کل پرتاب‌ها رو وارد کن؛ بعد ببین نتیجه چقدر با چیزی که از احتمال نیم انتظار داریم فرق می‌کنه. این دمو فعلاً p-value رو کم‌تر از مقدار درست گزارش می‌کنه، پس برای نتیجه‌گیری به عددش تکیه نکن.
آزمایش رو شروع کندر ۱۰ پرتاب با ۵ شیر، نتیجه دقیقاً روی میانگینه و p-value آزمون دوطرفه باید ۱ باشه؛ خروجی فعلی حدود ۰٫۷۲۰ه. این اختلاف از خود آزمونه، نه از معنی آماری p-value.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
یک شیر و نه شیر رو آینه‌ای مقایسه کن
کل پرتاب‌ها رو روی ۱۰ بذار. تعداد شیر رو یک بار ۱ و بار دیگه ۹ کن و p-value رو در هر اجرا بخون.
حدست چیه؟ برای سکهٔ منصفانه، نتیجهٔ ۱ شیر و ۹ شیر باید p-value یکسانی داشته باشن؟
توضیح نتیجه رو ببین
خروجی دمو برای هر دو حدود ۰٫۰۱۳۷ه؛ تقارن رو نگه می‌داره، اما مقدار درستِ آزمون دقیق حدود ۰٫۰۲۱۵ه. پس برابری دو خروجی خوبه، ولی خود p-value فعلی کم‌شماری شده.
نتیجهٔ دقیقاً روی میانگین رو امتحان کن
کل پرتاب‌ها رو ۱۰ و تعداد شیر رو ۵ بذار. نسبت شیر و p-value رو بخون.
حدست چیه؟ اگر نتیجه دقیقاً با میانگین مورد انتظار یکی باشه، p-value آزمون دوطرفه باید چقدر باشه؟
توضیح نتیجه رو ببین
نسبت شیر ۵۰٪ه و نتیجه در مرکز توزیع قرار می‌گیره؛ p-value درست باید ۱ باشه، چون همهٔ نتیجه‌ها دست‌کم به همین اندازه از مرکز دورن. دمو حدود ۰٫۷۱۹۷ می‌ده و این عدد درست نیست.
نسبت یکسان با نمونهٔ بزرگ‌تر رو بسنج
دو حالت رو مقایسه کن: ۶ شیر از ۱۰ پرتاب و ۶۰ شیر از ۱۰۰ پرتاب. نسبت شیر در هر دو ۶۰٪ه.
حدست چیه؟ با همان نسبت ۶۰٪، کدام نمونه شواهد بیشتری علیه سکهٔ منصفانه می‌ده؟
توضیح نتیجه رو ببین
آزمون دقیق برای این دو حالت به‌ترتیب p-value حدود ۰٫۷۵۳۹ و ۰٫۰۵۶۹ می‌ده؛ نمونهٔ بزرگ‌تر شواهد بیشتری داره. دمو حدود ۰٫۴۷۳۶ و ۰٫۰۲۸۴ نشون می‌ده و دومی حتی از ۰٫۰۵ پایین‌تر می‌افته؛ این افتِ کاذب از خطای محاسبهٔ دمو می‌آد.
پشت این حرکت چه خبره؟
فرض صفر یعنی فعلاً سکه رو منصفانه می‌گیریم
H0: p = 0.5; X ~ Bin(n, 0.5)
در این آزمون، فرض صفر می‌گه احتمال شیر در هر پرتاب نیمه. از روی همین فرض، تعداد شیرهای ممکن و احتمال هر تعداد رو حساب می‌کنیم.
p-value احتمال درست بودن فرض نیست
p_value = Pr(|X - n/2| >= |h - n/2| | H0)
p-value می‌گه اگر سکه منصفانه باشه، احتمال دیدن نتیجه‌ای به همین اندازه یا دورتر از انتظار چقدره. این عدد احتمال منصفانه بودن سکه رو نمی‌گه و به‌تنهایی هم نتیجه‌گیری قطعی نمی‌ده.
آزمون دوطرفه هر دو سمت رو می‌بینه
نتیجهٔ غیرعادی می‌تونه شیر خیلی کم یا خیلی زیاد باشه. در آزمون دوطرفه، هر دو سمتِ دور از مقدار مورد انتظار در احتمال جمع می‌شن؛ برای همین تعدادهای آینه‌ای باید p-value برابر داشته باشن.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس می‌خونی، دستیار هوش مصنوعی می‌تونه شبیه‌سازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر می‌دی و با کمک توضیح بعدی، نتیجه رو بهتر می‌فهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود می‌شی. نتیجهٔ این آزمایش به چت منتقل نمی‌شه.
نمونهٔ نمایشی از آموزش در چت
آیا p-value برابر ۰٫۰۵ یعنی احتمال منصفانه بودن سکه ۵٪ه؟
نه. p-value دربارهٔ داده‌هاست: اگر فرض کنیم سکه منصفانه‌ست، دیدن نتیجه‌ای به همین اندازه یا دورتر چقدر محتمله؟ برای گفتن احتمال خود فرض، p-value رو مستقیم نمی‌تونیم برگردونیم. این دمو هم به‌خاطر خطای شمارش نباید برای نتیجه‌گیری استفاده بشه.
سؤال‌های رایج
p-value دقیقاً چه احتمالی رو می‌گه؟
اگر فرض کنیم سکه منصفانه‌ست، احتمال دیدن نتیجه‌ای به همین اندازه یا دورتر از انتظار رو می‌گه. نمی‌گه احتمال منصفانه بودن سکه چقدره.
چرا آزمون، شیر خیلی کم و خیلی زیاد رو هر دو بررسی می‌کنه؟
چون هر دو می‌تونن با فرض سکهٔ منصفانه فاصله داشته باشن. در آزمون دوطرفه، احتمال نتیجه‌های دور در هر دو سمتِ میانگین جمع می‌شه.
اگر نسبت شیر یکی باشه، پرتاب‌های بیشتر چه فرقی دارن؟
وقتی نسبت دور از ۵۰٪ بمونه، نمونهٔ بزرگ‌تر معمولاً شواهد بیشتری فراهم می‌کنه. مثلاً ۶ شیر از ۱۰ پرتاب با ۶۰ شیر از ۱۰۰ پرتاب یکی نیست؛ فقط نسبت‌شون یکسانه.
می‌تونم تعداد شیر رو بیشتر از کل پرتاب‌ها بذارم؟
نه، چنین نتیجه‌ای در پرتاب سکه ممکن نیست. کنترل این دمو فعلاً جلوش رو نمی‌گیره، پس تعداد شیر رو برابر یا کم‌تر از کل پرتاب‌ها بذار. به‌خاطر خطای فعلی در محاسبهٔ p-value هم از عدد خروجی نتیجه‌گیری نکن.