آزمایشگاه آزاد؛ بدون نیاز به ورود
سوگیری انتشار؛ میانگینِ همهٔ پژوهشها چه فرقی داره؟
این ویجت برای پژوهشهای منتشرشده عددهای اثرِ بالاتر و برای منتشرنشدهها عددهای پایینتر میسازه، بعد میانگین هر دو گروه و میانگین کل رو مقایسه میکنه. این یک مثال ساختگی برای فهم اثرِ انتخابه، نه خلاصهٔ پژوهشهای واقعی.
آزمایش رو شروع کنشروع پیشنهادی: ۲۰ پژوهش منتشرشده و ۳۰ منتشرنشده. میانگین گروه منتشرشده و میانگین کل رو بخون؛ با هر اجرای تازه نمونههای تصادفی عوض میشن. مثلاً در یک نمونهٔ شروع، میانگینها حدود ۱٫۰۶ و ۰٫۵۵ بودن.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
میانگین گروهها رو مقایسه کن
با ۲۰ منتشرشده و ۳۰ منتشرنشده شروع کن. میانگین اثرِ منتشرشده رو با میانگین کل مقایسه کن؛ اگر دوباره اجرا کنی، یک نمونهٔ تصادفی تازه میگیری.
حدست چیه؟ وقتی گروه منتشرنشده در این مدل اثرهای کوچکتری داره، میانگین کل بالاتر میره یا پایینتر؟
توضیح نتیجه رو ببین
در این مدل، عددهای ساختگیِ گروه منتشرنشده از عددهای گروه منتشرشده پایینترند، پس اضافهشدنشون میانگین کل رو پایین میآره. برای نمونه، در یک اجرای شروع حدود ۱٫۰۶ برای منتشرشدهها و ۰٫۵۵ برای کل دیده میشه؛ اجرای تازه میتونه عددهای دیگهای بده.
گروه پنهان رو خالی کن
تعداد منتشرشدهها رو ۲۰ نگه دار و تعداد منتشرنشدهها رو از ۳۰ به صفر برسون. دو میانگین رو در خروجی مقایسه کن.
حدست چیه؟ اگر فقط پژوهشهای منتشرشده وارد میانگین کل بشن، دو عدد چه نسبتی باهم دارن؟
توضیح نتیجه رو ببین
وقتی تعداد منتشرنشدهها صفره، میانگین کل دقیقاً با میانگین منتشرشدهها یکی میشه؛ هر دو هنوز برای نمونهٔ تصادفی همون اجرا محاسبه میشن.
تعداد پژوهشهای منتشرنشده رو زیاد کن
۲۰ منتشرشده رو نگه دار و تعداد منتشرنشدهها رو از ۳۰ به ۹۰ برسون. میانگین کل رو با نمونهٔ قبلی مقایسه کن.
حدست چیه؟ وقتی در این مدل تعداد عددهای کوچکتر بیشتر بشه، میانگین کل به کدوم گروه نزدیکتر میشه؟
توضیح نتیجه رو ببین
میانگین کل معمولاً به گروه منتشرنشده نزدیکتر میشه. برای نمونه، در یک اجرای شروع با ۹۰ موردِ منتشرنشده حدود ۰٫۳۷ دیده میشه؛ عددهای دقیق در اجراهای دیگه فرق میکنن و این نتیجهها دادهٔ مقالهٔ واقعی نیستن.
پشت این حرکت چه خبره؟
چیزی که منتشر میشه، همهٔ پژوهشها نیست
اگر احتمال انتشار به جهت یا بزرگی نتیجه ربط پیدا کنه، مجموعهٔ مقالههای چاپشده ممکنه با همهٔ پژوهشهای انجامشده فرق کنه. پژوهشهای واقعی چنین سوگیریای رو در بعضی گروهها بررسی کردهان؛ اندازهٔ اثرش در همهٔ رشتهها و گروهها یکسان نیست.
میانگین کل به تعداد هر گروه هم بستگی داره
meanPub=sum(x_i)/nPub; meanAll=(sum(x_i)+sum(y_j))/(nPub+nUnpub)
هر پژوهش در این مدل یک عدد اثرِ ساختگی میگیره و همهٔ عددها وزن یکسان دارن. میانگین کل از جمع عددهای هر دو گروه تقسیم بر تعداد کل به دست میآد؛ این ویجت اندازهٔ نمونه یا دقت پژوهشها رو جدا حساب نمیکنه.
عددها واقعی یا ثابت نیستن
با هر اجرا، مدل نمونههای تصادفی تازه میسازه. گروه منتشرشده در فرمولش عددهای اثر بالاتری میگیره و منتشرنشدهها عددهای پایینتر؛ این یک انتخاب ازپیشساخته برای دیدن جابهجایی میانگینه، نه تخمینِ اثر واقعیِ یک درمان یا ایده.
میانگینِ پایینتر، حقیقت رو ثابت نمیکنه
این مثال هیچ «اندازهاثر واقعی» مشخصی نداره که میانگین کل به آن برسد. فقط نشان میده اگر گروه دوم عددهای پایینتری داشته باشه، میانگین ترکیبی چطور عوض میشه؛ برای نتیجهگیری از پژوهش واقعی، داده و روش هر پژوهش مهمه.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس میخونی، دستیار هوش مصنوعی میتونه شبیهسازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر میدی و با کمک توضیح بعدی، نتیجه رو بهتر میفهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود میشی. نتیجهٔ این آزمایش به چت منتقل نمیشه.
نمونهٔ نمایشی از آموزش در چت
اگر با اضافهکردن پژوهشهای منتشرنشده میانگین پایین اومد، یعنی اثر واقعی همینقدر کمه؟
نه. میانگین پایینتر فقط نتیجهٔ عددهای ساختگی این نمونه است. ویجت هیچ اثر واقعی یا تعداد واقعیِ پژوهشهای پنهان رو نمیدونه؛ برای فهم نتیجههای واقعی باید خود پژوهشها و روششون بررسی بشن.
سؤالهای رایج
چرا با دوباره اجراکردن، میانگینها کمی عوض میشن؟
چون ویجت برای هر پژوهش عددهای تصادفیِ تازه میسازه. تفاوتِ نمونهها بخشی از نمایش تصادفیبودن مدله، نه تغییر اطلاعات یک پژوهش واقعی.
این تعداد منتشرنشدهها واقعاً از جایی پیدا شده؟
نه؛ تعداد فقط ورودیِ یک آزمایش فرضیه. ویجت فهرست مقالهها یا تعداد پژوهشهای منتشرنشده در یک رشته رو ندارد.
کدام میانگین اندازهاثر واقعی رو میگه؟
هیچکدوم. این مدل اثر واقعیِ هدفی تعریف نکرده؛ فقط میانگینِ دادههای ساختگیِ گروهها رو حساب میکنه.
اگر عدد میانگین از ۱ بیشتر باشه، چرا میله از سقف نمودار رد نمیشه؟
مقیاس میلهها روی ۱ سقف داره و مقدار بزرگتر رو کوتاه میکنه، هرچند برچسب عددی مقدار کامل رو مینویسه. در نمونهٔ شروع، میانگین گروه منتشرشده حدود ۱٫۰۶ است؛ برای مقدار دقیق برچسب رو بخون.
آیا انتشار نتیجههای مثبت در دنیای واقعی میتونه رایجتر باشه؟
در بعضی گروههای پژوهشی، مطالعههای تجربی احتمال انتشار بیشتری برای نتیجههای مثبت گزارش کردهان؛ اندازهٔ این تفاوت به نوع گروه بستگی داره. این ویجت اون شواهد رو تحلیل نمیکنه و فقط یک مدل آموزشی ساده است.