آزمایشگاه آزاد؛ بدون نیاز به ورود
آستانهٔ تصمیم؛ کمتر هشدار اشتباه یا کمتر موردِ ازدست‌رفته؟
یک مدل به هر نمونه امتیاز می‌ده و با یک مرز اون رو مثبت یا منفی می‌خونه. اگه مرز رو جابه‌جا کنی، کدوم اشتباه کم می‌شه و کدوم ممکنه بیشتر بشه؟
آزمایش رو شروع کناز آستانهٔ ۰٫۵ شروع کن. درصد مثبت‌های درست و اشتباه رو بخون؛ بعد آستانه رو پایین‌تر و بالاتر امتحان کن.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
آستانه رو پایین بیار
آستانه رو از ۰٫۵ به ۰٫۳ برسون و درصد مثبت‌های درست، مثبت‌های اشتباه و درستی کلی رو مقایسه کن.
حدست چیه؟ با مرز پایین‌تر، مدل تعداد بیشتری از نمونه‌های مثبت رو می‌گیره؛ برای منفی‌ها چه اتفاقی می‌افته؟
توضیح نتیجه رو ببین
در این مجموعهٔ ثابت، مثبت‌های درست از ۹۱٪ به ۱۰۰٪ می‌رسن، اما مثبت‌های اشتباه از ۸٪ به ۴۵٪ بالا می‌رن. پایین آوردن مرز نمونه‌های بیشتری رو مثبت می‌کنه؛ هم خطای جاافتادن کمتر می‌شه و هم هشدار اشتباه بیشتر.
مرز رو بالاتر ببر
آستانه رو از ۰٫۵ به ۰٫۷ برسون. درصد مثبت‌های اشتباه و مثبت‌های درست رو کنار هم بخون.
حدست چیه؟ برای اینکه منفی‌های کمتری اشتباهی مثبت اعلام بشن، مدل ممکنه چند نمونهٔ مثبت واقعی رو از دست بده؟
توضیح نتیجه رو ببین
در نمونهٔ فعلی، نرخ مثبت اشتباه از ۸٪ به صفر می‌رسه، اما نرخ مثبت درست از ۹۱٪ به ۵۲٪ کم می‌شه. مرز بالاتر سخت‌گیرتره: هشدار اشتباه کمتر، اما موارد مثبتِ بیشتری جا می‌مونن.
درستی کلی رو هم جدا بخون
آستانه رو روی ۰٫۳، ۰٫۵ و ۰٫۷ بذار و درصد درستی کلی رو برای هر سه حالت مقایسه کن.
حدست چیه؟ آیا بالاترین آستانه حتماً بیشترین درستی کلی رو می‌ده؟
توضیح نتیجه رو ببین
در مجموعهٔ صدتایی مثبت و صدتایی منفی این مدل، درستی کلی در آستانهٔ ۰٫۵ برابر ۹۱٫۵٪ه؛ در ۰٫۳ برابر ۷۷٫۵٪ و در ۰٫۷ برابر ۷۶٪ه. این بهترین مقدار فقط برای همین نمونهٔ ثابت و این معیار حساب شده، نه برای هر مدل یا دادهٔ واقعی.
پشت این حرکت چه خبره؟
آستانه مرز تصمیم مثبته
هر امتیازی که به آستانه برسه یا ازش بالاتر باشه، مثبت پیش‌بینی می‌شه؛ امتیاز پایین‌تر منفی حساب می‌شه. تغییر مرز، تعداد پیش‌بینی‌های مثبت و منفی رو عوض می‌کنه.
دو نوع خطا جهت‌های مخالف دارن
مثبتِ اشتباه یعنی نمونهٔ منفی، مثبت اعلام شده؛ منفیِ اشتباه یعنی نمونهٔ مثبت جا مونده. بالا بردن آستانه معمولاً مثبت‌های اشتباه رو کم می‌کنه، اما منفی‌های اشتباه رو بیشتر می‌کنه.
درستی کلی به‌تنهایی همه‌چیز رو نمی‌گه
TPR=TP/(TP+FN); FPR=FP/(FP+TN); Accuracy=(TP+TN)/200
درستی کلی سهم همهٔ پیش‌بینی‌های درسته. نرخ مثبت درست و نرخ مثبت اشتباه جدا می‌گن مدل برای هر دسته چه‌طور کار کرده؛ پس بهتره هر سه رو کنار هم بخونی.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس می‌خونی، دستیار هوش مصنوعی می‌تونه شبیه‌سازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر می‌دی و با کمک توضیح بعدی، نتیجه رو بهتر می‌فهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود می‌شی. نتیجهٔ این آزمایش به چت منتقل نمی‌شه.
نمونهٔ نمایشی از آموزش در چت
چرا وقتی آستانه رو بالاتر می‌برم، مثبت اشتباه کمتر می‌شه اما مثبت درست هم می‌تونه کم بشه؟
مرز بالاتر باعث می‌شه نمونه‌های کم‌امتیاز کمتری مثبت اعلام بشن؛ بین اون‌ها هم منفی‌های اشتباه و هم مثبت‌های واقعیِ کم‌امتیاز هستن. پس یک خطا کم می‌شه و ممکنه خطای دیگه بیشتر بشه.
سؤال‌های رایج
مثبتِ درست یعنی چی؟
یعنی نمونه‌ای که واقعاً در دستهٔ مثبت بوده و مدل هم اون رو مثبت پیش‌بینی کرده.
مثبتِ اشتباه چه فرقی با منفیِ اشتباه داره؟
مثبتِ اشتباه یک منفی رو مثبت اعلام می‌کنه؛ منفیِ اشتباه یک مثبت واقعی رو جا می‌اندازه.
اگه درستی کلی زیاد باشه، مدل حتماً خوبه؟
نه لزوماً؛ این عدد مثبت و منفیِ درست رو با هم جمع می‌کنه. بهتره نرخ مثبت درست و مثبت اشتباه رو هم ببینی.
چرا آستانهٔ ۱ همهٔ نمونه‌ها رو منفی نمی‌کنه؟
امتیازها با توزیع نرمال ساخته می‌شن و ممکنه از ۱ هم بالاتر برن؛ هر امتیازی که به آستانه برسه مثبت می‌مونه.