آزمایشگاه آزاد؛ بدون نیاز به ورود
چرا یک دقت کلی کافی نیست؟
گاهی یک عدد کلی تفاوت عملکرد بین گروهها رو پنهان میکنه. این آزمایش با چند فرمول ساده نشون میده چرا بهتره دقت گروهها رو جدا هم ببینیم.
آزمایش رو شروع کننوار «درصد گروه A» عددی بین ۰ و ۱ نشان میده: ۰٫۵ یعنی ۵۰٪ و ۰٫۲۵ یعنی ۲۵٪. مقدارها ساختگیاند؛ این صفحه مدل واقعی آموزش نمیده و گروه A و B هم اسم گروههای واقعی نیستند.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
از سهم برابر شروع کن
سهم گروه A رو روی ۰٫۵۰ بذار تا ترکیب ساختگی دادهی آموزشی نصفنصف باشه.
حدست چیه؟ فکر میکنی دقت گروه A و B دقیقاً برابر میشه؟
توضیح نتیجه رو ببین
در این مدل، دقت A برابر ۷۵٪، دقت B برابر ۷۲٫۵٪ و دقت کلیِ وزندار ۷۳٫۸٪ نمایش داده میشه. حتی در این مثال ساده، سهم برابر بهتنهایی دو دقت گروهی رو برابر نمیکنه.
سهم A را به یکچهارم برسون
نسبت گروه A رو از ۰٫۵۰ به ۰٫۲۵ تغییر بده و سه دقت رو بخون.
حدست چیه؟ در این مدلِ ساختگی، کدام گروه دقت بیشتری خواهد داشت؟
توضیح نتیجه رو ببین
برای سهم A برابر ۲۵٪، دقت A برابر ۶۵٪، دقت B برابر ۸۳٫۷٪ و دقت کلی ۷۹٫۱٪ نمایش داده میشه. این جهتِ تغییر از فرمولهای ساختگی همین شبیهساز میآد، نه از یک قانون همیشگی دربارهی دادهی آموزشی.
حالا سهم A را به سهچهارم برسون
نسبت گروه A رو به ۰٫۷۵ برسون؛ مثل قبل دقت گروهها و دقت کلی رو کنار هم ببین.
حدست چیه؟ آیا بهتر شدن عدد A یعنی عدد کلی حتماً از آزمایش قبل بیشتر میشه؟
توضیح نتیجه رو ببین
در این مثال، دقت A به ۸۵٪ میرسه و دقت B به ۶۱٫۲٪ میرسه؛ دقت کلی باز هم ۷۹٫۱٪ نمایش داده میشه. یک عدد کلی برابر میتونه کنار دقتهای گروهی متفاوت قرار بگیره.
پشت این حرکت چه خبره؟
سهم داده فقط یکی از بخشهای ماجراست
در این مدل، نوار فقط سهم گروه A رو عوض میکنه و سهم B برابر باقیمانده است. اما دقت واقعی میتونه به کیفیت و تنوع نمونهها، برچسبها، انتخاب مدل، معیار ارزیابی و شرایط استفاده هم وابسته باشه؛ تعداد نمونه بهتنهایی جواب نمیده.
دقت گروهی را جداگانه بررسی کن
overall = x*A_acc + (1-x)*B_acc
دقت کلی یک میانگینه و ممکنه تفاوتهای گروهی رو پنهان کنه. این شبیهساز دقت کلی رو با وزنهایی حساب میکنه که از همان نسبت دادهی آموزشی میآیند؛ در ارزیابی واقعی باید ترکیب مجموعهی آزمون و هدف سنجش رو جدا و روشن کرد.
یک معیار، همهی معنیِ انصاف نیست
برابر بودن دقت کلی یا حتی دو دقت گروهی بهتنهایی ثابت نمیکنه یک سیستم منصفانه است. بسته به کاربرد، ممکنه لازم باشه خطاهای مثبت و منفی، اندازهی نمونه، گروههای کوچکتر و تفاوتهای درون هر گروه هم بررسی شوند.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس میخونی، دستیار هوش مصنوعی میتونه شبیهسازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر میدی و با کمک توضیح بعدی، نتیجه رو بهتر میفهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود میشی. نتیجهٔ این آزمایش به چت منتقل نمیشه.
نمونهٔ نمایشی از آموزش در چت
اگه دقت کلی در هر دو حالت ۷۹٫۱٪ است، پس عملکرد A و B هم یکیه؟
نه. در سهم A برابر ۲۵٪، دقتها A=۶۵٪ و B=۸۳٫۷٪ هستند؛ در سهم ۷۵٪، A=۸۵٪ و B=۶۱٫۲٪ میشوند. دقت کلی در هر دو حدود ۷۹٫۱٪ است چون وزن هر گروه هم با همان نسبت ورودی عوض میشود. این فقط رفتار فرمولهای ساختگی همین مثال است.
سؤالهای رایج
این شبیهساز واقعاً یک مدل هوش مصنوعی آموزش میده؟
نه. دادهی آموزشی یا آزمون ندارد؛ سه خروجی دقت با فرمولهای ثابت حساب میشوند. برای همین نتیجهها پیشبینیِ یک سامانهی واقعی نیستند.
دادهی نصفنصف همیشه مدل منصفانه میسازه؟
نه. این مثال فقط یک نسبت را تغییر میدهد. کیفیت داده، برچسبها، مدل، نوع خطا و شرایط استفاده هم مهماند؛ یک نسبت برابر بهتنهایی نتیجهی منصفانه رو تضمین نمیکنه.
چطور دقت کلی در سهمهای ۲۵٪ و ۷۵٪ یکسان میشه؟
فرمول دقت کلی، دقت هر گروه رو با همان سهم ورودی وزن میده. در این دو حالت دقتهای A و B جابهجا و متفاوتاند، اما میانگینِ وزندارشان هر دو ۷۹٫۱٪ نمایش داده میشه.
عدد ۰٫۵ روی نوار یعنی ۰٫۵٪؟
نه. ورودی یک نسبت از صفر تا یکه؛ ۰٫۵ یعنی نیمی از نمونههای آموزشیِ ساختگی به گروه A نسبت داده میشن، یعنی ۵۰٪.
اگر سهم A برابر ۱ باشد، دقت گروه B هم واقعاً ۵۰٪ است؟
این فقط عددی است که فرمول ساختگی میسازد. در آن تنظیم، هیچ نمونهی گروه B در سهم آموزشی نیست؛ این شبیهساز هنوز دقت B رو حساب میکنه، پس نباید آن را نتیجهی ارزیابی واقعی دانست.
چرا عدد روی میله با عدد زیرش فرق میکنه؟
عدد بالای میله به درصد کامل گرد میشه، ولی خوانش زیر نمودار تا یک رقم اعشار رو نگه میداره. برای نمونه، مقدار ۷۲٫۵٪ ممکنه روی میله ۷۳٪ دیده بشه.