آزمایشگاه آزاد؛ بدون نیاز به ورود
درخت تصمیم چطور داده‌ها رو دسته‌بندی می‌کنه؟
درخت تصمیم با پرسش‌های کوتاه داده‌ها رو به شاخه‌ها می‌فرسته؛ مثلاً یک ویژگی از یک مرز کمتره یا بیشتر؟ این صفحه با دو گروه ساختگی نشون می‌ده یک پرسش ساده گاهی برای جداکردن داده‌ها کافیه.
آزمایش رو شروع کناز عمق ۱ شروع کن و بعد عمق رو تا ۴ و ۸ بالا ببر. دقت آموزش، دقت آزمون و تعداد گره‌ها رو کنار نمودار مقایسه کن؛ این داده‌ها عمداً خیلی ساده جدا می‌شن.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
آیا یک پرسش کافی است؟
عمق درخت رو روی ۱ بذار و دقت آموزش، دقت آزمون و تعداد گره‌ها رو بخون.
حدست چیه؟ فکر می‌کنی یک مرز ساده می‌تونه هر دو گروه رو جدا کنه؟
توضیح نتیجه رو ببین
در این نمونه، دقت آموزش و آزمون هر دو ۱۰۰ درصد می‌شن. یک مرز روی ویژگی x گروه‌ها رو جدا می‌کنه. شمارنده ۳ گره رو می‌ده: یک گرهٔ تصمیم و دو برگ؛ برگ‌ها هم جزو گره‌ها حساب می‌شن.
عمق بیشتر، دقت بیشتر؟
عمق رو از ۱ به ۴ ببر و دو دقت و تعداد گره‌ها رو دوباره با حالت قبل مقایسه کن.
حدست چیه؟ وقتی هر دو دقت از قبل ۱۰۰ درصدند، عمق ۴ می‌تونه آن‌ها رو باز هم بالا ببره؟
توضیح نتیجه رو ببین
در این دادهٔ ساختگی، هر دو دقت همان ۱۰۰ درصد و تعداد گره‌ها همان ۳ می‌مونه. عدد عمق سقفِ مجاز رو تعیین می‌کنه؛ درخت وقتی شاخهٔ خالص پیدا کنه، لازم نیست تا آن سقف رشد کنه.
بالاترین سقف را امتحان کن
عمق رو روی ۸ بذار و نمودار دقت آموزش و آزمون رو از عمق ۱ تا ۸ نگاه کن.
حدست چیه؟ آیا دو خط نمودار از هم جدا می‌شن یا روی هم می‌مونن؟
توضیح نتیجه رو ببین
در این مجموعهٔ ساده، دقت هر دو خط در همهٔ عمق‌ها ۱۰۰ درصد می‌مونه و درخت همچنان ۳ گره داره. پس این آزمایش بیش‌برازش رو نشان نمی‌ده؛ فقط می‌بینی زیادکردن سقف، وقتی یک مرز کافی است، لزوماً ساختار درخت رو عوض نمی‌کنه.
پشت این حرکت چه خبره؟
هر پرسش داده‌ها رو به دو شاخه می‌فرسته
x <= t => class 0; x > t => class 1
درخت یک ویژگی رو انتخاب می‌کنه و برایش مرزی می‌ذاره. این نمونه با یک مرز نزدیک نیم روی x، گروه اول رو در یک سمت و گروه دوم رو در سمت دیگر می‌گذاره. هر برگ در پایان یک برچسب پیش‌بینی می‌کنه.
درخت دنبال پرسشی است که گروه‌ها را خالص‌تر کند
H(S)=-sum_c p_c*log2(p_c); Gain(S,A)=H(S)-sum_v(|S_v|/|S|)*H(S_v)
معیار اطلاعاتی، بی‌نظمیِ برچسب‌ها رو پیش از پرسش با میانگین بی‌نظمیِ شاخه‌های بعد از پرسش مقایسه می‌کنه. اگر هر شاخه تقریباً یک برچسب داشته باشه، آنتروپی‌اش کمه و آن پرسش اطلاعات بیشتری داده.
عمق، سقف رشد است نه تعداد شاخه‌های اجباری
d(tree) <= maxDepth
عمق ۱ اجازهٔ یک پرسش از ریشه رو می‌ده؛ ولی اگر همان پرسش گروه‌ها رو جدا کنه، هر برگ خالص می‌شه و درخت می‌تونه همان‌جا بایسته. برای همین در این صفحه عمق‌های ۱ تا ۸ یک درخت یکسان می‌سازن.
دقت آموزش و آزمون دو جور بررسی‌اند
accuracy = correct / total
دقت آموزش سهم نمونه‌هایی است که درخت هنگام ساخت درست دسته‌بندی می‌کنه. دقت آزمون هم همین سنجش رو روی یک دستهٔ جدا انجام می‌ده. این دو مجموعه در شبیه‌ساز جدا از هم ساخته شده‌اند؛ نتیجهٔ کامل روی این دو دسته تضمین نمی‌کنه هر دادهٔ تازه‌ای هم درست دسته‌بندی بشه.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس می‌خونی، دستیار هوش مصنوعی می‌تونه شبیه‌سازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر می‌دی و با کمک توضیح بعدی، نتیجه رو بهتر می‌فهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود می‌شی. نتیجهٔ این آزمایش به چت منتقل نمی‌شه.
نمونهٔ نمایشی از آموزش در چت
اگر عمق درخت رو تا ۸ زیاد کنم، حتماً دقت بیشتر می‌شه؟
نه، نه روی این نمونه. گروه‌ها با یک مرز ساده جدا می‌شن و درخت از همان عمق ۱ به دقت کامل می‌رسه؛ سقف بزرگ‌تر به‌تنهایی درخت رو شلوغ‌تر نمی‌کنه. برای دیدن بیش‌برازش باید داده‌ای داشته باشیم که یک درخت خیلی عمیق روی آموزش خوب جور شود اما روی نمونه‌های تازه خطا بدهد.
سؤال‌های رایج
عمق درخت تصمیم دقیقاً یعنی چی؟
عمق، بیشترین تعداد پرسش‌هایی است که مسیر ریشه تا یک برگ اجازه داره داشته باشه. اسلایدر اینجا سقف رو از ۱ تا ۸ عوض می‌کنه؛ درخت مجبور نیست تا سقف رشد کنه.
چرا عمق ۱ به دقت ۱۰۰ درصد می‌رسه؟
چون در داده‌های ساختگی این صفحه، یک مرز نزدیک نیم روی x هر دو گروه رو جدا می‌کنه. این نتیجه دربارهٔ همین دو دسته است و قاعده‌ای برای هر داده‌ای نیست.
فرق دقت آموزش با دقت آزمون چیه؟
درخت با مجموعهٔ آموزش ساخته می‌شه؛ مجموعهٔ آزمون جداست و برای بررسی روی داده‌هایی به کار می‌ره که در ساخت درخت استفاده نشده‌اند. دقت کامل روی این نمونهٔ کوچک تضمین نتیجه روی داده‌های تازه نیست.
چرا تعداد گره‌ها ۳ است؟
درخت یک گرهٔ تصمیم در ریشه و دو برگ برای پیش‌بینی دو گروه داره. هر دو برگ هم گره حساب می‌شن، پس شمار کل سه است.
این صفحه بیش‌برازش رو نشان می‌ده؟
نه. این گروه‌های ساختگی با یک مرز جدا می‌شن و دقت آزمون در همهٔ عمق‌ها کامل می‌مونه؛ این صفحه فقط اثر سقف عمق رو در یک نمونهٔ ساده نشون می‌ده.