یک نورون چطور دو گروه رو جدا می‌کنه؟

از مختصات تا یک احتمال

z = w0 + w1*x + w2*y; p = 1 / (1 + exp(-z))

نورون اول مختصات افقی و عمودی هر نقطه رو با وزن‌ها ترکیب می‌کنه و به آن یک مقدار می‌ده. بعد تابع sigmoid آن مقدار رو به عددی بین صفر و یک می‌بره. این ویجت با آستانهٔ نیم، عددهای بالاتر رو گروه ۱ و بقیه رو گروه ۰ حساب می‌کنه.

وزن‌ها چطور عوض می‌شن؟

g = (label - p) * p * (1 - p)

قاعدهٔ آموزشی همین ویجت، اختلاف برچسب و خروجی نورون رو با شیب تابع sigmoid ترکیب می‌کنه و با آن وزن‌ها رو جابه‌جا می‌کنه. پس این نمونه رو به‌عنوان یک قانون سادهٔ به‌روزرسانی بخون؛ پیاده‌سازی‌اش با زیانِ رایجِ cross-entropy برای رگرسیون لجستیک یکی نیست.

اندازهٔ قدم و تعداد دور

نرخ یادگیری اندازهٔ هر قدم تغییر وزن‌هاست. یک دور یعنی مدل همهٔ ۶۰ نقطه رو به‌ترتیب یک بار می‌بینه. نرخ خیلی کوچک ممکنه به دورهای بیشتری نیاز داشته باشه؛ قدم خیلی بزرگ هم می‌تونه از تنظیم مناسب عبور کنه. نتیجه را برای همین مدل و همین داده مقایسه کن.

دقت روی همان داده‌های آموزش

درصد دقت از همان ۶۰ نقطه‌ای حساب می‌شه که نورون با آن‌ها آموزش دیده. این داده‌ها در صفحه ثابت‌اند و دو دستهٔ ساختگی را نشان می‌دن؛ دقت بالا روی آن‌ها تضمین نمی‌کنه مدل روی نمونه‌های تازه هم همین‌قدر خوب باشه.