دمای نمونه‌گیری چه بلایی سر انتخاب کلمه می‌آره؟

softmax امتیازها رو به احتمال تبدیل می‌کنه

p_i=exp(z_i/T)/sum_j(exp(z_j/T))

هر گزینه یک امتیاز پایه داره. softmax امتیازها رو با دما مقیاس می‌کنه، توان می‌گیره و بر مجموع تقسیم می‌کنه تا احتمال‌ها جمعاً یک بشن. در این ابزار پنج امتیاز ثابت برای واژه‌های and، the، is، to و be وجود داره؛ جمله یا معنای واژه‌ها در محاسبه نقشی نداره.

دما شکل توزیع رو عوض می‌کنه

T_low<T_high => p_max(T_low)>p_max(T_high)

وقتی دما کم می‌شه، اختلاف امتیازها پررنگ‌تر می‌مونه و گزینهٔ برتر احتمال بیشتری می‌گیره. دمای بیشتر احتمال‌ها رو پخش‌تر می‌کنه. در هر دو حالت، ترتیب گزینه‌ها به‌خاطر این امتیازهای ثابت همان می‌مونه؛ دما دانش یا کیفیت پاسخ اضافه نمی‌کنه.

آنتروپی میزان پخش‌بودن احتمال‌هاست

H=-sum_i(p_i*log2(p_i))

آنتروپی شانون با واحد بیت از احتمال همهٔ گزینه‌ها حساب می‌شه. در این مدل، دمای پایین آنتروپی رو کم می‌کنه و دمای بالاتر آن را زیاد می‌کنه. آنتروپی نمی‌گه یک واژه از نظر معنی یا واقعیت درست است.

گزینهٔ نمایش‌داده‌شده از توزیع نمونه‌گیری می‌شه

کلمهٔ انتخابی لزوماً همان گزینهٔ دارای بیشترین احتمال نیست. هر گزینه به اندازهٔ احتمال خودش شانس انتخاب داره. اگر دوباره اجرا کنی، نمودار احتمال‌ها با همان دما ثابت می‌مونه، ولی نمونهٔ انتخابی می‌تونه فرق کنه.

این دکمه واقعاً سیاق رو وارد مدل نمی‌کنه

طول سیاق در این ویجت یک ورودی بی‌اثر است؛ گزینه‌ها و امتیازها همیشه همان پنج واژه‌اند. برای همین آزمایش طول سیاق فقط نشان می‌ده که تنظیم فعلی روی محاسبه اثری ندارد.