آزمایشگاه آزاد؛ بدون نیاز به ورود
توکن چیه؟ یک تخمین واژه‌ای رو امتحان کن
توکن تکه‌ای از متنه که مدل زبانی باهاش کار می‌کنه؛ ممکنه بخشی از یک واژه، یک واژهٔ کامل یا نشانهٔ نگارشی باشه. این حسابگر به‌جای جداکردن تکه‌های واقعی، واژه‌های جداشده با فاصله رو با دو ضریب ساده می‌شمره.
آزمایش رو شروع کننمونهٔ سلام رو انتخاب کن: این قانون برای متن فارسی ۴ و برای انگلیسی ۳ توکن برآورد می‌کنه. بعد نمونهٔ دیگه‌ای رو ببین و نسبت رو فقط نتیجهٔ همین تخمین بخون.
آزمایشگاه در حال آماده شدنه…
حالا خودت امتحان کن
هر بار فقط یک چیز رو تغییر بده تا اثرش رو ببینی. قبل از اجرا، نتیجه رو حدس بزن.
یک سلام، دو برآورد
نمونهٔ سلام رو انتخاب کن و عدد فارسی، انگلیسی و نسبت رو بخون.
حدست چیه؟ اگر متن در هر دو زبان دو واژه داشته باشه، این حسابگر حتماً عدد یکسانی می‌ده؟
توضیح نتیجه رو ببین
برای «سلام علیکم» و «Hello you»، این مدل به‌ترتیب ۴ و ۳ توکن تخمین می‌زنه؛ نسبت فارسی به انگلیسی ۱٫۳۳ه. این قانون واژه‌ها رو می‌شمره، نه تکه‌های واقعی متن رو.
نمونهٔ بلندتر چه عددی می‌گیره؟
نمونه رو روی جمله بذار و دو عدد و نسبت رو ببین؛ یادت باشه فقط برآورد خود حسابگر رو مقایسه می‌کنی.
حدست چیه؟ با بلندترشدن نمونه، هر دو تخمین نسبت به سلام بیشتر می‌شن؟
توضیح نتیجه رو ببین
در گزینهٔ جمله، تخمین فارسی ۱۶ و انگلیسی ۱۲ه و نسبت ۱٫۳۳ می‌شه. متن‌های این گزینه ترجمهٔ دقیق هم نیستن، پس این نسبت رو تفاوت واقعی توکن‌سازی دو زبان تعبیر نکن.
متن فنی و محدودیت این تخمین
نمونهٔ فنی رو انتخاب کن و عدد توکن‌های تخمینی و نسبت رو بخون؛ بعد با نمونهٔ سلام مقایسه‌ش کن.
حدست چیه؟ آیا این نسبت تعداد واقعی تکه‌هایی رو می‌گه که یک مدل مشخص می‌بینه؟
توضیح نتیجه رو ببین
این گزینه ۲۲ برای فارسی و ۱۶ برای انگلیسی می‌ده؛ نسبت ۱٫۳۸ه. این خروجی فقط از شمار واژه‌ها و ضریب‌های ثابت همین مدل ساده می‌آد، نه از یک توکن‌ساز واقعی.
پشت این حرکت چه خبره؟
توکن همیشه یک واژه نیست
token!=word
یک توکن می‌تونه بخشی از واژه، واژهٔ کامل یا حتی نشانهٔ نگارشی باشه. تعداد واقعی به متن، زبان و روش جداسازی مدل بستگی داره.
این حسابگر چه قانونی داره؟
fa=ceil(words/0.5);en=ceil(words/0.75)
اینجا فقط تعداد بخش‌های جداشده با فاصله شمرده می‌شه: برای فارسی دو برابر تعداد واژه‌ها و برای انگلیسی تعداد واژه‌ها تقسیم بر ۰٫۷۵ و گرد به بالا.
نسبت، مقایسهٔ همین دو متن است
ratio=persianTokens/englishTokens
نسبت خروجی فارسی به انگلیسی تقسیم می‌شه. چون متن‌های نمونه ترجمه‌های دقیق هم نیستن و روش توکن‌سازی واقعی با این واژه‌شماری ساده فرق داره، این نسبت دربارهٔ برتری یک زبان یا مدل خاص چیزی ثابت نمی‌کنه.
سؤالت رو بپرس، جوابش رو هم ببین
وقتی توی چت دربارهٔ یک مفهوم درس می‌خونی، دستیار هوش مصنوعی می‌تونه شبیه‌سازی مرتبط رو کنار توضیحش نشون بده. پارامترها رو تغییر می‌دی و با کمک توضیح بعدی، نتیجه رو بهتر می‌فهمی.
شروع یادگیری با چتبرای ادامه در چت، وارد مسیر شروع و ورود می‌شی. نتیجهٔ این آزمایش به چت منتقل نمی‌شه.
نمونهٔ نمایشی از آموزش در چت
چرا این عددها رو نباید تعداد دقیق توکن‌های یک مدل بدونیم؟
چون این ابزار فقط تعداد واژه‌های جداشده با فاصله رو می‌شمره و برای فارسی و انگلیسی ضریب‌های ثابتی به کار می‌بره. توکن واقعی می‌تونه بخشی از واژه یا نشانه باشه و تعدادش با مدل و روش جداسازی عوض بشه؛ پس این عددها فقط خروجی یک تخمین آموزشی‌ان.
سؤال‌های رایج
هر توکن یک واژهٔ کامل است؟
نه. توکن می‌تونه بخشی از واژه، یک واژهٔ کامل یا نشانهٔ نگارشی باشه؛ فاصله و نوشتار اطراف هم روی جداسازی اثر می‌ذارن.
چرا عدد فارسی از انگلیسی بیشتر می‌شه؟
در این حسابگر برای هر واژهٔ فارسی دو توکن فرض می‌شه و برای انگلیسی ضریب دیگه‌ای به کار می‌ره. این انتخابِ فرمول ساده‌ست، نه اندازه‌گیری توکن‌سازهای واقعی.
این عدد رو برای هزینه یا سقف متن یک مدل به کار ببرم؟
نه به‌عنوان عدد دقیق. این تخمین فقط واژه‌ها رو می‌شمره؛ شمارش واقعی به مدل و روش توکن‌سازی هم بستگی داره.
متن‌های فارسی و انگلیسی همیشه ترجمهٔ هم هستن؟
نه. چند جفت نمونهٔ این ابزار معناشون یکی نیست و بعضی متن‌های فارسی هم اشکال دارن؛ برای همین نسبتشون رو مقایسهٔ دو زبان حساب نکن.