روششناسی: مدلها چگونه آموزش دیدهاند؟
این صفحه توضیح میدهد دادههای آموزشی از کجا آمدهاند، متن فارسی چگونه پیشپردازش میشود، هر مدل با چه روشی آموزش دیده، و — بهطور صریح — مدلها هنوز کجا اشتباه میکنند. جزئیات ریاضی و کاملتر در گزارش فنی–علمی کامل (PDF) موجود است.
دادههای آموزشی از کجا آمدهاند؟
مجموعهٔ داده از ترکیب متنهای وبلاگی انسانی و متنهای تولیدشده توسط هوش مصنوعی ساخته شده است. بخش هوشمصنوعی داده با یک خطلولهٔ گردآوری اختصاصی تولید شده که عمداً بر تنوع تأکید دارد، نه فقط حجم:
- ۷۰ مدل زبانیاز ۹ ارائهدهندهٔ API مختلف (OpenRouter، NVIDIA و دیگران)، خانوادههای GPT، Claude، Gemini/Gemma، DeepSeek، Llama، Qwen و Nemotron
- ۵ سبک نوشتاریمقالهٔ رسمی، پست وبلاگی محاورهای، پرسشوپاسخ گامبهگام، متن انتقادی، خلاصهٔ ساختاریافته
- ۱٬۴۲۸ موضوع یکتااز علم و فناوری تا اقتصاد، سلامت، فلسفه و هنر
- دما و top-p تصادفیبرای هر نمونه، دما از [۰.۳۰, ۰.۹۵] و top-p از [۰.۸۰, ۱.۰۰] بهطور تصادفی انتخاب میشود
گردآوری داده و انتشار مجموعه داده: احسان ترابی فرسانی.
پیشپردازش و استخراج ویژگی
دو خطلولهٔ پیشپردازش متفاوت بهکار میرود: برای مدلهای کلاسیک و BiLSTM، متن نرمالسازی، ریشهیابی و توکنسازی کامل میشود (مناسب برای فضای کیسهواژه). برای GPT-2 و ParsBERT، تنها نرمالسازی سطح کاراکتر انجام میشود—بدون ریشهیابی—چون این مدلها روی متن طبیعی فارسی پیشآموزش دیدهاند و ریشهیابی، ورودی را از توزیع پیشآموزش آنها دور میکند.
برای مدلهای کلاسیک، علاوه بر بردار TF-IDF (یکگرم تا سهگرم، سقف ۱۵۰٬۰۰۰ ویژگی)، ده ویژگی سبکشناسی دستساز نیز محاسبه میشود. این ویژگیها به بردار مدلهای درختی و بیز ساده الحاق میشوند؛ SVM و رگرسیون لجستیک تنها با TF-IDF آموزش میبینند چون بردار مشترک برای این مدلهای خطی نتیجهٔ بدتری دارد:
- آنتروپی کاراکتریتنوع کاراکتری متن، نرمالشده بین ۰ تا ۱
- تنوع طول جملهضریب تغییرات طول جملههای متوالی
- تکرار سهگرمنسبت سهگرمهای واژگانی تکرارشونده
- انسجام میانجملهایشباهت کسینوسی TF-IDF میان جملههای متوالی
- تنوع واژگانینسبت واژههای یکتای متن به کل واژهها
- میانگین طول جملهمیانگین طول جملهها، نرمالشده (۵۰ واژه = ۱)
- واژههای کارکردیسهم واژههای بستهٔ دستوری از کل واژهها
- علائم نگارشیچگالی علائم نگارشی در متن
- انفجار واژگانیضریب تغییرات فاصلهٔ وقوع واژههای تکرارشونده
- تنوع جملهوارههاضریب تغییرات طول جملهوارهها (تفکیک با وقفههای نگارشی)
روششناسی آموزش
هر مدل کلاسیک (SVM، رگرسیون لجستیک، بیز ساده، جنگل تصادفی، گرادیان بوستینگ) با جستوجوی هایپرپارامتر واقعی (اعتبارسنجی متقاطع k-تاخورده) تنظیم میشود. داده به سه بخش آموزش/اعتبارسنجی/آزمون تفکیک میشود—با نسبت طبقهبندیشدهٔ ثابت—و مجموعهٔ آزمون تنها یکبار، در پایان، برای هر مدل لمس میشود. مدلهای یادگیری عمیق (BiLSTM، GPT-2، و ParsBERT) بهترین نقطهٔ توقف خود را بر پایهٔ امتیاز F1 روی مجموعهٔ اعتبارسنجی—نه آزمون—با توقف زودهنگام تعیین میکنند.
در کنار این مدلها، یک لایهٔ تصمیم «سیستم-یک» نیز سرو میشود: بهجای یک عدد، سه پاسخ نوعبندیشده—انتخاب منبع، امتیاز ماشینمانندبودن روی طیف پنجسطحی و احتمال نیاز به بازبینی انسانی—در یک گذر رو به جلو برمیگرداند. بدنهٔ آن همان رمزگذار ParsBERT فاینتیونشده است و چون مجموعه داده فقط برچسب دودویی دارد، هدفهای نرم آموزشش از دستهبند GPT-2 فاینتیونشده—مدلی با بیشترین وزن در رأیگیری ترکیبی—تقطیر شده است.
حالت آنلاین System One
علاوه بر مدلهای محلی، میتوانید همان متن را با مدل Jev سرویس TypeSafe — نخستین مدل «سیستم-یک» تجاری — تحلیل کنید. این مدل بهجای تولید متن، همان سه پاسخ نوعبندیشدهٔ محلی (انتخاب منبع، امتیاز ماشینمانندبودن و احتمال نیاز به بازبینی) را برمیگرداند؛ به همین دلیل خروجی هر دو در حالت «مقایسه هر دو» کنار هم و سؤالبهسؤال قابل سنجش است.
تنظیمات اتصال (کلید API، آدرس سرویس و نام مدل) در مرورگر خودتان — در localStorage — ذخیره میشود و تنها هنگام تحلیل به سرویس منتقل میگردد. یک نکتهٔ صادقانه: زبان اصلی آموزش Jev انگلیسی است و دقت آن روی متن فارسی — مانند مدلهای محلی — محدودیت دارد؛ مقایسهٔ دو رویکرد را بهعنوان سیگنال ببینید، نه حکم نهایی.
کجا مدلها هنوز اشتباه میکنند؟
مدلها و معیارهای زنده
فهرست زیر مستقیماً از سرور بکاند خوانده میشود، پس همیشه باmodels.jsonبهروز است.