هشدار — پروژه پایان‌ترم دانشجوییاین ابزار یک پروژه پایان‌ترم دانشجویی است که توسط احسان ترابی فارسانی (Ehsan Torabi Farsani) توسعه یافته است. خروجی‌های آن تخمینی هستند، دقت قطعی ندارند و برای تصمیمات مهم یا استفادهٔ تجاری مناسب نیستند.
بازگشت به ابزار تشخیص

روش‌شناسی: مدل‌ها چگونه آموزش دیده‌اند؟

این صفحه توضیح می‌دهد داده‌های آموزشی از کجا آمده‌اند، متن فارسی چگونه پیش‌پردازش می‌شود، هر مدل با چه روشی آموزش دیده، و — به‌طور صریح — مدل‌ها هنوز کجا اشتباه می‌کنند. جزئیات ریاضی و کامل‌تر در گزارش فنی–علمی کامل (PDF) موجود است.

داده‌های آموزشی از کجا آمده‌اند؟

مجموعهٔ داده از ترکیب متن‌های وبلاگی انسانی و متن‌های تولیدشده توسط هوش مصنوعی ساخته شده است. بخش هوش‌مصنوعی داده با یک خط‌لولهٔ گردآوری اختصاصی تولید شده که عمداً بر تنوع تأکید دارد، نه فقط حجم:

  • ۷۰ مدل زبانیاز ۹ ارائه‌دهندهٔ API مختلف (OpenRouter، NVIDIA و دیگران)، خانواده‌های GPT، Claude، Gemini/Gemma، DeepSeek، Llama، Qwen و Nemotron
  • ۵ سبک نوشتاریمقالهٔ رسمی، پست وبلاگی محاوره‌ای، پرسش‌وپاسخ گام‌به‌گام، متن انتقادی، خلاصهٔ ساختاریافته
  • ۱٬۴۲۸ موضوع یکتااز علم و فناوری تا اقتصاد، سلامت، فلسفه و هنر
  • دما و top-p تصادفیبرای هر نمونه، دما از [۰.۳۰, ۰.۹۵] و top-p از [۰.۸۰, ۱.۰۰] به‌طور تصادفی انتخاب می‌شود

Persian AI-Generated Text Dataset

۱۰٬۵۴۶ نمونه، با فراداده کامل (مدل، ارائه‌دهنده، سبک، دما، top-p) — به‌صورت عمومی روی Hugging Face منتشر شده است.

مشاهده در Hugging Face

گردآوری داده و انتشار مجموعه داده: احسان ترابی فرسانی.

پیش‌پردازش و استخراج ویژگی

دو خط‌لولهٔ پیش‌پردازش متفاوت به‌کار می‌رود: برای مدل‌های کلاسیک و BiLSTM، متن نرمال‌سازی، ریشه‌یابی و توکن‌سازی کامل می‌شود (مناسب برای فضای کیسه‌واژه). برای GPT-2 و ParsBERT، تنها نرمال‌سازی سطح کاراکتر انجام می‌شود—بدون ریشه‌یابی—چون این مدل‌ها روی متن طبیعی فارسی پیش‌آموزش دیده‌اند و ریشه‌یابی، ورودی را از توزیع پیش‌آموزش آن‌ها دور می‌کند.

برای مدل‌های کلاسیک، علاوه بر بردار TF-IDF (یک‌گرم تا سه‌گرم، سقف ۱۵۰٬۰۰۰ ویژگی)، ده ویژگی سبک‌شناسی دست‌ساز نیز محاسبه می‌شود. این ویژگی‌ها به بردار مدل‌های درختی و بیز ساده الحاق می‌شوند؛ SVM و رگرسیون لجستیک تنها با TF-IDF آموزش می‌بینند چون بردار مشترک برای این مدل‌های خطی نتیجهٔ بدتری دارد:

  • آنتروپی کاراکتریتنوع کاراکتری متن، نرمال‌شده بین ۰ تا ۱
  • تنوع طول جملهضریب تغییرات طول جمله‌های متوالی
  • تکرار سه‌گرمنسبت سه‌گرم‌های واژگانی تکرارشونده
  • انسجام میان‌جمله‌ایشباهت کسینوسی TF-IDF میان جمله‌های متوالی
  • تنوع واژگانینسبت واژه‌های یکتای متن به کل واژه‌ها
  • میانگین طول جملهمیانگین طول جمله‌ها، نرمال‌شده (۵۰ واژه = ۱)
  • واژه‌های کارکردیسهم واژه‌های بستهٔ دستوری از کل واژه‌ها
  • علائم نگارشیچگالی علائم نگارشی در متن
  • انفجار واژگانیضریب تغییرات فاصلهٔ وقوع واژه‌های تکرارشونده
  • تنوع جمله‌واره‌هاضریب تغییرات طول جمله‌واره‌ها (تفکیک با وقفه‌های نگارشی)

روش‌شناسی آموزش

هر مدل کلاسیک (SVM، رگرسیون لجستیک، بیز ساده، جنگل تصادفی، گرادیان بوستینگ) با جست‌وجوی هایپرپارامتر واقعی (اعتبارسنجی متقاطع k-تاخورده) تنظیم می‌شود. داده به سه بخش آموزش/اعتبارسنجی/آزمون تفکیک می‌شود—با نسبت طبقه‌بندی‌شدهٔ ثابت—و مجموعهٔ آزمون تنها یک‌بار، در پایان، برای هر مدل لمس می‌شود. مدل‌های یادگیری عمیق (BiLSTM، GPT-2، و ParsBERT) بهترین نقطهٔ توقف خود را بر پایهٔ امتیاز F1 روی مجموعهٔ اعتبارسنجی—نه آزمون—با توقف زودهنگام تعیین می‌کنند.

در کنار این مدل‌ها، یک لایهٔ تصمیم «سیستم-یک» نیز سرو می‌شود: به‌جای یک عدد، سه پاسخ نوع‌بندی‌شده—انتخاب منبع، امتیاز ماشین‌مانندبودن روی طیف پنج‌سطحی و احتمال نیاز به بازبینی انسانی—در یک گذر رو به جلو برمی‌گرداند. بدنهٔ آن همان رمزگذار ParsBERT فاین‌تیون‌شده است و چون مجموعه داده فقط برچسب دودویی دارد، هدف‌های نرم آموزشش از دسته‌بند GPT-2 فاین‌تیون‌شده—مدلی با بیشترین وزن در رأی‌گیری ترکیبی—تقطیر شده است.

حالت آنلاین System One

علاوه بر مدل‌های محلی، می‌توانید همان متن را با مدل Jev سرویس TypeSafe — نخستین مدل «سیستم-یک» تجاری — تحلیل کنید. این مدل به‌جای تولید متن، همان سه پاسخ نوع‌بندی‌شدهٔ محلی (انتخاب منبع، امتیاز ماشین‌مانندبودن و احتمال نیاز به بازبینی) را برمی‌گرداند؛ به همین دلیل خروجی هر دو در حالت «مقایسه هر دو» کنار هم و سؤال‌به‌سؤال قابل سنجش است.

تنظیمات اتصال (کلید API، آدرس سرویس و نام مدل) در مرورگر خودتان — در localStorage — ذخیره می‌شود و تنها هنگام تحلیل به سرویس منتقل می‌گردد. یک نکتهٔ صادقانه: زبان اصلی آموزش Jev انگلیسی است و دقت آن روی متن فارسی — مانند مدل‌های محلی — محدودیت دارد؛ مقایسهٔ دو رویکرد را به‌عنوان سیگنال ببینید، نه حکم نهایی.

کجا مدل‌ها هنوز اشتباه می‌کنند؟

بررسی هدفمند نشان داد BiLSTM — که embedding خود را از ابتدا روی تنها ~۱۷٬۰۰۰ سند می‌آموزد، بدون هیچ دانش زبانی پیشین — در برابر سبک‌های نوشتاری خارج از توزیع آموزشی (مثلاً متن هوش‌مصنوعی با لحن محاوره‌ای) آسیب‌پذیر است. در یک آزمون، یک متن محاوره‌ای که واقعاً توسط هوش مصنوعی نوشته شده بود، با اطمینان ۹۹.۹٪ «انسانی» طبقه‌بندی شد.

نکتهٔ مهم: حتی GPT-2 (با وجود دانش زبانی پیش‌آموزش‌دیده) روی همان نمونه اشتباه کرد. این نشان می‌دهد مشکل صرفاً یک اشکال در معماری BiLSTM نیست، بلکه محدودیت تنوع سبکی دادهٔ آموزشی است.

به همین دلیل، ParsBERT — یک رمزگذار دوسویهٔ فارسی از پیش‌آموزش‌دیده، مشابه در روح به GPT-2 اما با معماری مناسب‌تر برای طبقه‌بندی — به‌عنوان مدل یادگیری عمیق چهارم آموزش دیده و به سرویس افزوده شده است. همین رمزگذار ستون فقرات لایهٔ تصمیم «سیستم-یک» نیز هست. جزئیات کامل این تحلیل در گزارش PDF آمده است.

مدل‌ها و معیارهای زنده

فهرست زیر مستقیماً از سرور بک‌اند خوانده می‌شود، پس همیشه باmodels.jsonبه‌روز است.

در حال دریافت اطلاعات زنده مدل‌ها از سرور...