دسته بندی
دستهبندی متن شامل نسبت دادن اسناد به یکی از چند گروه از پیش تعیین شده است [31]. برای نایل شدن به این هدف اسناد ورودی توسط یک مجموعه از مشخصهها که معمولاً خصوصیات نامیده میشود توصیف میشوند. برخلاف خوشهبندی که شامل آموزش بدون نظارت است، در دستهبندی یک مجموعه آموزشی از دادهها با برچسبگذاری قبلی نیاز است (یادگیری نظارتی). هدف دستهبندی تحلیل دادههای ورودی و ایجاد یک مدل دقیق برای هر دسته با استفاده از این خصوصیات است. اسناد جدید در داخل یکی از این دستهها دستهبندی میشوند.
در مسأله دستهبندی متن، ویژگیها کلماتی هستند که درون اسناد متنی قرار دارند. در بسیاری از موارد قبل از یادگیری ماشین انتخاب ویژگی صورت میگیرد تا فضای ویژگیها را کاهش دهد. در دستهبندی هدف بدست آوردن یک تابع نگاشت بین اسناد و مجموعه کلاسها یا گروهها به وسیله یک سری سند که به آنها مجموعه آموزشی میگویند، میباشد. که از این تابع نگاشت برای تعیین خودکار گروه سند جدید استفاده میشود. توجه شود که در هنگام تولید تابع نگاشت مجموعه اسناد برچسب خورده هستند یعنی گروه هر یک از اسناد مشخص شده است و به وسیله این اسناد برای هر گروه یک سری ویژگی وصفات منحصر به فرد استخراج میکنیم.
مراحل مختلف دستهبندی بصورت زیر است [31]:
1) پردازش مجموعه دادهها: در این مرحله اسناد بررسی شده، قابلیتها استخراج وکلمات غیرضروری حذف میشوند. یک بردار برای نمایش متن ایجاد و مقدار دهی میشود. در این مرحله دادهها ممکن است به دو قسمت تقسیم شوند. مجموعه آموزشی: این قسمت از دادهها برای ایجاد یک مدل بکار میرود. مجموعه آزمایشی: این قسمت برای تست مدل بکار میرود.
2) ساختن مدل: این مرحله را آموزش واقعی میگویند که از یک الگوریتم یادگیری استفاده میکند. این مرحله خود ممکن است چندین تکرار و چندین زیر مرحله داشته باشد.
· انتخاب خصوصیت
· اجرای یک الگوریتم یادگیری
· اعتبار سنجی مدل
3) بکار بردن مدل برای مشخص کردن کلاس یک سند جدید.
در یک مسئله دستهبندی ابتدا باید هر سند موجود در مجموعه آموزشی داده شده را در متغیر مناسبی ذخیره کرد و نام دسته آن سند را که با مشخصهای خاص، مثلا نام سند بدست آورد و سپس تمام توکنهای سند استخراج و در محل مناسبی ذخیره گردد [31].