مفهوم پیش پردازش متن

.فیلتر کردن:

در این مرحله کاراکترهای خاصی که به نظر می رسد در مدل فضای بردار نمی تواند اطلاعات مفیدی را در

اختیار قرار دهند حذف می شوند. همچنین این مرحله برای سندهای دارای ساختار خاص مانند صفحات وب

بسیاری حیاتی می باشد زیرا باید تگ های اضافی حذف شده و یا شناخته شده و با توجه به مقدارشان

وزنشان مشخص شود.

 

روش خوشه‌بندی (K-Means و C-Means یا C-Centeriod)

  این روش علی‌رغم سادگی آن یک روش پایه برای بسیاری از روش‌های خوشه‌بندی دیگر (مانند خوشه‌بندی فازی) محسوب می‌شود. این روش روشی انحصاری و مسطح محسوب می‌شود.[1] برای این الگوریتم شکلهای مختلفی بیان شده است. ولی همة آنها دارای روالی تکراری هستند که برای تعدادی ثابت از خوشه‌ها سعی در تخمین موارد زیر دارند:

·        بدست آوردن نقاطی به عنوان مراکز خوشه‌ها این نقاط در واقع همان میانگین نقاط متعلق به هر خوشه هستند.

·        نسبت دادن هر نمونه داده به یک خوشه که آن داده کمترین فاصله تا مرکز آن خوشه را دارا باشد.

  

مقدمه ای از خوشه بندی

ما در جها نی پر از داده زند گی می کنیم. هر روزه انسانها با حجم وسیعی از اطلاعات روبه رو هستند که باید آنها را ذخیره ساز ی یا نمایش دهند. یکی از روشها ی حیاتی کنترل و مد یریت این داده ها، کلاس بند ی یا گروه بند ی داده های با خواص مشابه، درون مجموعه ای از دسته ها یا خوشه ها می باشد.

الگوریتم های کلاسترینگ

در این قسمت انواع الگوریتم های کلاسترینگ را بررسی می کنیم. الگوریتم های کلاسترینگ را می توان به دسته های اصلی زیر تقسیم بندی کرد:

• الگوریتم های کلاسترینگ ترتیبی

• الگوریتم های کلاسترینگ سلسله مراتبی 

• الگوریتم های کلا سترینگ مبتنی بر بهینه سازی تابع هزینه

مفاهیم اولیه کلاسترینگ یا دسته بندی(Clustering)

کلاسترینگ به معنای کلاس بندی بدون نظارت است که کلاسها از قبل تعیین شده نیستند و یا به عبارت دیگر برچسب کلاس الگوهای آموزشی در دسترس نیست. بنابراین اکنون هدف اصلی ما سازماندهی الگوها به گروهای sensible است. که به ما اجازه می دهند که شباهت و تفاوت بین الگوها را کشف کنیم و نتایج مفید را درباره آنها استنتاج نماییم. این ایده در زمینه های مختلف دیده می شود. مثال زیر از زیست شناسی الهام گرفته شده است و صورت مسئله را برای ما واضح می سازد.