معیارهای ارزیابی

در این بخش، به معرفی برخی از روش‌های ارزیابی دقت که در مقالات مختلف ارائه شده است، خواهیم پرداخت.

 

  

1-نسبت‌گیری

روش‌های مختلفی برای اندازه‌گیری دقت وجود دارد که از جمله ساده‌ترین آن‌ها، نسبت‌گیری[1] است که در مقالات زیادی استفاده شده است. این نسبت معمولا با توجه به شکل بالا به صورت زیر تعریف می‌شود:

accuracy = (A+D)/(A+B+C+D)

نرخ خطا نیز با فرمول زیر قابل محاسبه خواهد بود:

Error rate = 1 - AC

دو نوع نرخ طبقه‌بندی نادرست موجود است: در نوع اول، در صورت کسر بالا تعداد مثبت‌های کاذب (false positives) و در نوع دوم در صورت کسر بالا تعداد منفی‌های کاذب (false negatives) قرار داده می‌شود.

2-مانعیت و جامعیت

روش بعدی استفاده از دو معیار متعارف مانعیت[8] و جامعیت[9] است. مانعیت بخشی از نمونه داده‌های بازیابی شده است که مناسب هستند و جامعیت بخشی از نمونه داده‌های مناسب که بازیابی شده‌اند، می‌باشد. در شکل زیر شمای ساده‌ای از این دو مفهوم را مشاهده می‌کنید. با توجه به شکل بالا این دو مفهوم به صورت زیر قابل بیان هستند:

precision = A / (A+C) recall = A / (A+B)

این دو معیار رابطه عکس با هم دارند. بدین صورت که هر چه مانعیت کمتر باشد، جامعیت بیشتر خواهد بود و هر چه جامعیت کمتر باشد، مانعیت بیشتر خواهد بود. 

 

به معیار جامعیت، نرخ مثبت‌های درست نیز گفته می‌شود و به طور مشابه معیارهای زیر نیز می‌تواند در ارزیابی دقت تعریف شود:

·        نرخ مثبت­های غلط

FPR = C / (C+D)

·        نرخ منفی­های درست

TNR = D / (C+D)

·        نرخ منفی­های غلط

FNR = B / (A+B)

3-ضریب همبستگی

روش دیگر برای ارزیابی دقت، محاسبه ضریب همبستگی[13] است. ضریب همبستگی ابزاری آماری برای تعیین نوع و درجه رابطه یک متغیر کمی با متغیر کمی دیگر (و یا یک مجموعه داده با یک مجموعه داده دیگر) است. در واقع ضریب همبستگی، یکی از معیارهای مورد استفاده در تعیین همبستگی دو متغیر (یا دو مجموعه داده) است که شدت رابطه و هم‌چنین نوع رابطه (مستقیم یا معکوس) را نشان می‌دهد. این ضریب بین 1 و 1- است و در صورت عدم وجود رابطه بین دو متغیر، برابر صفر خواهد بود.

ضریب همبستگی بین دو متغیر تصادفی X و Y به صورت زیر تعریف می‌شود:

 

که در آن E عملگر امید ریاضی، cov به معنای کوواریانس، corr نماد معمول برای همبستگی پیرسون، و s نماد انحراف معیار است.

اما برای اندازه‌گیری این که دو مجموعه متغیر عددی تا چه اندازه به یکدیگر مربوط هستند، ضریب همبستگی از فرمول زیر محاسبه خواهد شد:

  

که در آن، n تعداد نقاط داده در اختیار و s انحراف معیار می‌باشد.

در این فرمول اگر r صفر باشد، به این معنی است که هیچ رابطه خطی بین داده‌ها وجود ندارد. اگر r یک باشد، به این حالت همبستگی کامل و مستقیم گفته می­شود؛ بدین معنی که با افزایش (کاهش) مقدار یکی از متغیرها، دیگری نیز به طور قطعی افزایش (کاهش) می­یابد. اگر r منفی یک باشد، در این حالت همبستگی را کامل و معکوس می‌گوییم؛ بدین معنی که با افزایش (کاهش) مقداریکی از متغیرها، مقدار دیگری کاهش (افزایش) می‌یابد. اگر r بین صفر و یک باشد، همبستگی ناقص و معکوس است؛ بدین معنی که با افزایش (کاهش) مقدار یکی از متغیرها، مقدار دیگری به طور نسبی کاهش (افزایش) می یابد و اگر rبین منفی یک و صفر باشد، همبستگی ناقص و مستقیم است.؛ بدین معنی که با افزایش (کاهش) مقدار یکی از متغیرها، مقدار دیگری به طور نسبی افزایش (کاهش) می یابد.

هرچه این ضریب به صفر نزدیک‌تر باشد، نشان‌دهنده رابطه ضعیف‌تر بین داده‌ها و هرچه به یک یا منفی یک نزدیک‌تر باشد، نشان‌دهنده رابطه قوی‌تر بین داده‌ها است. ضریب مثبت بیانگر رابطه مستقیم و ضریب منفی بیانگر رابطه معکوس خواهد بود.

براساس یک قاعده کلی براساس مقادیر زیر می‌توان درباره میزان همبستگی متغیرها طبق جدول 2 قضاوت کرد. همین تفسیر برای مقادیر منفی نیز قابل استفاده است:

جدول 2

ضریب همبستگی	تفسیر
0.00 - 0.19	خیلی اندک و قابل چشم پوشی
0.20 - 0.39	خیلی اندک تا اندک
0.40 - 0.69	متوسط
0.70 - 0.89	زیاد
0.90 - 1.00	خیلی زیاد

این مقادیر یک قانون ثابت نیستند و به صورت تجربی بدست آمده است. در برخی متون مانند جدول 3 نیز ارائه شده است:

جدول 3

ضریب همبستگی	تفسیر
0.0 - 0.1	خیلی اندک و قابل چشم پوشی
0.1 - 0.3	اندک
0.3 - 0.5	متوسط
0.5 - 1.0	زیاد

در استفاده از ضریب همبستگی باید به دو نکته زیر توجه داشت:

1) صفر بودن ضریب همبستگی تنها عدم وجود رابطه خطی بین دو متغیر را نشان می‌دهد ولی نمی‌توان مستقل بودن دو متغیر را نیز نتیجه گرفت.

 2) همبستگی بین دو متغیر تنها نشان دهنده این است که افزایش یا کاهش یک متغیر چه تاثیری بر افزایش یا کاهش متغیر دیگر دارد، ولی این همبستگی ضرورتا دال بر رابطه علّی بین متغیرها نمی‌باشد. باید بین مفاهیم همبستگی و رابطه علّت و معلولی تفاوت قائل شد. به بیان دیگر ممکن است دو متغیر همبستگی داشته باشند ولی لزومی ندارد که یکی از متغیرها علت و دیگری معلول باشد، علاوه براین عوامل متعدد دیگری نیز می توانند بر ضریب همبستگی اثرگذار باشد.

برای محاسبه دقت با استفاده از ضریب همبستگی، معمولا از دو مجموعه داده استفاده می‌شود که یکی از آن‌ها داده‌های به دست آمده در روش ارائه شده و دیگری داده‌های استاندارد یا واقعی هستند که این ضریب نشان می‌دهد که داده‌های به دست آمده چقدر با داده‌های واقعی مطابقت دارد.

در ادامه دو نمونه از مهم‌ترین ضرایب همبستگی را مشاهده می‌کنید:

·        ضریب همبستگی پیرسون[14]: روشی پارامتری است و برای داده‌هایی باتوزیع نرمال یا تعداد داده‌های زیاد استفاده می‌شود.

·        ضریب همبستگی اسپیرمن[15]: در صورتی که تعداد داده‌ها کم و فرض نرمال بودن آنها معقول نباشد، از ضریب همبستگی اسپیرمن استفاده می‌شود. ضریب همبستگی‌ که بر اساس رتبه داده‌ها محاسبه می‌شود، توسط اسپیرمن محاسبه شده‌ است.

4- خطای جذر میانگین مربعات

خطای جذر میانگین مربعات (RMSE)، یک معیار خطای بسیار پرکاربرد برای اندازه‌گیری دقت است که در زمان پیوسته به صورت زیر تعریف ‌شده است:

  

us به مقادیر شبیه‌سازی شده و ua به مقادیر واقعی اشاره می‌کند. با تقریب بین نقاط، محاسبه RMSE به صورت زیر ساده خواهد شد:

 

این شاخص، ابتدا اختلاف تک تک مقادیر مشاهده شده را با مقادیر پیش‌بینی شده به وسیله مدل (مثلا در تحلیل رگرسیون) محاسبه نموده و به توان دو می‌رساند. از این اختلافات میانگین گرفته و در نهایت جذر عدد میانگین را ارائه می‌دهد که همان RMSE است. این شاخص معیاری برای دقت نتایج است و معمولا هرچه مدل بهتر بر داده ها منطبق [17]باشد مقدار آن کمتر می‌شود.

[1] proportion

[2] classification

[3] misclassification rate

[4] web crawler

[5] fault

[6] surrogate

[7] Fault Localization (FL)

[8] precision

[9] recall

[10] Post-processing

[11] Pre-processing

[12] mining

[13] Correlation coefficient

[14] Pearson Correlation Coefficient

[15] Spearman Correlation Coefficient

[16] Root mean square error

[17] fit

[18] Range image registration