ماتریس درهم ریختگی چیست؟ راهنمای سنجش دقت مدل های یادگیری ماشین

آیا تابه حال مدلی ساخته اید که ۹۵ درصد دقت داشت اما در مهم ترین موارد شکست خورد؟ تصور کنید سیستمی برای تشخیص تقلب بانکی طراحی کرده اید. این سیستم ۹۵ درصد معاملات را درست تشخیص می دهد، اما ۵ درصد تقلب ها را نادیده می گیرد. این ۵ درصد می تواند میلیون ها دلار ضرر برساند. اینجاست که ماتریس درهم ریختگی به کمک شما می آید. این ابزار ساده اما قدرتمند، نقاب دقت بالا را کنار می زند و به شما نشان می دهد مدلتان دقیقاً کجا دچار اشتباه می شود.

در این مقاله از دانشنامه لرنادو، ماتریس درهم ریختگی را از صفر می آموزید با نکاتی که مستقیماً می توانید به کار ببرید.

۱. ماتریس درهم ریختگی پنجره ای شفاف به عملکرد مدل

ماتریس درهم ریختگی یک جدول ۲×۲ است که پیش بینی های مدل دسته بندی شما را با نتایج واقعی مقایسه می کند. این جدول به شما نشان می دهد که کدام پیش بینی ها درست بوده اند و کدام یک اشتباه. نام آن از «اشتباه» یا «درهم ریختگی» مدل در تمایز بین کلاس ها می آید.

چهار عنصر اصلی

هر سلول در این ماتریس یک داستان متفاوت تعریف می کند:

• TP (True Positive): مدل «مثبت» پیش بینی کرد و درست بود
• TN (True Negative): مدل «منفی» پیش بینی کرد و درست بود
• FP (False Positive): مدل «مثبت» پیش بینی کرد اما اشتباه بود
• FN (False Negative): مدل «منفی» پیش بینی کرد اما اشتباه بود

در بسیاری از منابع فارسی، این اصطلاحات ترجمه شده اند: مثبت صحیح، منفی صحیح، مثبت کاذب و منفی کاذب.

۲. مثال ملموس: تشخیص بیماری

فرض کنید مدلی برای تشخیص یک بیماری خطرناک دارید. شما ۱۰۰ بیمار را آزمایش می کنید:

• ۲۰ نفر واقعاً بیمار هستند
• ۸۰ نفر سالم هستند

مدل شما نتایج زیر را تولید می کند:

• ۱۵ بیمار را درست تشخیص داد (TP = ۱۵)
• ۷۵ فرد سالم را درست شناسایی کرد (TN = ۷۵)
• ۵ فرد سالم را اشتباهی بیمار تشخیص داد (FP = ۵)
• ۵ بیمار واقعی را از دست داد (FN = ۵)

ماتریس شما این شکلی می شود:

این جدول به شما می گوید: مدلتان ۵ بیمار واقعی را نادیده گرفته است. این نکته با دقت کلی ۹۰ درصد قابل مشاهده نیست.

۳. چرا دقت (Accuracy) کافی نیست؟

دقت محاسبه می شود با: (TP + TN) / (TP + TN + FP + FN). در مثال بالا، دقت ۹۰ درصد است. اما این معیار در داده های نامتعادل گمراه کننده است.

تصور کنید ۹۵ معامله عادی و ۵ معامله تقلب دارید. اگر مدل همه را «عادی» پیش بینی کند، دقت ۹۵ درصد دارد اما هیچ تقلبی را شکار نکرده است. اینجاست که FP و FN اهمیت حیاتی پیدا می کنند.

۴. معیارهای پیشرفته: دقت را عمیق تر بسنجید

از ماتریس درهم ریختگی، چهار معیار کلیدی استخراج می شود:

Precision (دقت یا صحت)

پاسخ می دهد: «دربین مواردی که مدل «مثبت» گفت، چند درصد درست بود؟»

Precision = TP / (TP + FP)

در مثال پزشکی: ۱۵ / (۱۵ + ۵) = ۷۵ درصد. یعنی وقتی مدل می گوید «بیمار»، ۷۵ درصد احتمال درستی دارد.

Recall (بازخوانی یا حساسیت)

پاسخ می دهد: «دربین موارد واقعاً مثبت، چند درصد را پیدا کردید؟»

Recall = TP / (TP + FN)

در مثال پزشکی: ۱۵ / (۱۵ + ۵) = ۷۵ درصد. یعنی ۲۵ درصد بیماران واقعی را از دست می دهید.

F1-Score (میانگین هارمونیک)

هنگامی که باید بین Precision و Recall تعادل برقرار کنید:

F1-Score = 2 × (Precision × Recall) / (Precision + Recall)

در مثال: ۲ × (۰.۷۵ × ۰.۷۵) / (۰.۷۵ + ۰.۷۵) = ۰.۷۵.

Specificity (خصوصیت)

پاسخ می دهد: «دربین موارد منفی، چند درصد را درست شناسایی کردید؟»

Specificity = TN / (TN + FP)

۵. ماتریس N×N برای طبقه بندی چندکلاسه

ماتریس درهم ریختگی محدود به دو کلاس نیست. برای ۳ کلاس (مثلاً گربه، سگ، اسب) یک جدول ۳×۳ دارید.

مثال: مدل شما ۳۰ تصویر طبقه بندی کرده است:

برای محاسبه معیارهای هر کلاس، آن کلاس را «مثبت» و بقیه را «منفی» در نظر می گیرید. مثلاً برای کلاس گربه:

• TP = ۸
• FN = ۱ + ۱ = ۲
• FP = ۲ + ۰ = ۲
• TN = ۱۰ + ۰ + ۲ + ۸ = ۲۰

۶. پیاده سازی Confusion Matrix با Python

شما می توانید در چند خط کد ماتریس درهم ریختگی بسازید:

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

# داده های واقعی و پیش بینی شده
y_real = [1, 0, 1, 1, 0, 1, 0, 0, 0, 1]
y_pred = [1, 0, 1, 1, 0, 1, 1, 0, 0, 1]

# ساخت ماتریس
cm = confusion_matrix(y_real, y_pred)

# نمایش گرافیکی
disp = ConfusionMatrixDisplay(cm, display_labels=['منفی', 'مثبت'])
disp.plot(cmap=plt.cm.Blues)
plt.title('ماتریس درهم ریختگی')
plt.show()

این کد ماتریس را رسم می کند و به شما امکان می دهد مقدار هر سلول را ببینید.

۷. چه زمانی کدام معیار را اولویت دهید؟

انتخاب معیار به هزینه اشتباهات بستگی دارد:

اولویت به Recall:

• تشخیص بیماری های کشنده (FN هزینه بسیار دارد)
• کشف تقلب مالی (از دست دادن تقلب فاجعه است)
• تشخیص خرابی ایمنی هواپیما

اولویت به Precision:

• اسپم فیلتر ایمیل (FP آزاردهنده است)
• پیشنهاد محصول (FP باعث از دست دادن اعتماد کاربر می شود)
• سیستم های فیس ID (FP یعنی امنیت شکسته می شود)

گاهی F1-Score معیار خوبی برای تعادل است.

۸. تله های رایج و چگونگی دوری

تله ۱: اعتماد به دقت در داده های نامتعادل
همیشه FP و FN را چک کنید. دقت بالا می تواند فریبنده باشد.

تله ۲: نادیده گرفتن هزینه های تجاری
هر اشتباه چقدر هزینه دارد؟ یک FP در تشخیص سرطان به معنی آزمایش های اضافی است، اما یک FN به معنی مرگ بیمار است.

تله ۳: استفاده از ماتریس بدون بصری سازی
ماتریس خام را رسم کنید. رنگ ها و نمودارها الگوهای اشتباه را سریع تر نمایان می سازند.

۹. ماتریس درهم ریختگی در دنیای واقعی

یک بانک می خواهد تقلب در کارت های اعتباری را تشخیص دهد. از ۱۰,۰۰۰ معامله:

• ۹,۸۰۰ معامله عادی
• ۲۰۰ معامله تقلب

مدل A: دقت ۹۸٪ اما FP=۱۵۰، FN=۵۰
مدل B: دقت ۹۶٪ اما FP=۲۰، FN=۸۰

کدام بهتر است؟ اگر هزینه FP کم باشد (تماس تأیید به مشتری)، مدل A قابل قبول است. اما اگر هزینه FN بسیار بالا باشد (از دست دادن پول)، مدل B با Recall بالاتر انتخاب بهتری است.

نتیجه گیری

ماتریس درهم ریختگی ابزاری است که دست شما را می گیرد و به اعماق عملکرد مدل می برد. شما یاد گرفتید:

• چهارچوب TP، TN، FP، FN را تشخیص دهید
• چرا دقت کافی نیست
• چه زمانی Precision یا Recall را اولویت دهید
• چگونه ماتریس چندکلاسه را تحلیل کنید
• چگونه مدل را در Python اجرا و ارزیابی کنید

پیشنهاد لرنادو: یک مدل طبقه بینی که ساخته اید را بردارید. ماتریس درهم ریختگی آن را بکشید. FP و FN را شناسایی کنید. بپرسید: «هر اشتباه چه هزینه ای دارد؟» پاسخ این سؤال، معیار درست را به شما می دهد.

دنیای یادگیری ماشین پر از معیارهای پیچیده است، اما ماتریس درهم ریختگی پایه ای است که بدون آن، هرگز نمی توانید مدل تان را واقعاً بشناسید. شروع کنید. ماتریس بسازید. حقیقت را ببینید.