Qidiruv sifatini baholash

17-bo'limda qidiruv bitta savolda xato qildi. Lekin «bitta savolda» - bu o'lchov emas, kuzatuv. Bu bo'limda uni raqamga aylantiramiz.

Baholash to'plami #

Har savol uchun to'g'ri javob qaysi hujjatda ekanini qo'lda belgilaymiz:

sinov = [
 ("Ofis soat nechada ochiladi?", 0),
 ("Ish kuni qachon tugaydi?", 0),
 ("Tushlik qachon?", 0),
 ("Ta'til necha kun?", 1),
 ("Ta'tilga qancha oldin ariza beraman?", 1),
 ("Kasal bo'lsam nima qilaman?", 2),
 # ... jami 13 ta
]

baholash to'plami: 13 ta savol

Ikki o'lchov #

MRR (Mean Reciprocal Rank) - 1/o'rin qiymatlarining o'rtachasi. Birinchi o'rin 1.0, ikkinchi 0.5, uchinchi 0.33 beradi.

    k   Recall@k      MRR
    1     38.5%    0.605
    2     61.5%    0.605
    3     84.6%    0.605
    5     92.3%    0.605

MRR k ga bog'liq emas - u butun tartibni baholaydi, shuning uchun ustun bo'ylab o'zgarmaydi.

Recall esa keskin o'sadi: 38.5% dan 92.3% gacha.

Bu raqamlar nimani anglatadi #

Recall@1 = 38.5% degani: savollarning uchdan bir qismidagina kerakli hujjat birinchi o'rinda.

Agar 17-bo'limdagi kabi k=2 olsak, 61.5%. Ya'ni har uchta savoldan bittasida javob promptga umuman tushmaydi.

Recall@5 = 92.3% - deyarli hammasi topiladi.

Xatolarni ko'rib chiqish #

Raqam muammo borligini aytadi, sababini esa xatolarning o'zi:

  5-o'rin | 'Ofis soat nechada ochiladi?'
            kutilgan: Ish vaqti            topilgan: Kasallik varaqasi
  3-o'rin | 'Tushlik qachon?'
            kutilgan: Ish vaqti            topilgan: Ta'til
  6-o'rin | 'Yo'l puli qoplanadimi?'
            kutilgan: Kompensatsiya        topilgan: Masofaviy ish
  2-o'rin | 'Kurs to'lovi qoplanadimi?'
            kutilgan: O'quv kurslari       topilgan: Masofaviy ish

Naqsh ko'rinib turibdi: «Masofaviy ish» hujjati juda ko'p marta noto'g'ri topilyapti.

Sabab - u eng qisqa va eng umumiy hujjat: «Rahbar bilan kelishiladi» kabi ko'p savolga mavzuan yaqin ko'rinadigan jumlalardan iborat.

Ikkinchi naqsh: savol va hujjat boshqa so'zlar ishlatadi. «Yo'l puli» va «Transport xarajati» - bir xil narsa, lekin umumiy so'z yo'q. 15-bo'limda ko'rganimizdek, o'zbekcha uchun model bu bog'lanishni ishonchli qila olmaydi.

Chegarani raqam bilan tanlash #

17-bo'limda «chegara qo'ying» deb aytdik. Endi uni o'lchaymiz:

  to'g'ri javoblarda o'rtacha ball: 0.605
  xato javoblarda o'rtacha ball:   0.487

To'g'ri va xato holatlar ajraladi, lekin ustma-ust tushadi. Demak mukammal chegara yo'q - faqat murosa bor:

  chegara 0.35: javob berdi 13/13 | to'g'ri 5 | xato 8 | o'tkazib yuborilgan 0
  chegara 0.40: javob berdi 12/13 | to'g'ri 5 | xato 7 | o'tkazib yuborilgan 0
  chegara 0.45: javob berdi 11/13 | to'g'ri 5 | xato 6 | o'tkazib yuborilgan 0
  chegara 0.50: javob berdi  7/13 | to'g'ri 4 | xato 3 | o'tkazib yuborilgan 1

Bu PyTorch darsligining 18-bo'limidagi precision-recall murosasining o'zi.

0.50 da tizim faqat 7 ta savolga javob beradi, lekin xatolar 8 dan 3 ga tushadi. Buning evaziga bitta to'g'ri javob o'tkazib yuboriladi.

Nimani o'lchash kerak #

Birinchi qatordan boshlang: qidiruvni tuzatmasdan qolganini o'lchashning ma'nosi yo'q (17-bo'lim).

Xulosa #

• «Bitta savolda xato qildi» - bu kuzatuv, o'lchov emas.
• Baholash to'plami: savol va uning to'g'ri javobi qaysi hujjatda ekani.
• Savollarni foydalanuvchi tilida yozing.
• Recall@k - to'g'ri hujjat birinchi k ta ichidami.
• MRR - o'rtacha o'rin; u k ga bog'liq emas.
• Bizda Recall@1 atigi 38.5%, Recall@5 esa 92.3%.
• Bu 17-bo'limdagi «k ni oshiring» maslahatining raqamli isboti.
• Xatolarda naqsh bor edi: bitta umumiy hujjat ko'p savolni tortib olardi.
• To'g'ri javoblarda o'rtacha ball 0.605, xatolarda 0.487 - ajraladi, lekin ustma-ust tushadi.
• Chegarani ko'tarish xatolarni kamaytiradi, lekin javob berilmaydigan savollar ko'payadi.

Keyingi bo'limda bunday tizimni ishlab chiqarishga chiqarish - narx, tezlik va cheklovlar haqida gaplashamiz.