Mashinali o'qitish nima? - Mashinali o'qitish asoslari

Elektron pochtangiz spamni qanday ajratadi? Xarita nima uchun "20 daqiqada yetib borasiz" deydi? Bank sizning kartangizdagi shubhali to'lovni qanday sezadi? Bularning hammasi ortida mashinali o'qitish turadi.

An'anaviy dasturlash va mashinali o'qitish #

Asosiy farq - qoidalarni kim yozadi

Nima uchun bu muhim?

"Mushuk rasmini it rasmidan ajrat" degan vazifani qoidalar bilan yozib ko'ring:

Python

if quloqlari_uchli and mo'ylovi_bor and burni_kichik:
    return "mushuk"

Bu ishlamaydi. Mushuklar juda xilma-xil, rasmlar turli burchakdan olingan, yorug'lik boshqacha.

Lekin 10 000 ta belgilangan rasm bering - model o'zi kerakli belgilarni topadi.

Uch atama #

Atama	Ma'nosi
Sun'iy intellekt (AI)	Eng keng tushuncha: aqlli xatti-harakat
Mashinali o'qitish (ML)	AI ning bir qismi: ma'lumotdan o'rganish
Chuqur o'qitish (DL)	ML ning bir qismi: ko'p qatlamli neyron tarmoqlar

Har biri oldingisining ichki qismi

Qisqacha tarix #

Arthur Samuel - 1959-yilda "mashinali o'qitish" atamasini kiritgan

Yil	Voqea
1950	Alan Turing "Mashina o'ylay oladimi?" maqolasi
1957	Frank Rosenblatt perseptronni yaratdi
1959	Arthur Samuel shashka o'ynaydigan o'rganuvchi dastur
1986	Teskari tarqalish algoritmi ommalashdi
1997	Deep Blue shaxmat chempionini yengdi
2012	AlexNet rasm tanishda inqilob qildi
2016	AlphaGo Go chempionini yengdi
2017	Transformer arxitekturasi taklif qilindi
2020+	Katta til modellari keng tarqaldi

Arthur Samuel ta'rifi

"Mashinali o'qitish - kompyuterga aniq dasturlashsiz o'rganish qobiliyatini beruvchi soha."

Bu 1959-yilda aytilgan, lekin bugun ham eng yaxshi ta'riflardan biri.

Uch asosiy tur #

Ushbu darslik asosan birinchi ikki turga bag'ishlangan

Nazorat ostida o'qitish #

Bizda savol ham, javob ham bor:

Maydon (m2)	Xonalar	Tuman	Narx (mln so'm)
65	2	Yunusobod	620
90	3	Chilonzor	780
120	4	Mirzo Ulug'bek	1 150
45	1	Sergeli	380

Model shu jadvaldan qoidani topadi va yangi uy uchun narxni aytadi.

Ikki kichik turga bo'linadi:

Tur	Nima bashorat qilinadi	Misol
Regressiya	Uzluksiz son	Narx, harorat, sotuv hajmi
Klassifikatsiya	Toifa	Spam/spam emas, kasal/sog'lom

Nazoratsiz o'qitish #

Javob yo'q - faqat ma'lumot. Model o'zi tuzilmani topadi:

Natija

1000 ta mijozning xaridlari →  model ularni 4 guruhga ajratdi:
  1-guruh: arzon mahsulot, tez-tez xarid
  2-guruh: qimmat mahsulot, kamdan-kam
  3-guruh: faqat chegirma paytida
  4-guruh: bir marta xarid qilgan

Marketing bo'limi endi har bir guruh uchun alohida taklif tayyorlaydi.

Asosiy atamalar #

Atama	Ma'nosi
Belgi (feature)	Kirish o'zgaruvchisi, ustun. Odatda `X`
Nishon (target)	Bashorat qilinadigan qiymat. Odatda `y`
Namuna (sample)	Bitta qator, bitta kuzatuv
Model	O'rgatilgan algoritm
O'qitish (training)	Modelni ma'lumotga moslash jarayoni
Bashorat (prediction)	Modelning javobi
Xato (loss)	Bashorat va haqiqat orasidagi farq
Qayta o'qitish (overfitting)	Model yodlab olgan, umumlashtira olmaydi

Python

# Odatiy ko'rinish
X = [[65, 2], [90, 3], [120, 4], [45, 1]]   # belgilar
y = [620, 780, 1150, 380]                    # nishon

model.fit(X, y)                              # o'qitish
model.predict([[75, 2]])                     # bashorat

To'liq jarayon #

Model qurish - jarayonning eng kichik qismi

Eng ko'p uchraydigan yanglishuv

Boshlovchilar vaqtning ko'p qismini "eng yaxshi algoritmni tanlash" ga sarflaydi.

Amalda esa ma'lumot sifati algoritm tanlovidan ancha muhimroq. Yomon ma'lumot bilan eng zamonaviy model ham yomon ishlaydi.

Bu qoida shunday ifodalanadi: "Axlat kirsa - axlat chiqadi."

ML qachon kerak emas? #

Mashinali o'qitish har doim to'g'ri yechim emas

Vaziyat	To'g'ri yechim
Qoidani aniq yozish mumkin	Oddiy `if/else`
Ma'lumot juda kam (100 tadan kam)	Statistika yoki ekspert qoidalari
Har bir xato juda qimmat	Qo'lda tekshiruv
Javob sababini tushuntirish shart	Sodda, shaffof model
Ma'lumot yo'q	Avval ma'lumot yig'ishni yo'lga qo'ying

"Bizga ham AI kerak" degan talab ko'pincha noto'g'ri boshlanish nuqtasi. Avval muammoni aniqlang.

Real qo'llanilishi #

Soha	Vazifa
Bank	Firibgarlikni aniqlash, kredit bahosi
Tibbiyot	Rentgen tahlili, kasallikni erta aniqlash
Savdo	Tavsiyalar, talab bashorati, narx optimizatsiyasi
Transport	Marshrut, yetkazish vaqti, avtonom haydash
Qishloq xo'jaligi	Hosil bashorati, kasallikni aniqlash
Xavfsizlik	Anomaliyani sezish, spam filtri
Til	Tarjima, matn tahlili, ovozni tanish

Nima o'rganamiz? #

Bo'limlar	Mavzu
1-2	Kirish va muhitni sozlash
3-6	Ma'lumot bilan ishlash: NumPy, Pandas, grafiklar, tayyorlash
7-10	Nazorat ostida o'qitish: regressiya, klassifikatsiya, baholash
11-13	Algoritmlar: KNN, daraxtlar, SVM
14-15	Nazoratsiz o'qitish: klasterlash, PCA
16-17	Qayta o'qitish, validatsiya, giperparametrlar
18-20	Neyron tarmoqlar, deploy va amaliy loyiha

Kerakli bilim

Python asoslari - o'zgaruvchilar, sikllar, funksiyalar, ro'yxatlar
Maktab matematikasi - foizlar, o'rtacha qiymat, grafik

Chuqur matematika shart emas. Kerakli tushunchalar yo'l-yo'lakay sodda tilda tushuntiriladi.

Amaliy topshiriq

Kundalik hayotingizda ML ishlatiladigan beshta misol toping.
Har biri uchun: bu regressiyami yoki klassifikatsiyami?
"Talaba imtihondan o'tadimi?" vazifasi uchun qanday belgilar kerak bo'lishini yozing (kamida 5 ta).
Nazorat ostida va nazoratsiz o'qitish farqini o'z so'zlaringiz bilan yozing.
ML kerak bo'lmagan ikkita vazifa o'ylab toping va sababini yozing.
kaggle.com/datasets saytiga kiring va o'zingizga qiziq bitta ma'lumotlar to'plamini toping.

Xulosa #

Mashinali o'qitish - qoidalarni ma'lumotdan avtomatik topish usuli.
An'anaviy dasturlashda qoidalarni biz yozamiz, ML da model topadi.
AI ⊃ ML ⊃ DL - har biri oldingisining ichki qismi.
Uch asosiy tur: nazorat ostida, nazoratsiz, mustahkamlovchi.
Nazorat ostida o'qitish ikkiga bo'linadi: regressiya (son) va klassifikatsiya (toifa).
Belgi (X) - kirish, nishon (y) - bashorat qilinadigan qiymat.
Vaqtning 70-80 foizi ma'lumot yig'ish va tozalashga ketadi.
Ma'lumot sifati algoritm tanlovidan muhimroq.
ML har doim to'g'ri yechim emas - avval muammoni aniqlang.

Keyingi bo'limda ish muhitini sozlaymiz.