🤖 Transformerlar va til modellari
Tokenizatsiyadan RAG gacha - 20 bosqichli amaliy qo'llanma
Darslik haqida
PyTorch darsligi matn bilan ishlashni o'rtacha embedding darajasida to'xtatdi. Bu darslik o'sha joydan davom etadi. Avval e'tibor (attention) mexanizmini qo'lda quramiz - so'rov, kalit va qiymat nima, nega ildizga bo'linadi, niqob qanday ishlaydi. Keyin undan to'liq transformer bloki va ishlaydigan kichik GPT yasaymiz. So'ng tayyor modellarga o'tamiz: transformers kutubxonasi, tayyor modelni o'z ma'lumotingizga sozlash, semantik qidiruv, RAG va baholash. Alohida e'tibor o'zbek tiliga qaratilgan: tokenizator o'zbekcha matnni qanday bo'laklarga ajratadi va bu nimaga qimmatga tushadi. Barcha misollar protsessorda ishga tushirilgan va natijalari shu yerda keltirilgan.
Darslik mundarijasi
- 1 Transformer nima va u qayerdan paydo bo'ldi RNN ning cheklovlari, 2017-yilgi maqola va uning sakkiz muallifi, e'tibor g'oyasi hamda transformerdan keyin nima o'zgar... 6 daq.
- 2 Tokenizatsiya va o'zbek tili Subword tokenizatsiya, maxsus tokenlar, padding va attention_mask, hamda o'zbekcha matn ingliz tilidan necha barobar qim... 17 daq.
- 3 E'tibor mexanizmi - Q, K va V Skalyar ko'paytma orqali o'xshashlik, so'rov-kalit-qiymat uchligi, ballar matritsasi va softmax bilan e'tibor og'irlikla... 12 daq.
- 4 Self-attention, niqob va kvadratik xarajat Q, K va V ning bir manbadan olinishi, kelajakni yopuvchi niqob, -inf ning ma'nosi va uzunlik oshgandagi xarajat. 9 daq.
- 5 Multi-head attention Nima uchun bitta e'tibor yetarli emas, o'lchamni boshlarga bo'lish, view va transpose, chiqish matritsasi Wo va parametr... 9 daq.
- 6 Transformer bloki LayerNorm, qoldiq ulanish, FFN va ularning tartibi; pre-norm va post-norm farqi hamda parametrlarning qayerda joylashgan... 9 daq.
- 7 Pozitsion kodlash E'tibor tartibni sezmasligining isboti, sinusoidal kodlash, o'rgatiladigan pozitsiya embeddingi va ikkalasining farqi. 8 daq.
- 8 Kichik GPT qurish Belgi darajasidagi lug'at, keyingi belgini bashorat qilish, to'liq model va uni o'zbekcha matnda noldan o'qitish. 10 daq.
- 9 Matn yozish usullari Greedy va sampling, temperatura, top-k va top-p (nucleus), takrorlanish jazosi va ularni qanday tanlash. 9 daq.
- 10 Encoder, decoder va uchinchi oila BERT va GPT ning niqob farqi, qaysi masalaga qaysi oila mos kelishi va ko'p tilli modellarning o'zbek tilidagi haqiqiy h... 8 daq.
- 11 transformers kutubxonasi pipeline bilan tez boshlash, Auto sinflari, model ichida nima borligi, kesh hajmi va tayyor modelning ishonchli xatosi. 8 daq.
- 12 Ma'lumot va bazaviy daraja O'zbekcha to'plam tuzish, inkor va aralash holatlar, oddiy qoidadan bazaviy daraja olish va nega u shart. 8 daq.
- 13 Fine-tuning - modelni sozlash Tayyor modelga yangi bosh qo'yish, o'qitish sikli, 100% natijaning aldamchiligi va model haqiqatan nimani o'rgangani. 9 daq.
- 14 Halol baholash Manba bo'yicha bo'lish, 100% dan 50% ga tushish, degenerat yechim va sun'iy ma'lumotning chegarasi. 7 daq.
- 15 Embedding - ma'no vektorlari Jumlani bitta vektorga aylantirish, mean pooling, kosinus o'xshashlik va embeddinglar nimani o'lchaydi - nimani emas. 8 daq.
- 16 Semantik qidiruv Hujjatlardan indeks qurish, kosinus o'xshashlik bilan qidirish, kalit so'zli qidiruv bilan solishtirish va 10 000 hujjat... 8 daq.
- 17 RAG - hujjatlar asosida javob Til modelini o'z hujjatlaringiz bilan birlashtirish, prompt qurish, qidiruv sifatining hal qiluvchi roli va «ma'lumot yo... 8 daq.
- 18 Qidiruv sifatini baholash Baholash to'plami tuzish, Recall@k va MRR, xatolarni ko'rib chiqish va chegarani raqam bilan tanlash. 8 daq.
- 19 Ishlab chiqarish - tezlik va narx Kechikish taqsimoti, paketlash foydasi, tokenizator tanlash orqali narxni kamaytirish, xotira hisobi va kesh. 9 daq.
- 20 Yakuniy loyiha To'liq savol-javob tizimini bitta sinfda yig'ish, uni halol baholash, chegara tanlash va yaxshilash rejasini tuzish. 8 daq.