Tokenizatsiya va o'zbek tili

Model harf ham, so'z ham ko'rmaydi - u faqat sonlar bilan ishlaydi. Matnni songa aylantiruvchi bo'g'in tokenizator deyiladi va u transformerning eng kam e'tibor beriladigan, lekin eng ko'p muammo keltiradigan qismi.

Muhitni tayyorlash #

Ikki holat bo'lishi mumkin:

1. Python #

Python 3.9 yoki undan yangi versiya kerak. Tekshirish:

python --version

O'rnatilmagan bo'lsa, python.org dan yuklab oling.

2. Virtual muhit yaratish #

Papka ochib, unda alohida muhit yaratamiz:

mkdir transformer-loyiham
cd transformer-loyiham
python -m venv muhit

3. Muhitni faollashtirish #

Bu qadam operatsion tizimga qarab farq qiladi.

Windows (Command Prompt yoki PowerShell):

muhit\Scripts\activate

Linux va macOS:

source muhit/bin/activate

Faollashgach, buyruq satri oldida muhit nomi paydo bo'ladi:

(muhit) C:\Users\husanboy\transformer-loyiham>

Chiqish uchun ikkala tizimda ham bir xil: deactivate.

4. Kutubxonalarni o'rnatish #

Faollashtirilgan muhitda buyruq ikkala tizimda bir xil:

pip install torch transformers --index-url https://download.pytorch.org/whl/cpu --extra-index-url https://pypi.org/simple

5. Tekshirish #

tekshir.py faylini yarating:

import torch
import transformers

print("torch:       ", torch.__version__)
print("transformers:", transformers.__version__)

python tekshir.py

torch:        2.14.0+cpu
transformers: 5.17.0

Sizdagi versiya yangiroq bo'lishi mumkin - bu normal. Darslikdagi misollar shu versiyalarda ishga tushirilgan.

Endi birinchi tokenizatorni yuklaymiz:

from transformers import AutoTokenizer

tok = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")
print("lug'at hajmi:", tok.vocab_size)

lug'at hajmi: 119547

Bu model 104 tilda o'qitilgan va lug'atida 119 547 ta token bor.

Subword - so'z ham emas, harf ham emas #

Nega shunchaki so'zlarni raqamlamaymiz? Chunki o'zbek tilida bitta o'zakdan o'nlab shakl yasaladi: kitob, kitobim, kitobingiz, kitoblardan. Har birini alohida token qilsak, lug'at cheksiz o'sadi.

Boshqa chekka - har harfni token qilish. Unda lug'at kichik, lekin matn juda uzun bo'ladi.

Tokenizatorlar o'rtadagi yo'lni tanlaydi: subword (so'z bo'lagi).

matnlar = [
    "Dasturlash qiziqarli",
    "Programming is interesting",
    "Kitob o'qish foydali",
]

for m in matnlar:
    ids = tok(m, add_special_tokens=False)["input_ids"]
    print(f"{m}")
    print(f"  tokenlar ({len(ids)}): {tok.convert_ids_to_tokens(ids)}")

Dasturlash qiziqarli
  tokenlar (7): ['Das', '##tur', '##lash', 'q', '##izi', '##qa', '##rli']
Programming is interesting
  tokenlar (3): ['Programming', 'is', 'interesting']
Kitob o'qish foydali
  tokenlar (9): ['Kit', '##ob', 'o', "'", 'q', '##ish', 'f', '##oy', '##dali']

## belgisi «bu oldingi tokenning davomi» degani.

Natijaga diqqat qiling. Uch so'zli inglizcha jumla - 3 ta token. Ikki so'zli o'zbekcha jumla - 7 ta token.

O'zbek tili qancha turadi #

print(f"{'matn':32s} {'so\'z':>5s} {'token':>6s} {'nisbat':>7s}")
for m in matnlar:
    n = len(tok(m, add_special_tokens=False)["input_ids"])
    s = len(m.split())
    print(f"{m:32s} {s:5d} {n:6d} {n/s:6.1f}x")

matn                              so'z  token  nisbat
Dasturlash qiziqarli                 2      7    3.5x
Programming is interesting           3      3    1.0x
Kitob o'qish foydali                 3      9    3.0x

Ingliz tilida bir so'z - taxminan bir token. O'zbek tilida bir so'z uch-to'rt token.

Apostrof - alohida muammo #

O'zbek lotin yozuvida o' va g' harflari bor. Ular tokenizatorga qanday ta'sir qiladi?

for m in ["o'rganish", "oʻrganish", "organish"]:
    ids = tok(m, add_special_tokens=False)["input_ids"]
    print(f"  {m:12s} -> {len(ids)} token: {tok.convert_ids_to_tokens(ids)}")

  o'rganish    -> 5 token: ['o', "'", 'r', '##gani', '##sh']
  oʻrganish    -> 4 token: ['o', '##ʻ', '##rgan', '##ish']
  organish     -> 2 token: ['organi', '##sh']

Bitta so'z, uch xil yozuv, uch xil narx: 5, 4 va 2 token.

To'g'ri apostrof (') ishlatilganda so'z beshta bo'lakka sochilib ketdi - hatto o va ' alohida token bo'ldi.

Maxsus tokenlar #

enc = tok("Salom dunyo")
print("id lar:", enc["input_ids"])
print("tokenlar:", tok.convert_ids_to_tokens(enc["input_ids"]))
print("CLS:", tok.cls_token, "| SEP:", tok.sep_token,
      "| PAD:", tok.pad_token, "| UNK:", tok.unk_token)

id lar: [101, 64831, 10692, 23145, 15594, 102]
tokenlar: ['[CLS]', 'Sal', '##om', 'dun', '##yo', '[SEP]']
CLS: [CLS] | SEP: [SEP] | PAD: [PAD] | UNK: [UNK]

Tokenizator o'zi ikkita token qo'shdi: boshiga [CLS], oxiriga [SEP].

Teskari yo'nalish #

print("decode:", tok.decode(enc["input_ids"]))
print("decode (maxsus tokensiz):", tok.decode(enc["input_ids"], skip_special_tokens=True))

decode: [CLS] Salom dunyo [SEP]
decode (maxsus tokensiz): Salom dunyo

## bo'laklar qaytadan birlashtirildi va asl matn tiklandi.

Paket va attention_mask #

PyTorch darsligining 17-bo'limida padding niqobini qo'lda yozgan edik. Bu yerda tokenizator uni o'zi beradi:

paket = tok(["Salom", "Dasturlash juda qiziqarli ish"],
            padding=True, return_tensors="pt")
print("input_ids shakli:", tuple(paket["input_ids"].shape))
print("attention_mask:")
print(paket["attention_mask"])
print("1-qator tokenlari:", tok.convert_ids_to_tokens(paket["input_ids"][0]))

input_ids shakli: (2, 12)
attention_mask:
tensor([[1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0],
        [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]])
1-qator tokenlari: ['[CLS]', 'Sal', '##om', '[SEP]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]']

Ikkala jumla 12 tokenga tenglashtirildi. attention_mask esa qaysi o'rinlar haqiqiy ekanini aytadi: birinchi qatorda 4 ta 1 va 8 ta 0.

chiqish = model(**paket)

Xulosa #

• Model matn emas, son qabul qiladi; uni tokenizator tayyorlaydi.
• Subword tokenizatsiya so'z va harf o'rtasidagi yo'l - lug'at cheklangan qoladi.
• ## prefiksi tokenning oldingisining davomi ekanini bildiradi.
• O'zbekcha matn inglizchaga qaraganda 3-3.5 barobar ko'p token oladi.
• Bu uch narsaga ta'sir qiladi: narx, kontekst oynasi va sifat.
• Sabab kamsitish emas - tokenizator ko'proq ingliz tilida o'qitilgan.
• Apostrof narxni yana oshiradi: o'rganish 5 token, organish 2 token.
• Loyihada apostrof shaklini bir xil qiling, aks holda model bir so'zni ikki xil ko'radi.
• Tokenizator [CLS] va [SEP] ni o'zi qo'shadi.
• padding=True bilan attention_mask avtomatik chiqadi - uni modelga berish shart.

Keyingi bo'limda token id laridan vektor yasaymiz va e'tibor mexanizmining birinchi qismiga - so'rov, kalit va qiymatga o'tamiz.