transformers kutubxonasi

8-bo'limda modelni noldan yozdik. Amalda esa hech kim shunday qilmaydi - tayyor modellar olinadi. transformers kutubxonasi shu ish uchun.

pipeline - eng qisqa yo'l #

from transformers import pipeline

p = pipeline("sentiment-analysis",
             model="distilbert-base-uncased-finetuned-sst-2-english")

for s in ["This tutorial is excellent!", "I did not like it at all."]:
    r = p(s)[0]
    print(f"  {s:34s} -> {r['label']} ({r['score']:.4f})")

  yuklandi: 27s
  This tutorial is excellent!        -> POSITIVE (0.9999)
  I did not like it at all.          -> NEGATIVE (0.9993)

Uch qator kod - va ishlaydigan tahlilchi. pipeline tokenizatorni, modelni va natijani qayta ishlashni o'zi bajaradi.

Endi o'zbekchada #

for s in ["Bu darslik juda zo'r!", "Menga umuman yoqmadi."]:
    r = p(s)[0]
    print(f"  {s:28s} -> {r['label']} ({r['score']:.4f})")

  Bu darslik juda zo'r!        -> NEGATIVE (0.9919)
  Menga umuman yoqmadi.        -> NEGATIVE (0.9942)

Birinchi jumla - ijobiy maqtov. Model uni salbiy dedi, ustiga 99.19% ishonch bilan.

Ikkinchisi tasodifan to'g'ri chiqdi - chunki model hamma narsani salbiy deyapti.

pipeline ichida nima bor #

from transformers import AutoTokenizer, AutoModelForSequenceClassification

nom = "distilbert-base-uncased-finetuned-sst-2-english"
tok = AutoTokenizer.from_pretrained(nom)
mdl = AutoModelForSequenceClassification.from_pretrained(nom)
mdl.eval()

print("  sinflar:", mdl.config.id2label)

enc = tok("This tutorial is excellent!", return_tensors="pt")
with torch.no_grad():
    logit = mdl(**enc).logits
p_ = torch.softmax(logit, dim=-1)[0]

  sinflar: {0: 'NEGATIVE', 1: 'POSITIVE'}
  logitlar: [-4.262, 4.623]
  ehtimollar: {'NEGATIVE': 0.0001, 'POSITIVE': 0.9999}

Tanish ko'rinadi. Bu PyTorch darsligining 19-bo'limidagi bashorat funksiyasining o'zi: tokenizatsiya, eval(), no_grad(), model, softmax.

Model logit qaytaradi - softmax ichida emas (PyTorch 6-bo'lim).

AutoModel oilasi #

Bitta tayyor model turli masalalarga moslanadi. Buni bosh (head) belgilaydi:

Tana (transformer bloklari) bir xil - faqat oxirgi qatlam farq qiladi. Bu PyTorch darsligining 16-bo'limidagi transfer learning g'oyasining o'zi: backbone saqlanadi, bosh almashtiriladi.

base = AutoModel.from_pretrained("bert-base-multilingual-cased")
e = btok("Dasturlash qiziqarli", return_tensors="pt")
with torch.no_grad():
    o = base(**e)
print("  last_hidden_state:", tuple(o.last_hidden_state.shape))

  last_hidden_state: (1, 9, 768)  <- har token uchun vektor
  tokenlar: ['[CLS]', 'Das', '##tur', '##lash', 'q', '##izi', '##qa', '##rli', '[SEP]']

AutoModel boshsiz keladi: u har token uchun 768 o'lchamli vektor beradi. 16-bo'limda aynan shu vektorlardan semantik qidiruv quramiz.

Modellar qayerda saqlanadi #

  models--bert-base-multilingual-cased                    1368 MB
  models--distilbert-base-multilingual-cased              1039 MB
  models--distilbert-base-uncased-finetuned-sst-2-engl     511 MB
  models--gpt2                                            1051 MB
  JAMI                                                    5945 MB

Bu darslikda ishlatilgan bir necha model 6 GB joy egalladi. Fayllar ~/.cache/huggingface/hub da yotadi.

du -sh ~/.cache/huggingface/hub
rm -rf ~/.cache/huggingface/hub/models--kerak-emas-model

Xulosa #

• pipeline uch qatorda ishlaydigan model beradi - tez sinash uchun qulay.
• U tokenizatsiya, model va natijani qayta ishlashni o'zi bajaradi.
• Inglizcha model o'zbekcha maqtovni NEGATIVE (99.19%) deb baholadi.
• Bu kalibrlanmagan modelning namunasi: ishonchli, lekin xato.
• Sabab model nomida yozilgan edi: finetuned-sst-2-english.
• Auto sinflari nazorat beradi va ishlab chiqarishda shular ishlatiladi.
• Model logit qaytaradi; softmax ni o'zingiz qo'llaysiz.
• Bitta tana turli boshlar bilan turli masalaga moslanadi.
• AutoModel boshsiz keladi va har token uchun 768 o'lchamli vektor beradi.
• Modellar keshda to'planadi - bizda bir necha model 6 GB egalladi.

Keyingi bo'limda tayyor modelni o'z ma'lumotimizga sozlashga tayyorlanamiz - ma'lumot to'plami va baholash mezoni bilan.