Matn bilan ishlash

import torch
import torch.nn as nn

matnlar = [
    ("bu film juda zor edi", 1), ("ajoyib asar tavsiya qilaman", 1),
    ("juda yoqdi yana koraman", 1), ("zor aktyorlar zor syujet", 1),
    ("vaqtim bekor ketdi", 0), ("juda zerikarli film", 0),
    ("umuman yoqmadi", 0), ("bekor pul sarfladim", 0),
]

lugat = {"<pad>": 0, "<unk>": 1}
for m, _ in matnlar:
    for s in m.split():
        if s not in lugat:
            lugat[s] = len(lugat)

print("lug'at hajmi:", len(lugat))
print("birinchi 8 ta:", dict(list(lugat.items())[:8]))

def kodla(matn, uzunlik=6):
    id_lar = [lugat.get(s, 1) for s in matn.split()][:uzunlik]
    return id_lar + [0] * (uzunlik - len(id_lar))

print("matn      :", matnlar[0][0])
print("id lar    :", kodla(matnlar[0][0]))
print("qisqa matn:", matnlar[6][0], "->", kodla(matnlar[6][0]))

qatlam = nn.Embedding(num_embeddings=len(lugat), embedding_dim=8, padding_idx=0)
print("Embedding og'irligi:", tuple(qatlam.weight.shape))

x = torch.tensor([kodla(matnlar[0][0])])
print("kirish:", tuple(x.shape), "-> chiqish:", tuple(qatlam(x).shape))
print("padding vektori:", qatlam.weight[0].abs().sum().item())

class MatnModel(nn.Module):
    def __init__(self, lugat_hajmi, olcham=16):
        super().__init__()
        self.emb = nn.Embedding(lugat_hajmi, olcham, padding_idx=0)
        self.chiqish = nn.Linear(olcham, 2)

    def forward(self, x):
        v = self.emb(x)                                  # (paket, uzunlik, olcham)
        niqob = (x != 0).unsqueeze(-1).float()           # (paket, uzunlik, 1)
        ortacha = (v * niqob).sum(1) / niqob.sum(1).clamp(min=1)
        return self.chiqish(ortacha)

X = torch.tensor([kodla(m) for m, _ in matnlar])
y = torch.tensor([e for _, e in matnlar])
print("X:", tuple(X.shape), " y:", tuple(y.shape))

model.eval()
for t in ["juda zor film", "vaqtim bekor ketdi", "notanish sozlar bu yerda"]:
    with torch.no_grad():
        p = torch.softmax(model(torch.tensor([kodla(t)])), 1)[0]
    print(f"  '{t}' -> {'ijobiy' if p[1]>p[0] else 'salbiy'} ({max(p).item():.0%})")