Dataset va DataLoader

Hozirgacha biz butun ma'lumotni bir vaqtda modelga berdik. Real loyihada bu mumkin emas: 100 000 ta rasm xotiraga sig'maydi. PyTorch buni ikkita sinf bilan hal qiladi:

• Dataset - «menda nechta namuna bor va i-namuna nimadan iborat» degan savolga javob beradi.
• DataLoader - o'sha namunalarni paketlarga bo'lib, aralashtirib beradi.

Tayyor TensorDataset #

Ma'lumot allaqachon tenzorda bo'lsa, eng qisqa yo'l:

import torch
from torch.utils.data import Dataset, DataLoader, TensorDataset, random_split

torch.manual_seed(42)

X = torch.randn(100, 3)
y = (X.sum(dim=1) > 0).long()

tds = TensorDataset(X, y)
print("namunalar soni:", len(tds))

xb, yb = tds[0]
print("bitta namuna:", xb.shape, "nishon =", yb.item())

namunalar soni: 100
bitta namuna: torch.Size([3]) nishon = 1

tds[0] bitta namunani qaytardi - paketni emas. Bu muhim farq.

O'z Dataset sinfingiz #

Ma'lumot fayllarda, papkalarda yoki ma'lumotlar bazasida bo'lsa, o'z sinfingizni yozasiz. Faqat uchta metod kerak:

class HaroratDataset(Dataset):
    def __init__(self, selsiy):
        self.x = torch.tensor(selsiy, dtype=torch.float32).unsqueeze(1)
        self.y = self.x * 1.8 + 32

    def __len__(self):
        return len(self.x)

    def __getitem__(self, i):
        return self.x[i], self.y[i]

hd = HaroratDataset([0.0, 10.0, 25.0, 37.0, 100.0])
print("uzunlik:", len(hd))
for i in range(3):
    a, b = hd[i]
    print(f"  {a.item():6.1f}C -> {b.item():6.1f}F")

uzunlik: 5
     0.0C ->   32.0F
    10.0C ->   50.0F
    25.0C ->   77.0F

DataLoader - paketlash #

dl = DataLoader(tds, batch_size=16, shuffle=True)
print("paketlar soni:", len(dl))

for i, (xb, yb) in enumerate(dl):
    print(f"  {i+1}-paket: {tuple(xb.shape)}  nishonlar {tuple(yb.shape)}")
    if i == 2:
        break

paketlar soni: 7
  1-paket: (16, 3)  nishonlar (16,)
  2-paket: (16, 3)  nishonlar (16,)
  3-paket: (16, 3)  nishonlar (16,)

100 ta namuna, 16 talik paket - 100 / 16 = 6.25, demak 7 ta paket. Oxirgisi to'liq bo'lmaydi:

oxirgi = None
for xb, yb in dl:
    oxirgi = xb
print("oxirgi paket shakli:", tuple(oxirgi.shape))

dl2 = DataLoader(tds, batch_size=16, shuffle=True, drop_last=True)
print("drop_last=True bilan paketlar:", len(dl2))

oxirgi paket shakli: (4, 3)
drop_last=True bilan paketlar: 6

Oxirgi paketda 16 emas, 4 ta namuna bor. drop_last=True uni butunlay tashlab yuboradi.

Aralashtirish nima uchun kerak #

d = DataLoader(tds, batch_size=4, shuffle=False)
xb, yb = next(iter(d))
print("shuffle=False birinchi nishonlar:", yb.tolist())

d = DataLoader(tds, batch_size=4, shuffle=True, generator=torch.Generator().manual_seed(0))
xb, yb = next(iter(d))
print("shuffle=True  birinchi nishonlar:", yb.tolist())

shuffle=False birinchi nishonlar: [1, 0, 0, 0]
shuffle=True  birinchi nishonlar: [1, 0, 1, 1]

Ma'lumotni bo'lish #

Model qanchalik o'rganganini bilish uchun u ko'rmagan ma'lumot kerak:

oq, val = random_split(tds, [80, 20], generator=torch.Generator().manual_seed(42))
print("o'quv:", len(oq), "| validatsiya:", len(val))

o'quv: 80 | validatsiya: 20

Foydali sozlamalar #

Xulosa #

• Dataset bitta namunani beradi, DataLoader ulardan paket yasaydi.
• Tenzor tayyor bo'lsa, TensorDataset eng qisqa yo'l.
• O'z sinfingizda uchta metod kerak: __init__, __len__, __getitem__.
• __getitem__ bitta namunani qaytaradi - paketni emas.
• Og'ir o'qishni __getitem__ ga qoldiring, __init__ da faqat yo'llarni saqlang.
• Paketlar soni - namunalar sonining paket hajmiga bo'linganidan yuqoriga yaxlitlangani.
• Oxirgi paket to'liq bo'lmasligi mumkin; drop_last=True uni tashlaydi.
• O'quv to'plamida shuffle=True majburiy - tartiblangan ma'lumotda usiz model buziladi.
• Validatsiya va testda aralashtirish kerak emas.
• random_split ma'lumotni bo'ladi; generator bilan bo'linish takrorlanadigan bo'ladi.

Keyingi bo'limda shu qismlarning hammasini bitta to'liq o'quv sikliga birlashtiramiz.