Pandas - jadvallar bilan ishlash

import pandas as pd
import numpy as np

narxlar = pd.Series([620, 780, 1150, 380], name="narx")
print(narxlar)

uylar = pd.DataFrame({
    "maydon":  [65, 90, 120, 45, 78],
    "xonalar": [2, 3, 4, 1, 3],
    "tuman":   ["Yunusobod", "Chilonzor", "Mirzo Ulug'bek", "Sergeli", "Yakkasaroy"],
    "yosh":    [12, 5, 2, 25, 8],
    "narx":    [620, 780, 1150, 380, 810],
})

print(uylar)

uylar = pd.read_csv("malumotlar/xom/uylar.csv")

# Boshqa formatlar
pd.read_excel("hisobot.xlsx", sheet_name="Savdo")
pd.read_json("malumot.json")
pd.read_sql("SELECT * FROM mahsulotlar", ulanish)

# Foydali parametrlar
uylar = pd.read_csv(
    "uylar.csv",
    sep=";",                       # ajratuvchi
    encoding="utf-8",
    decimal=",",                   # kasr belgisi
    na_values=["", "yo'q", "-"],   # bo'sh deb hisoblanadigan qiymatlar
    parse_dates=["sotilgan_sana"],
)

print(uylar.head(3))       # birinchi 3 qator
print(uylar.tail(3))       # oxirgi 3 qator
print(uylar.shape)         # (qatorlar, ustunlar)
print(uylar.columns)       # ustun nomlari

uylar.info()

print(uylar.describe())

print(uylar["narx"])                       # Series
print(uylar[["maydon", "narx"]])           # DataFrame

# Nuqta bilan (faqat oddiy nomlar uchun)
print(uylar.narx)

print(uylar.iloc[0])          # pozitsiya bo'yicha
print(uylar.iloc[1:3])        # 1 va 2-qator
print(uylar.iloc[0, 2])       # birinchi qator, uchinchi ustun

print(uylar.loc[0])           # indeks bo'yicha
print(uylar.loc[0, "narx"])   # indeks va ustun nomi
print(uylar.loc[0:2, ["maydon", "narx"]])

qimmat = uylar[uylar["narx"] > 700]
print(qimmat)

# Bir nechta shart
tanlangan = uylar[(uylar["narx"] > 500) & (uylar["xonalar"] >= 3)]

# Ro'yxatdan
markaz = uylar[uylar["tuman"].isin(["Chilonzor", "Yakkasaroy"])]

# Matn bo'yicha
qidiruv = uylar[uylar["tuman"].str.contains("obod")]

# Oraliqda
orta = uylar[uylar["maydon"].between(60, 100)]

# query bilan - o'qishga qulay
natija = uylar.query("narx > 700 and xonalar >= 3")

uylar["narx_m2"] = (uylar["narx"] / uylar["maydon"]).round(2)

uylar["katta"] = uylar["maydon"] > 80

uylar["toifa"] = pd.cut(
    uylar["narx"],
    bins=[0, 500, 800, 2000],
    labels=["arzon", "o'rtacha", "qimmat"],
)

print(uylar[["maydon", "narx", "narx_m2", "toifa"]])

# Funksiya qo'llash
uylar["yosh_toifa"] = uylar["yosh"].apply(
    lambda yosh: "yangi" if yosh < 5 else ("o'rta" if yosh < 15 else "eski")
)

print(uylar.sort_values("narx", ascending=False))

# Bir nechta ustun bo'yicha
print(uylar.sort_values(["tuman", "narx"], ascending=[True, False]))

# Eng qimmat 3 ta
print(uylar.nlargest(3, "narx"))
print(uylar.nsmallest(2, "narx"))

savdo = pd.DataFrame({
    "tuman":  ["Chilonzor", "Chilonzor", "Sergeli", "Sergeli", "Yunusobod"],
    "xonalar": [2, 3, 2, 1, 3],
    "narx":   [700, 780, 450, 380, 900],
})

print(savdo.groupby("tuman")["narx"].mean())

# Bir nechta funksiya
print(savdo.groupby("tuman")["narx"].agg(["count", "mean", "min", "max"]))

# Har bir ustun uchun boshqa funksiya
print(savdo.groupby("tuman").agg(
    uylar_soni=("narx", "count"),
    ortacha_narx=("narx", "mean"),
    ortacha_xona=("xonalar", "mean"),
))

print(savdo.pivot_table(
    values="narx",
    index="tuman",
    columns="xonalar",
    aggfunc="mean",
))

# Chastota jadvali
print(pd.crosstab(uylar["tuman"], uylar["toifa"]))

malumot = pd.DataFrame({
    "maydon": [65, 90, np.nan, 45],
    "narx":   [620, np.nan, 1150, 380],
})

print(malumot.isna().sum())

# Foizda
print((malumot.isna().sum() / len(malumot) * 100).round(1))

# O'chirish
malumot.dropna()                       # bo'sh qiymatli qatorlarni
malumot.dropna(subset=["narx"])        # faqat narx bo'sh bo'lsa
malumot.dropna(axis=1)                 # ustunni

# To'ldirish
malumot["maydon"].fillna(malumot["maydon"].mean())
malumot["narx"].fillna(malumot["narx"].median())
malumot.ffill()                        # oldingi qiymat bilan

print(uylar.duplicated().sum())
uylar = uylar.drop_duplicates()

# Faqat ma'lum ustunlar bo'yicha
uylar = uylar.drop_duplicates(subset=["maydon", "tuman"], keep="first")

uylar = pd.DataFrame({
    "id": [1, 2, 3],
    "maydon": [65, 90, 120],
    "tuman_id": [1, 2, 1],
})

tumanlar = pd.DataFrame({
    "tuman_id": [1, 2],
    "tuman_nomi": ["Chilonzor", "Sergeli"],
})

birlashgan = uylar.merge(tumanlar, on="tuman_id", how="left")
print(birlashgan)

# Ustma-ust qo'yish
hammasi = pd.concat([jadval1, jadval2], ignore_index=True)

# Yonma-yon
kengaytirilgan = pd.concat([jadval1, jadval2], axis=1)

print(uylar["tuman"].value_counts())
print(uylar["tuman"].nunique())
print(uylar["tuman"].unique())

# One-hot kodlash - ML uchun kerak
kodlangan = pd.get_dummies(uylar, columns=["tuman"], drop_first=True)
print(kodlangan.columns.tolist())

sonli = uylar[["maydon", "xonalar", "yosh", "narx"]]
print(sonli.corr().round(2))

uylar.to_csv("malumotlar/tayyor/uylar.csv", index=False, encoding="utf-8")
uylar.to_excel("hisobot.xlsx", index=False, sheet_name="Uylar")
uylar.to_parquet("uylar.parquet")     # tez va ixcham