Analiza podataka uz Pandas: obrada i vizuelizacija podataka
Piše Yasin TANIŞ

Uvod
Analiza podataka postala je nezaobilazan dio donošenja odluka. Python se u toj oblasti ističe zahvaljujući moćnim bibliotekama za analizu i obradu podataka. Jedna od njih, pandas, nezamjenljiva je za naučnike za podatke jer je fleksibilna i laka za upotrebu. U ovom tekstu razmatramo osnovne mogućnosti pandasa i njegovu upotrebu u analizi podataka, uz praktične primjere na stvarnim ili sintetičkim podacima.
DataFrame i Series
Pandas radi s dvije osnovne strukture podataka. DataFrame je dvodimenzionalna struktura od redova i kolona. Series je jednodimenzionalna i predstavlja jednu kolonu podataka.
import pandas as pd
# Creating a simple DataFrame
data = {
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35],
'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)

Kreiranje DataFrame-a
DataFrame se može napraviti na mnogo načina. Podatke možete učitati iz izvora kao što su CSV, Excel i SQL i pretvoriti ih u DataFrame.
# Loading data from a CSV file
df = pd.read_csv('data.csv')
# Loading data from an Excel file
df = pd.read_excel('data.xlsx')
# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)
Učitavanje i čuvanje podataka
Pandas pojednostavljuje učitavanje i čuvanje podataka. Možete čitati i obrađivati datoteke u mnogim različitim formatima.
# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)
Čišćenje i priprema podataka
Čišćenje i priprema ključni su koraci analize podataka. Pandas olakšava rad s nedostajućim vrijednostima, pretvaranje tipova podataka i uklanjanje podataka koji vam nijesu potrebni.
# Checking for missing values
print(df.isnull().sum())
# Filling missing values
df.fillna(0, inplace=True)
# Converting data types
df['date'] = pd.to_datetime(df['date'])

Ovdje provjeravamo ima li DataFrame nedostajućih vrijednosti. Izlaz pokazuje da ih nema ni u jednoj koloni.
Statistički sažeci
Pandas nudi mnogo alata za brzo sažimanje podataka. Osnovna statistika i sažeci dobijaju se jednim pozivom.
# Basic statistical summaries
print(df.describe())
# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())

U sažetku je prosječna starost 30, a standardna devijacija 5; najmanja i najveća starost su 25 i 35. To daje brz uvid u raspodjelu godina u podacima.
Grupisanje i sažimanje
Grupisanje i sažimanje jedna je od jakih strana pandasa. Funkcije groupby i pivot_table to čine jednostavnim.
# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)
# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)


Grupisanjem po gradu dobijamo prosječnu starost za svaki: Chicago (35), Los Angeles (30) i New York (25). Pivot tabela daje sličan sažetak raščlanjen po polu; naš primjer nema podatke o polu, pa te ćelije prikazuju NaN.
Vizuelizacija uz pandas
Pandas ima jednostavne, ali djelotvorne alate za grafikone. Funkcije kao što su plot, hist i boxplot brzo iscrtavaju grafikone.
# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')
Rad sa Seabornom i Matplotlibom
Pandas podatke možete vizuelizovati i uz Seaborn i Matplotlib, koji omogućavaju prilagođenije i detaljnije grafikone.
import seaborn as sns
import matplotlib.pyplot as plt
# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()
Analiza vremenskih serija
Pandas veoma dobro radi s vremenskim serijama, pa se trendovi i obrasci lako uočavaju.
# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())

Ovdje kolonu date pretvaramo u datetime i postavljamo je kao indeks. Ponovnim uzorkovanjem po mjesecima i računanjem prosjeka dobijamo prosječnu starost od 30 godina za januar 2023.
Spajanje i kombinovanje podataka
Pandas ima mnogo funkcija za spajanje i kombinovanje skupova podataka, kao što su merge, join i concat.
# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)

U ovom primjeru spajamo dva DataFrame-a po koloni name i objedinjujemo starost i grad svake osobe.
Praktičan primjer: analiza sintetičkih podataka
Kreiranje podataka
Za praktičan primjer pravimo sintetičke podatke kako bismo pokazali šta pandas može.
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())

Ovim se pravi DataFrame od 100 redova s kolonama A, B, C i D i kategorijalnom kolonom Category. Vrijednosti su nasumične, a Category uzima jednu od tri vrijednosti.
Analiza i vizuelizacija
Na sintetičkim podacima sprovodimo osnovnu analizu i crtamo grafikone.
# Statistical summary
print(df.describe())

Sažetak daje potpun pregled podataka. Prosjeci kolona A, B, C i D blizu su nule, kako se i očekuje od nasumične normalne raspodjele, a standardne devijacije blizu su 1, što pokazuje koliko su vrijednosti raspršene oko prosjeka.
# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)

Grupisanje po koloni Category pokazuje prosjek svake kolone za svaku kategoriju i otkriva po čemu se kategorije razlikuju.
# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()
sns.boxplot(x='Category', y='B', data=df)
plt.show()


Histogram pokazuje kako su raspoređene vrijednosti u koloni A, a kutijasti dijagram prikazuje kolonu B po kategorijama. Ovakvi grafikoni pomažu da razumijete raspodjelu i uočite odstupanja ili obrasce.
Zaključak
Pandas je svestran i moćan alat za analizu podataka; fleksibilnost i lakoća upotrebe čine ga nezamjenljivim za naučnike za podatke. U ovom tekstu obradili smo njegove osnovne mogućnosti i njihovu ulogu u analizi, a praktičnu upotrebu pokazali smo na sintetičkim podacima. Daljom vježbom i naprednijim tehnikama možete dublje zaći u nauku o podacima i uz pandas izvući više zaključaka iz svojih podataka.
Izvori
- McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
- McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2. izd.). O’Reilly Media.
- Razvojni tim pandasa. Dokumentacija pandasa. pandas.pydata.org
- Dokumentacija NumPy-ja. numpy.org
- Dokumentacija Matplotliba. matplotlib.org
- Dokumentacija Seaborna. seaborn.pydata.org

