Analiza podatkov s pandas: obdelava in vizualizacija podatkov

Avtor Yasin TANIŞ

Prvotno objavljeno na Mediumu

Ilustracija tabel in grafov za analizo podatkov s pandas

Uvod

Analiza podatkov je postala sestavni del odločanja. Python na tem področju izstopa zaradi zmogljivih knjižnic za analizo in obdelavo podatkov. Ena od njih, pandas, je za podatkovne znanstvenike nepogrešljiva, ker je prilagodljiva in enostavna za uporabo. V tem članku si bomo ogledali osnovne zmožnosti knjižnice pandas in njeno uporabo pri analizi podatkov, s praktičnimi primeri na resničnih ali sintetičnih podatkih.

DataFrame in Series

Pandas dela z dvema osnovnima podatkovnima strukturama. DataFrame je dvodimenzionalna struktura iz vrstic in stolpcev. Series je enodimenzionalna in predstavlja en stolpec podatkov.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Izpis kode: DataFrame in Series, izpisana v konzoli

Ustvarjanje DataFrama

DataFrame lahko ustvarite na veliko načinov. Podatke lahko naložite iz virov, kot so CSV, Excel in SQL, in jih pretvorite v DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Nalaganje in shranjevanje podatkov

Pandas poenostavi nalaganje in shranjevanje podatkov. Berete in obdelujete lahko datoteke v številnih oblikah.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Čiščenje in priprava podatkov

Čiščenje in priprava sta ključna koraka analize podatkov. Pandas olajša delo z manjkajočimi vrednostmi, pretvorbo podatkovnih tipov in odstranjevanje nepotrebnih podatkov.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Izpis kode: število manjkajočih vrednosti po stolpcih, povsod nič

Tu preverimo, ali ima DataFrame manjkajoče vrednosti. Izpis pokaže, da jih ni v nobenem stolpcu.

Statistični povzetki

Pandas ponuja veliko orodij za hitro povzemanje podatkov. Osnovne statistike in povzetke dobite z enim samim klicem.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Izpis kode: statistični povzetek stolpca s starostjo

V povzetku je povprečna starost 30, standardni odklon pa 5; najnižja in najvišja starost sta 25 in 35. To da hiter vpogled v porazdelitev starosti v podatkih.

Združevanje in povzemanje

Združevanje in povzemanje je ena od močnih strani knjižnice pandas. Funkciji groupby in pivot_table to poenostavita.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Izpis kode: povprečna starost, združena po mestih
Izpis kode: vrtilna tabela povprečne starosti po mestih

Z združevanjem po mestih dobimo povprečno starost za vsako mesto: Chicago (35), Los Angeles (30) in New York (25). Vrtilna tabela da podoben povzetek, razdeljen po spolu; naš primer nima podatkov o spolu, zato te celice kažejo NaN.

Vizualizacija podatkov s pandas

Pandas ima preprosta, a učinkovita orodja za risanje grafov. Funkcije, kot so plot, hist in boxplot, hitro izrišejo grafe.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Delo s Seabornom in Matplotlibom

Podatke iz pandas lahko vizualizirate tudi s Seabornom in Matplotlibom, ki omogočata bolj prilagojene in podrobnejše grafe.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Analiza časovnih vrst

Pandas zelo dobro dela s časovnimi vrstami, zato je v njih lahko poiskati trende in vzorce.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Izpis kode: mesečna povprečna starost po ponovnem vzorčenju

Tu stolpec date pretvorimo v datetime in ga nastavimo kot indeks. Z mesečnim ponovnim vzorčenjem in povprečjem dobimo povprečno starost 30 za januar 2023.

Spajanje in združevanje podatkov

Pandas ima veliko funkcij za spajanje in združevanje podatkovnih zbirk, na primer merge, join in concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Izpis kode: dva DataFrama, spojena po stolpcu name

V tem primeru spojimo dva DataFrama po stolpcu name ter tako združimo starost in mesto vsake osebe.

Praktični primer: analiza sintetičnih podatkov

Ustvarjanje podatkov

Za praktični primer ustvarimo sintetične podatke, ki pokažejo, kaj zmore pandas.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Izpis kode: prve vrstice sintetičnega DataFrama

To ustvari DataFrame s 100 vrsticami, stolpci A, B, C in D ter kategorialnim stolpcem Category. Vrednosti so naključne, Category pa zavzame eno od treh vrednosti.

Analiza in vizualizacija

S sintetičnimi podatki opravimo osnovno analizo in narišemo grafe.

# Statistical summary
print(df.describe())
Izpis kode: statistični povzetek sintetičnih podatkov

Povzetek da celovit pregled podatkov. Povprečja stolpcev A, B, C in D so blizu nič, kot je pričakovati pri naključni normalni porazdelitvi, standardni odkloni pa so blizu 1 in kažejo, kako močno so vrednosti razpršene okoli povprečja.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Izpis kode: povprečja stolpcev, združena po kategorijah

Združevanje po Category pokaže povprečje vsakega stolpca za vsako kategorijo in razkrije, v čem se kategorije razlikujejo.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Histogram stolpca A
Diagram škatla z brki za stolpec B po kategorijah

Histogram prikazuje porazdelitev vrednosti v stolpcu A, diagram škatla z brki pa stolpec B po kategorijah. Takšni grafi pomagajo razumeti porazdelitev in opaziti osamelce ali vzorce.

Sklep

Pandas je vsestransko in zmogljivo orodje za analizo podatkov; zaradi prilagodljivosti in enostavne uporabe je nepogrešljivo za podatkovne znanstvenike. V tem članku smo obravnavali njegove osnovne zmožnosti in njihovo mesto v analizi ter pokazali praktično uporabo na sintetičnih podatkih. Z več vaje in naprednejšimi tehnikami se lahko poglobite v podatkovno znanost in s pandas iz svojih podatkov izluščite več spoznanj.

Viri

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2. izd.). O’Reilly Media.
  • Razvojna ekipa pandas. Dokumentacija pandas. pandas.pydata.org
  • Dokumentacija NumPy. numpy.org
  • Dokumentacija Matplotlib. matplotlib.org
  • Dokumentacija Seaborn. seaborn.pydata.org