Анализа података уз Pandas: обрада и визуелизација података

Аутор Yasin TANIŞ

Првобитно објављено на Medium-у

Илустрација табела и графикона за анализу података уз pandas

Увод

Анализа података постала је незаобилазан део доношења одлука. Python се у тој области истиче захваљујући моћним библиотекама за анализу и обраду података. Једна од њих, pandas, незаменљива је стручњацима за науку о подацима јер је флексибилна и лака за употребу. У овом тексту разматрамо основне могућности pandas-а и његову употребу у анализи података, уз практичне примере на стварним или синтетичким подацима.

DataFrame и Series

Pandas ради с две основне структуре података. DataFrame је дводимензионална структура састављена од редова и колона. Series је једнодимензионална и представља једну колону података.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Излаз кода: DataFrame и Series исписани у конзоли

Креирање DataFrame-а

DataFrame се може направити на много начина. Податке можете учитати из извора као што су CSV, Excel и SQL и претворити их у DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Учитавање и чување података

Pandas поједностављује учитавање и чување података. Можете читати и обрађивати датотеке у много различитих формата.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Чишћење и припрема података

Чишћење и припрема кључни су кораци анализе података. Pandas олакшава рад с недостајућим вредностима, претварање типова података и уклањање непотребних података.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Излаз кода: број недостајућих вредности по колони, свуда нула

Овде проверавамо има ли DataFrame недостајућих вредности. Излаз показује да их нема ни у једној колони.

Статистички сажеци

Pandas нуди много алата за брзо сажимање података. Основни статистички показатељи и сажеци добијају се једним позивом.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Излаз кода: статистички сажетак колоне са годинама

У сажетку је просечна старост 30, а стандардна девијација 5; најмања и највећа старост износе 25 и 35. То даје брз увид у расподелу старости у подацима.

Груписање и сажимање

Груписање и сажимање једна је од јачих страна pandas-а. Функције groupby и pivot_table то чине једноставним.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Излаз кода: просечна старост груписана по граду
Излаз кода: пивот табела просечне старости по граду

Груписањем по граду добијамо просечну старост за сваки: Чикаго (35), Лос Анђелес (30) и Њујорк (25). Пивот табела даје сличан сажетак подељен по полу; наш пример нема податке о полу, па те ћелије приказују NaN.

Визуелизација уз pandas

Pandas има једноставне, али делотворне алате за графиконе. Функције као што су plot, hist и boxplot омогућавају брзу израду графикона.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Рад са Seaborn-ом и Matplotlib-ом

Податке из pandas-а можете визуелизовати и уз Seaborn и Matplotlib, који омогућавају прилагођеније и детаљније графиконе.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Анализа временских серија

Pandas веома добро ради с временским серијама, па је лако уочити трендове и обрасце.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Излаз кода: месечна просечна старост након поновног узорковања

Овде колону date претварамо у datetime и постављамо је као индекс. Месечним поновним узорковањем и просеком добијамо просечну старост 30 за јануар 2023. године.

Спајање и комбиновање података

Pandas има много функција за спајање и комбиновање скупова података, као што су merge, join и concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Излаз кода: два DataFrame-а спојена по колони name

У овом примеру спајамо два DataFrame-а по колони name и обједињујемо старост и град сваке особе.

Практичан пример: анализа синтетичких података

Креирање података

За практичан пример правимо синтетичке податке да бисмо показали шта pandas може.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Излаз кода: први редови синтетичког DataFrame-а

Овим се прави DataFrame од 100 редова с колонама A, B, C и D и категоријском колоном Category. Вредности су насумичне, а Category узима једну од три вредности.

Анализа и визуелизација

На синтетичким подацима радимо основну анализу и цртамо графиконе.

# Statistical summary
print(df.describe())
Излаз кода: статистички сажетак синтетичких података

Сажетак даје потпун преглед података. Просеци колона A, B, C и D близу су нуле, како се и очекује од насумичне нормалне расподеле, а стандардне девијације близу су 1 и показују колико се вредности расипају око просека.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Излаз кода: просеци колона груписани по категорији

Груписање по Category показује просек сваке колоне за сваку категорију и открива по чему се категорије разликују.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Хистограм колоне A
Кутијасти дијаграм колоне B по категорији

Хистограм показује расподелу вредности у колони A, а кутијасти дијаграм колону B по категоријама. Овакви графикони помажу да разумете расподелу и уочите одступајуће вредности или обрасце.

Закључак

Pandas је свестран и моћан алат за анализу података; флексибилност и лакоћа употребе чине га незаменљивим за стручњаке за науку о подацима. У овом тексту обрадили смо његове основне могућности и њихово место у анализи и показали практичну употребу на синтетичким подацима. Уз више вежбе и напредније технике можете дубље ући у науку о подацима и уз pandas извући више увида из својих података.

Извори

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2. изд.). O’Reilly Media.
  • Развојни тим pandas-а. Документација pandas-а. pandas.pydata.org
  • Документација NumPy-ја. numpy.org
  • Документација Matplotlib-а. matplotlib.org
  • Документација Seaborn-а. seaborn.pydata.org