利用Python pandas库轻松实现数据报表输出从数据清洗到精美报表全流程解析让你快速掌握高效数据分析技能

威震华夏关云长

引言

在当今数据驱动的时代，数据分析已成为各行各业不可或缺的技能。Python作为最受欢迎的编程语言之一，其pandas库为数据处理和分析提供了强大而灵活的工具。本文将详细介绍如何利用Python pandas库从数据清洗到生成精美报表的全流程，帮助读者快速掌握高效的数据分析技能。

1. Python pandas库简介

Pandas是Python的一个开源数据分析和操作库，提供了高性能、易于使用的数据结构和数据分析工具。它是基于NumPy构建的，为数据清洗、处理、分析和可视化提供了丰富的功能。

1.1 Pandas的核心数据结构

Pandas有两个主要的数据结构：Series和DataFrame。

• Series：一维标记数组，能够保存任何数据类型（整数、字符串、浮点数、Python对象等）。
• DataFrame：二维标记数据结构，类似于Excel表格或SQL表，可以看作是多个Series对象的集合。

让我们通过代码来了解这两种数据结构：

2. import pandas as pd
3. import numpy as np
5. # 创建Series
6. s = pd.Series([1, 3, 5, np.nan, 6, 8])
7. print("Series示例:")
8. print(s)
10. # 创建DataFrame
11. data = {'Name': ['John', 'Anna', 'Peter', 'Linda'],
12.         'Age': [28, 34, 29, 42],
13.         'City': ['New York', 'Paris', 'Berlin', 'London']}
14. df = pd.DataFrame(data)
15. print("\nDataFrame示例:")
16. print(df)

复制代码

1.2 安装和导入Pandas

在开始使用Pandas之前，需要确保已安装该库。可以使用pip进行安装：

2. pip install pandas

复制代码

安装完成后，在Python脚本中导入Pandas：

2. import pandas as pd

复制代码

2. 数据清洗

数据清洗是数据分析过程中至关重要的一步。原始数据往往包含缺失值、重复值、异常值等问题，需要通过清洗来提高数据质量。

2.1 加载数据

Pandas支持从多种数据源加载数据，如CSV、Excel、SQL数据库等。以下是几种常见的数据加载方式：

2. # 从CSV文件加载数据
3. df_csv = pd.read_csv('data.csv')
5. # 从Excel文件加载数据
6. df_excel = pd.read_excel('data.xlsx')
8. # 从SQL数据库加载数据
9. import sqlite3
10. conn = sqlite3.connect('database.db')
11. df_sql = pd.read_sql('SELECT * FROM table_name', conn)

复制代码

2.2 数据概览

加载完数据后，首先需要对数据进行概览，了解数据的基本情况：

2. # 查看数据的前几行（默认5行）
3. print(df.head())
5. # 查看数据的后几行（默认5行）
6. print(df.tail())
8. # 查看数据的基本信息
9. print(df.info())
11. # 查看数据的统计摘要
12. print(df.describe())
14. # 查看数据的形状（行数和列数）
15. print(df.shape)

复制代码

2.3 处理缺失值

缺失值是数据清洗中常见的问题。Pandas提供了多种处理缺失值的方法：

2. # 检查缺失值
3. print(df.isnull().sum())
5. # 删除包含缺失值的行
6. df_dropna = df.dropna()
8. # 删除全部为缺失值的列
9. df_dropna_col = df.dropna(axis=1, how='all')
11. # 填充缺失值
12. # 用特定值填充
13. df_fill_value = df.fillna(0)
15. # 用均值填充
16. df_fill_mean = df.fillna(df.mean())
18. # 用前一个值填充（向前填充）
19. df_fill_ffill = df.fillna(method='ffill')
21. # 用后一个值填充（向后填充）
22. df_fill_bfill = df.fillna(method='bfill')
24. # 插值填充
25. df_interpolate = df.interpolate()

复制代码

2.4 处理重复值

重复值会影响数据分析的准确性，需要及时处理：

2. # 检查重复行
3. print(df.duplicated().sum())
5. # 删除重复行
6. df_drop_duplicates = df.drop_duplicates()
8. # 基于特定列删除重复行
9. df_drop_duplicates_col = df.drop_duplicates(subset=['column_name'])

复制代码

2.5 处理异常值

异常值是数据集中偏离正常范围的数据点，可能会影响分析结果：

2. # 使用Z-score方法检测异常值
3. from scipy import stats
4. z_scores = stats.zscore(df[['numeric_column']])
5. abs_z_scores = np.abs(z_scores)
6. filtered_entries = (abs_z_scores < 3).all(axis=1)
7. df_no_outliers = df[filtered_entries]
9. # 使用IQR方法检测异常值
10. Q1 = df['numeric_column'].quantile(0.25)
11. Q3 = df['numeric_column'].quantile(0.75)
12. IQR = Q3 - Q1
13. lower_bound = Q1 - 1.5 * IQR
14. upper_bound = Q3 + 1.5 * IQR
15. df_no_outliers = df[(df['numeric_column'] >= lower_bound) & (df['numeric_column'] <= upper_bound)]

复制代码

2.6 数据类型转换

在数据分析过程中，可能需要将数据转换为适当的类型：

2. # 查看数据类型
3. print(df.dtypes)
5. # 转换数据类型
6. df['column_name'] = df['column_name'].astype('int')  # 转换为整数类型
7. df['column_name'] = df['column_name'].astype('float')  # 转换为浮点数类型
8. df['column_name'] = df['column_name'].astype('str')  # 转换为字符串类型
9. df['column_name'] = pd.to_datetime(df['column_name'])  # 转换为日期时间类型

复制代码

2.7 数据标准化和归一化

标准化和归一化是数据预处理的重要步骤，可以使不同尺度的数据具有可比性：

2. from sklearn.preprocessing import StandardScaler, MinMaxScaler
4. # 标准化（Z-score标准化）
5. scaler = StandardScaler()
6. df_standardized = scaler.fit_transform(df[['numeric_column1', 'numeric_column2']])
8. # 归一化（Min-Max归一化）
9. min_max_scaler = MinMaxScaler()
10. df_normalized = min_max_scaler.fit_transform(df[['numeric_column1', 'numeric_column2']])

复制代码

3. 数据分析

数据清洗完成后，就可以进行数据分析了。Pandas提供了丰富的数据分析功能。

3.1 数据筛选和过滤

2. # 选择特定列
3. df_selected_columns = df[['column1', 'column2']]
5. # 基于条件筛选行
6. df_filtered = df[df['column_name'] > value]
8. # 多条件筛选
9. df_multi_condition = df[(df['column1'] > value1) & (df['column2'] < value2)]
11. # 使用query方法进行筛选
12. df_query = df.query('column_name > @value')
14. # 使用loc和iloc进行选择
15. # loc基于标签选择
16. df_loc = df.loc[df['column_name'] > value, ['column1', 'column2']]
18. # iloc基于位置选择
19. df_iloc = df.iloc[0:5, 0:2]

复制代码

3.2 数据排序

2. # 按单列排序
3. df_sorted = df.sort_values('column_name')
5. # 按多列排序
6. df_multi_sorted = df.sort_values(['column1', 'column2'], ascending=[True, False])
8. # 按索引排序
9. df_index_sorted = df.sort_index()

复制代码

3.3 数据分组和聚合

2. # 按单列分组并计算均值
3. df_grouped = df.groupby('column_name').mean()
5. # 按多列分组并应用多种聚合函数
6. df_multi_grouped = df.groupby(['column1', 'column2']).agg({'column3': 'mean', 'column4': 'sum'})
8. # 自定义聚合函数
9. def custom_function(x):
10.     return x.max() - x.min()
12. df_custom_agg = df.groupby('column_name').agg(custom_function)
14. # 使用pivot_table进行数据透视
15. df_pivot = pd.pivot_table(df, values='value_column', index='index_column', columns='column_column', aggfunc='mean')

复制代码

3.4 数据合并和连接

2. # 创建两个DataFrame用于演示
3. df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3, 4]})
4. df2 = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': [5, 6, 7, 8]})
6. # 内连接（inner join）
7. df_inner = pd.merge(df1, df2, on='key', how='inner')
9. # 左连接（left join）
10. df_left = pd.merge(df1, df2, on='key', how='left')
12. # 右连接（right join）
13. df_right = pd.merge(df1, df2, on='key', how='right')
15. # 外连接（outer join）
16. df_outer = pd.merge(df1, df2, on='key', how='outer')
18. # 纵向合并（concat）
19. df_concat = pd.concat([df1, df2], axis=0)
21. # 横向合并
22. df_concat_axis1 = pd.concat([df1, df2], axis=1)

复制代码

3.5 时间序列分析

Pandas提供了强大的时间序列分析功能：

2. # 创建时间序列数据
3. dates = pd.date_range('20230101', periods=6)
4. df_time = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
6. # 重采样
7. # 按月重采样并计算均值
8. df_resampled_month = df_time.resample('M').mean()
10. # 按季度重采样并计算和
11. df_resampled_quarter = df_time.resample('Q').sum()
13. # 滚动窗口计算
14. # 3天滚动窗口均值
15. df_rolling = df_time.rolling(window=3).mean()
17. # 时间偏移
18. df_shifted = df_time.shift(2)  # 向前偏移2个单位
19. df_shifted_back = df_time.shift(-2)  # 向后偏移2个单位

复制代码

4. 数据可视化

数据可视化是数据分析的重要环节，可以帮助我们更直观地理解数据。Pandas与Matplotlib和Seaborn等可视化库结合使用，可以创建各种类型的图表。

4.1 基本绘图

2. import matplotlib.pyplot as plt
4. # 设置中文字体
5. plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
6. plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
8. # 线图
9. df['column_name'].plot(kind='line', figsize=(10, 6))
10. plt.title('线图示例')
11. plt.xlabel('X轴')
12. plt.ylabel('Y轴')
13. plt.show()
15. # 柱状图
16. df['column_name'].value_counts().plot(kind='bar', figsize=(10, 6))
17. plt.title('柱状图示例')
18. plt.xlabel('类别')
19. plt.ylabel('数量')
20. plt.show()
22. # 饼图
23. df['column_name'].value_counts().plot(kind='pie', figsize=(10, 6), autopct='%1.1f%%')
24. plt.title('饼图示例')
25. plt.axis('equal')  # 使饼图呈圆形
26. plt.show()
28. # 散点图
29. df.plot(kind='scatter', x='column1', y='column2', figsize=(10, 6))
30. plt.title('散点图示例')
31. plt.show()
33. # 直方图
34. df['column_name'].plot(kind='hist', bins=20, figsize=(10, 6))
35. plt.title('直方图示例')
36. plt.xlabel('值')
37. plt.ylabel('频数')
38. plt.show()
40. # 箱线图
41. df.plot(kind='box', figsize=(10, 6))
42. plt.title('箱线图示例')
43. plt.show()

复制代码

4.2 高级可视化

2. import seaborn as sns
4. # 热力图
5. plt.figure(figsize=(10, 8))
6. sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
7. plt.title('相关性热力图')
8. plt.show()
10. # 成对关系图
11. sns.pairplot(df[['column1', 'column2', 'column3']])
12. plt.suptitle('成对关系图', y=1.02)
13. plt.show()
15. # 小提琴图
16. plt.figure(figsize=(10, 6))
17. sns.violinplot(x='categorical_column', y='numeric_column', data=df)
18. plt.title('小提琴图示例')
19. plt.show()
21. # 联合分布图
22. sns.jointplot(x='column1', y='column2', data=df, kind='scatter')
23. plt.suptitle('联合分布图示例', y=1.02)
24. plt.show()

复制代码

5. 报表生成

数据分析完成后，需要将结果以报表的形式呈现。Pandas提供了多种报表生成方法。

5.1 基本报表输出

2. # 输出为CSV文件
3. df.to_csv('report.csv', index=False)
5. # 输出为Excel文件
6. df.to_excel('report.xlsx', index=False)
8. # 输出为HTML文件
9. html_table = df.to_html()
10. with open('report.html', 'w') as f:
11.     f.write(html_table)

复制代码

5.2 使用Pandas Profiling生成数据报告

Pandas Profiling是一个强大的工具，可以生成详细的数据分析报告：

2. # 安装pandas-profiling
3. # pip install pandas-profiling
5. from pandas_profiling import ProfileReport
7. # 生成报告
8. profile = ProfileReport(df, title='数据分析报告', explorative=True)
10. # 保存报告为HTML文件
11. profile.to_file('data_analysis_report.html')

复制代码

5.3 使用Jupyter Notebook创建交互式报表

Jupyter Notebook是一个交互式计算环境，非常适合创建数据分析报表：

2. # 在Jupyter Notebook中，可以使用以下代码创建交互式报表
4. # 安装ipywidgets
5. # pip install ipywidgets
7. from ipywidgets import interact
9. @interact(column=df.columns)
10. def plot_histogram(column):
11.     df[column].plot(kind='hist', bins=20)
12.     plt.title(f'{column}的直方图')
13.     plt.xlabel(column)
14.     plt.ylabel('频数')
15.     plt.show()
17. @interact(column1=df.columns, column2=df.columns)
18. def plot_scatter(column1, column2):
19.     df.plot(kind='scatter', x=column1, y=column2)
20.     plt.title(f'{column1}与{column2}的散点图')
21.     plt.show()

复制代码

5.4 使用Dash创建Web应用报表

Dash是一个基于Python的Web应用框架，可以创建交互式数据可视化应用：

2. # 安装dash
3. # pip install dash
5. import dash
6. import dash_core_components as dcc
7. import dash_html_components as html
8. from dash.dependencies import Input, Output
10. # 创建Dash应用
11. app = dash.Dash(__name__)
13. # 定义应用布局
14. app.layout = html.Div([
15.     html.H1("数据分析仪表板"),
16.    
17.     dcc.Dropdown(
18.         id='dropdown',
19.         options=[{'label': i, 'value': i} for i in df.columns],
20.         value=df.columns[0]
21.     ),
22.    
23.     dcc.Graph(id='graph')
24. ])
26. # 定义回调函数
27. @app.callback(
28.     Output('graph', 'figure'),
29.     [Input('dropdown', 'value')]
30. )
31. def update_graph(selected_column):
32.     return {
33.         'data': [
34.             {'x': df.index, 'y': df[selected_column], 'type': 'line', 'name': selected_column}
35.         ],
36.         'layout': {
37.             'title': f'{selected_column}的趋势图'
38.         }
39.     }
41. # 运行应用
42. if __name__ == '__main__':
43.     app.run_server(debug=True)

复制代码

5.5 使用OpenPyXL和XlsxWriter创建格式化Excel报表

OpenPyXL和XlsxWriter是两个强大的Python库，可以创建格式化的Excel报表：

2. # 安装openpyxl和xlsxwriter
3. # pip install openpyxl xlsxwriter
5. # 使用OpenPyXL创建格式化Excel报表
6. from openpyxl import Workbook
7. from openpyxl.styles import Font, Alignment, PatternFill, Border, Side
8. from openpyxl.utils import get_column_letter
10. # 创建工作簿
11. wb = Workbook()
12. ws = wb.active
13. ws.title = "数据分析报告"
15. # 写入标题
16. ws['A1'] = "数据分析报告"
17. ws['A1'].font = Font(size=16, bold=True)
18. ws['A1'].alignment = Alignment(horizontal='center')
20. # 写入数据
21. for r_idx, row in enumerate(df.values, 2):
22.     for c_idx, value in enumerate(row, 1):
23.         ws.cell(row=r_idx, column=c_idx, value=value)
25. # 设置列宽
26. for col in range(1, len(df.columns) + 1):
27.     ws.column_dimensions[get_column_letter(col)].width = 15
29. # 添加边框
30. thin_border = Border(left=Side(style='thin'),
31.                      right=Side(style='thin'),
32.                      top=Side(style='thin'),
33.                      bottom=Side(style='thin'))
35. for row in ws.iter_rows():
36.     for cell in row:
37.         cell.border = thin_border
39. # 保存工作簿
40. wb.save('formatted_report.xlsx')
42. # 使用XlsxWriter创建格式化Excel报表
43. writer = pd.ExcelWriter('formatted_report_xlsxwriter.xlsx', engine='xlsxwriter')
45. # 将DataFrame写入Excel
46. df.to_excel(writer, sheet_name='Sheet1', index=False)
48. # 获取XlsxWriter对象
49. workbook = writer.book
50. worksheet = writer.sheets['Sheet1']
52. # 添加格式
53. header_format = workbook.add_format({
54.     'bold': True,
55.     'text_wrap': True,
56.     'valign': 'top',
57.     'fg_color': '#D7E4BC',
58.     'border': 1
59. })
61. # 写入标题
62. for col_num, value in enumerate(df.columns.values):
63.     worksheet.write(0, col_num + 1, value, header_format)
65. # 设置列宽
66. worksheet.set_column('A:Z', 15)
68. # 添加图表
69. chart = workbook.add_chart({'type': 'column'})
71. # 配置图表数据
72. for col_num in range(1, len(df.columns) + 1):
73.     chart.add_series({
74.         'name': ['Sheet1', 0, col_num],
75.         'categories': ['Sheet1', 1, 0, len(df), 0],
76.         'values': ['Sheet1', 1, col_num, len(df), col_num],
77.     })
79. # 添加图表标题和样式
80. chart.set_title({'name': '数据分析图表'})
81. chart.set_x_axis({'name': '类别'})
82. chart.set_y_axis({'name': '值'})
84. # 插入图表
85. worksheet.insert_chart('G2', chart)
87. # 保存Excel文件
88. writer.save()

复制代码

6. 完整案例分析

现在，让我们通过一个完整的案例来演示从数据清洗到报表生成的全流程。

6.1 案例背景

假设我们有一份销售数据，包含日期、产品类别、销售地区、销售额等信息。我们的目标是分析销售趋势，找出最畅销的产品类别和地区，并生成一份精美的报表。

6.2 数据加载和初步探索

2. import pandas as pd
3. import numpy as np
4. import matplotlib.pyplot as plt
5. import seaborn as sns
7. # 创建模拟数据
8. np.random.seed(42)
9. dates = pd.date_range('20230101', periods=365)
10. categories = ['电子产品', '服装', '食品', '家居', '图书']
11. regions = ['华东', '华南', '华北', '西南', '东北']
13. data = {
14.     '日期': np.random.choice(dates, 1000),
15.     '产品类别': np.random.choice(categories, 1000),
16.     '销售地区': np.random.choice(regions, 1000),
17.     '销售额': np.random.randint(100, 10000, 1000),
18.     '销售数量': np.random.randint(1, 100, 1000)
19. }
21. df = pd.DataFrame(data)
23. # 添加一些缺失值
24. for col in ['销售额', '销售数量']:
25.     df.loc[df.sample(frac=0.05).index, col] = np.nan
27. # 添加一些重复行
28. df = pd.concat([df, df.sample(20)], ignore_index=True)
30. # 保存数据
31. df.to_csv('sales_data.csv', index=False)
33. # 加载数据
34. df = pd.read_csv('sales_data.csv')
36. # 初步探索数据
37. print("数据形状:", df.shape)
38. print("\n数据前5行:")
39. print(df.head())
40. print("\n数据类型:")
41. print(df.dtypes)
42. print("\n缺失值统计:")
43. print(df.isnull().sum())
44. print("\n重复行数:", df.duplicated().sum())
45. print("\n描述性统计:")
46. print(df.describe())

复制代码

6.3 数据清洗

2. # 转换日期列
3. df['日期'] = pd.to_datetime(df['日期'])
5. # 删除重复行
6. df = df.drop_duplicates()
8. # 处理缺失值
9. # 用中位数填充销售额的缺失值
10. median_sales = df['销售额'].median()
11. df['销售额'].fillna(median_sales, inplace=True)
13. # 用均值填充销售数量的缺失值
14. mean_quantity = df['销售数量'].mean()
15. df['销售数量'].fillna(mean_quantity, inplace=True)
17. # 添加新列：单价
18. df['单价'] = df['销售额'] / df['销售数量']
20. # 添加年、月、日列
21. df['年'] = df['日期'].dt.year
22. df['月'] = df['日期'].dt.month
23. df['日'] = df['日期'].dt.day
25. # 添加星期列
26. df['星期'] = df['日期'].dt.day_name()
28. # 检查清洗后的数据
29. print("清洗后的数据形状:", df.shape)
30. print("\n清洗后的缺失值统计:")
31. print(df.isnull().sum())
32. print("\n清洗后的数据前5行:")
33. print(df.head())

复制代码

6.4 数据分析

2. # 按产品类别分析销售额
3. category_sales = df.groupby('产品类别')['销售额'].sum().sort_values(ascending=False)
4. print("\n各产品类别销售额:")
5. print(category_sales)
7. # 按地区分析销售额
8. region_sales = df.groupby('销售地区')['销售额'].sum().sort_values(ascending=False)
9. print("\n各地区销售额:")
10. print(region_sales)
12. # 按月分析销售额趋势
13. df['年月'] = df['日期'].dt.to_period('M')
14. monthly_sales = df.groupby('年月')['销售额'].sum()
15. print("\n月度销售额趋势:")
16. print(monthly_sales)
18. # 分析各产品类别在各地区的销售情况
19. category_region_sales = df.pivot_table(
20.     values='销售额',
21.     index='产品类别',
22.     columns='销售地区',
23.     aggfunc='sum',
24.     fill_value=0
25. )
26. print("\n各产品类别在各地区的销售额:")
27. print(category_region_sales)
29. # 分析星期几的销售情况
30. weekday_sales = df.groupby('星期')['销售额'].mean()
31. print("\n星期几的平均销售额:")
32. print(weekday_sales)
34. # 计算各产品类别的销售数量占比
35. category_quantity = df.groupby('产品类别')['销售数量'].sum()
36. category_quantity_pct = category_quantity / category_quantity.sum() * 100
37. print("\n各产品类别销售数量占比:")
38. print(category_quantity_pct)

复制代码

6.5 数据可视化

2. # 设置中文字体
3. plt.rcParams['font.sans-serif'] = ['SimHei']
4. plt.rcParams['axes.unicode_minus'] = False
6. # 创建一个图形，包含多个子图
7. fig = plt.figure(figsize=(20, 15))
9. # 1. 各产品类别销售额柱状图
10. ax1 = fig.add_subplot(2, 3, 1)
11. category_sales.plot(kind='bar', ax=ax1, color='skyblue')
12. ax1.set_title('各产品类别销售额')
13. ax1.set_xlabel('产品类别')
14. ax1.set_ylabel('销售额')
15. ax1.tick_params(axis='x', rotation=45)
17. # 2. 各地区销售额饼图
18. ax2 = fig.add_subplot(2, 3, 2)
19. region_sales.plot(kind='pie', ax=ax2, autopct='%1.1f%%', startangle=90)
20. ax2.set_title('各地区销售额占比')
21. ax2.set_ylabel('')
23. # 3. 月度销售额趋势线图
24. ax3 = fig.add_subplot(2, 3, 3)
25. monthly_sales.plot(kind='line', ax=ax3, marker='o', color='green')
26. ax3.set_title('月度销售额趋势')
27. ax3.set_xlabel('年月')
28. ax3.set_ylabel('销售额')
29. ax3.tick_params(axis='x', rotation=45)
31. # 4. 各产品类别在各地区的销售额热力图
32. ax4 = fig.add_subplot(2, 3, 4)
33. sns.heatmap(category_region_sales, annot=True, fmt='.0f', cmap='YlGnBu', ax=ax4)
34. ax4.set_title('各产品类别在各地区的销售额')
36. # 5. 星期几的平均销售额柱状图
37. ax5 = fig.add_subplot(2, 3, 5)
38. weekday_sales = weekday_sales.reindex(['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday'])
39. weekday_sales.plot(kind='bar', ax=ax5, color='orange')
40. ax5.set_title('星期几的平均销售额')
41. ax5.set_xlabel('星期')
42. ax5.set_ylabel('平均销售额')
43. ax5.tick_params(axis='x', rotation=45)
45. # 6. 各产品类别销售数量占比饼图
46. ax6 = fig.add_subplot(2, 3, 6)
47. category_quantity_pct.plot(kind='pie', ax=ax6, autopct='%1.1f%%', startangle=90)
48. ax6.set_title('各产品类别销售数量占比')
49. ax6.set_ylabel('')
51. plt.tight_layout()
52. plt.savefig('sales_analysis.png', dpi=300)
53. plt.show()

复制代码

6.6 生成报表

2. # 创建Excel报表
3. writer = pd.ExcelWriter('sales_report.xlsx', engine='xlsxwriter')
5. # 将原始数据写入第一个工作表
6. df.to_excel(writer, sheet_name='原始数据', index=False)
8. # 将各产品类别销售额写入第二个工作表
9. category_sales.to_excel(writer, sheet_name='产品类别销售额')
11. # 将各地区销售额写入第三个工作表
12. region_sales.to_excel(writer, sheet_name='地区销售额')
14. # 将月度销售额趋势写入第四个工作表
15. monthly_sales.to_excel(writer, sheet_name='月度销售额趋势')
17. # 将各产品类别在各地区的销售额写入第五个工作表
18. category_region_sales.to_excel(writer, sheet_name='产品-地区销售额')
20. # 将星期几的平均销售额写入第六个工作表
21. weekday_sales.to_excel(writer, sheet_name='星期销售额')
23. # 获取XlsxWriter对象
24. workbook = writer.book
26. # 添加格式
27. header_format = workbook.add_format({
28.     'bold': True,
29.     'text_wrap': True,
30.     'valign': 'top',
31.     'fg_color': '#D7E4BC',
32.     'border': 1
33. })
35. # 为每个工作表添加格式
36. for sheetname in writer.sheets:
37.     worksheet = writer.sheets[sheetname]
38.    
39.     # 设置列宽
40.     if sheetname == '原始数据':
41.         worksheet.set_column('A:F', 15)
42.     else:
43.         worksheet.set_column('A:B', 15)
44.    
45.     # 添加标题格式
46.     for col_num, value in enumerate(pd.read_excel('sales_report.xlsx', sheet_name=sheetname).columns.values):
47.         worksheet.write(0, col_num, value, header_format)
49. # 创建摘要工作表
50. worksheet_summary = workbook.add_worksheet('数据分析摘要')
52. # 添加摘要标题
53. worksheet_summary.write('A1', '销售数据分析报告', workbook.add_format({'bold': True, 'font_size': 16}))
55. # 添加摘要内容
56. summary_data = [
57.     ['总销售额', df['销售额'].sum()],
58.     ['平均销售额', df['销售额'].mean()],
59.     ['总销售数量', df['销售数量'].sum()],
60.     ['平均销售数量', df['销售数量'].mean()],
61.     ['最畅销产品类别', category_sales.index[0]],
62.     ['销售额最高地区', region_sales.index[0]],
63.     ['销售额最高月份', monthly_sales.idxmax()]
64. ]
66. for row_num, row_data in enumerate(summary_data, 3):
67.     worksheet_summary.write(row_num, 0, row_data[0])
68.     worksheet_summary.write(row_num, 1, row_data[1])
70. # 添加图表
71. # 1. 各产品类别销售额柱状图
72. chart1 = workbook.add_chart({'type': 'column'})
74. for i in range(len(category_sales)):
75.     chart1.add_series({
76.         'name': f"'{category_sales.name}'",
77.         'categories': [f"'{category_sales.name}'", 1, 0, len(category_sales), 0],
78.         'values': [f"'{category_sales.name}'", 1, i+1, len(category_sales), i+1],
79.     })
81. chart1.set_title({'name': '各产品类别销售额'})
82. chart1.set_x_axis({'name': '产品类别'})
83. chart1.set_y_axis({'name': '销售额'})
84. worksheet_summary.insert_chart('D2', chart1)
86. # 2. 各地区销售额饼图
87. chart2 = workbook.add_chart({'type': 'pie'})
89. chart2.add_series({
90.     'name': '地区销售额',
91.     'categories': [f"'{region_sales.name}'", 1, 0, len(region_sales), 0],
92.     'values': [f"'{region_sales.name}'", 1, 1, len(region_sales), 1],
93. })
95. chart2.set_title({'name': '各地区销售额占比'})
96. worksheet_summary.insert_chart('D18', chart2)
98. # 3. 月度销售额趋势线图
99. chart3 = workbook.add_chart({'type': 'line'})
101. chart3.add_series({
102.     'name': '月度销售额',
103.     'categories': [f"'{monthly_sales.name}'", 1, 0, len(monthly_sales), 0],
104.     'values': [f"'{monthly_sales.name}'", 1, 1, len(monthly_sales), 1],
105.     'marker': {'type': 'circle'},
106. })
108. chart3.set_title({'name': '月度销售额趋势'})
109. chart3.set_x_axis({'name': '年月'})
110. chart3.set_y_axis({'name': '销售额'})
111. worksheet_summary.insert_chart('D34', chart3)
113. # 保存Excel文件
114. writer.save()
116. # 生成HTML报告
117. html_report = f"""
118. <!DOCTYPE html>
119. <html>
120. <head>
121.     <title>销售数据分析报告</title>
122.     <style>
123.         body {{
124.             font-family: Arial, sans-serif;
125.             margin: 20px;
126.         }}
127.         h1 {{
128.             color: #333366;
129.             text-align: center;
130.         }}
131.         h2 {{
132.             color: #333366;
133.         }}
134.         table {{
135.             border-collapse: collapse;
136.             width: 100%;
137.             margin-bottom: 20px;
138.         }}
139.         th, td {{
140.             border: 1px solid #ddd;
141.             padding: 8px;
142.             text-align: left;
143.         }}
144.         th {{
145.             background-color: #f2f2f2;
146.         }}
147.         img {{
148.             max-width: 100%;
149.             height: auto;
150.         }}
151.         .summary {{
152.             background-color: #f9f9f9;
153.             padding: 15px;
154.             border-radius: 5px;
155.             margin-bottom: 20px;
156.         }}
157.         .summary-item {{
158.             margin-bottom: 10px;
159.         }}
160.     </style>
161. </head>
162. <body>
163.     <h1>销售数据分析报告</h1>
164.    
165.     <div class="summary">
166.         <h2>数据分析摘要</h2>
167.         <div class="summary-item"><strong>总销售额:</strong> {df['销售额'].sum():,.2f}</div>
168.         <div class="summary-item"><strong>平均销售额:</strong> {df['销售额'].mean():,.2f}</div>
169.         <div class="summary-item"><strong>总销售数量:</strong> {df['销售数量'].sum():,}</div>
170.         <div class="summary-item"><strong>平均销售数量:</strong> {df['销售数量'].mean():,.2f}</div>
171.         <div class="summary-item"><strong>最畅销产品类别:</strong> {category_sales.index[0]}</div>
172.         <div class="summary-item"><strong>销售额最高地区:</strong> {region_sales.index[0]}</div>
173.         <div class="summary-item"><strong>销售额最高月份:</strong> {monthly_sales.idxmax()}</div>
174.     </div>
175.    
176.     <h2>各产品类别销售额</h2>
177.     {category_sales.to_frame().to_html()}
178.    
179.     <h2>各地区销售额</h2>
180.     {region_sales.to_frame().to_html()}
181.    
182.     <h2>月度销售额趋势</h2>
183.     {monthly_sales.to_frame().to_html()}
184.    
185.     <h2>各产品类别在各地区的销售额</h2>
186.     {category_region_sales.to_html()}
187.    
188.     <h2>星期几的平均销售额</h2>
189.     {weekday_sales.to_frame().to_html()}
190.    
191.     <h2>数据可视化</h2>
192.     <img src="sales_analysis.png" alt="销售数据分析图表">
193. </body>
194. </html>
195. """
197. # 保存HTML报告
198. with open('sales_report.html', 'w', encoding='utf-8') as f:
199.     f.write(html_report)
201. print("报表生成完成！已生成Excel报表和HTML报表。")

复制代码

7. 总结与展望

本文详细介绍了如何利用Python pandas库从数据清洗到生成精美报表的全流程。通过学习本文，读者应该能够：

1. 熟练使用pandas进行数据加载、清洗和转换；
2. 掌握pandas的数据分析功能，包括筛选、分组、聚合等；
3. 学会使用pandas结合其他库进行数据可视化；
4. 能够生成各种格式的报表，包括CSV、Excel、HTML等。

随着数据科学和人工智能的发展，数据分析技能变得越来越重要。Pandas作为Python数据分析的核心库，其功能也在不断完善和扩展。未来，我们可以期待pandas在以下方面有更多的发展：

1. 性能优化：处理更大规模的数据集，提高计算效率；
2. 更丰富的可视化功能：集成更多高级可视化功能；
3. 更好的互操作性：与其他数据处理工具和平台的更好集成；
4. 更智能的数据清洗：利用机器学习技术自动化数据清洗过程。

通过不断学习和实践，我们可以更好地利用pandas进行数据分析，为决策提供更有力的支持。

8. 参考资源

1. Pandas官方文档:https://pandas.pydata.org/docs/
2. Python数据科学手册:https://jakevdp.github.io/PythonDataScienceHandbook/
3. 利用Python进行数据分析:https://github.com/wesm/pydata-book
4. Matplotlib官方文档:https://matplotlib.org/stable/contents.html
5. Seaborn官方文档:https://seaborn.pydata.org/
6. Dash官方文档:https://dash.plotly.com/

希望本文能够帮助读者快速掌握高效的数据分析技能，利用Python pandas库轻松实现数据报表输出。如果有任何问题或建议，欢迎交流讨论。

版权声明

1、转载或引用本网站内容(利用Python pandas库轻松实现数据报表输出从数据清洗到精美报表全流程解析让你快速掌握高效数据分析技能)须注明原网址及作者(威震华夏关云长)，并标明本网站网址(https://pixtech.cc/)。

2、对于不当转载或引用本网站内容而引起的民事纷争、行政处理或其他损失，本网站不承担责任。

3、对不遵守本声明或其他违法、恶意使用本网站内容者，本网站保留追究其法律责任的权利。

本文地址: https://pixtech.cc/thread-39457-1-1.html