Pandas与SQL的超强结合,爆赞!

开发 后端
使用pandasql读取DataFrame中日期格式的列,默认会读取年月日、时分秒,因此我们要学会使用sqlite中的日期处理函数,方便我们转换日期格式,下方提供sqlite中常用函数大全,希望对你有帮助。

人生苦短,我学Python!

本文的所有演示数据,均是基于下方的四张表。下面这四张表大家应该不陌生,这就是网传50道经典MySQL面试题中使用到的几张原表。关于下方各表之间的关联关系,我就不给大家说明了,仔细观察字段名,应该就可以发现。

简介

pandas中的DataFrame是一个二维表格,数据库中的表也是一个二维表格,因此在pandas中使用sql语句就显得水到渠成,pandasql使用SQLite作为其操作数据库,同时Python自带SQLite模块,不需要安装,便可直接使用。

这里有一点需要注意的是:使用pandasql读取DataFrame中日期格式的列,默认会读取年月日、时分秒,因此我们要学会使用sqlite中的日期处理函数,方便我们转换日期格式,下方提供sqlite中常用函数大全,希望对你有帮助。

sqlite函数大全:http://suo.im/5DWraE

导入相关库:

import pandas as pd  
from pandasql import sqldf

声明全局变量的2种方式

  • 在使用之前,声明该全局变量;
  • 一次性声明好全局变量;

在使用之前,声明该全局变量

df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")
global df1
global df2
global df3
global df4
query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"
sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下:

一次性声明好全局变量

df1 = pd.read_excel("student.xlsx")  
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"
sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下:

写几个简单的SQL语句

查看sqlite的版本

student = pd.read_excel("student.xlsx")  
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select sqlite_version(*)
"""
pysqldf(query1)

结果如下:

where筛选

student = pd.read_excel("student.xlsx")  
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select *
from student
where strftime('%Y-%m-%d',sage) = '1990-01-01'
"""
pysqldf(query1)

结果如下:

多表连接

student = pd.read_excel("student.xlsx")  
sc = pd.read_excel("sc.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query2 = """
select *
from student s
join sc on s.sid = sc.sid
"""
pysqldf(query2)

部分结果如下:

分组聚合

student = pd.read_excel("student.xlsx")  
sc = pd.read_excel("sc.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query2 = """
select s.sname as 姓名,sum(sc.score) as 总分
from student s
join sc on s.sid = sc.sid
group by s.sname
"""
pysqldf(query2)

结果如下:

union查询

student = pd.read_excel("student.xlsx")  
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select *
from student
where strftime('%Y-%m',sage) = '1990-01'
union
select *
from student
where strftime('%Y-%m',sage) = '1990-12'
"""
pysqldf(query1)

结果如下:

责任编辑:庞桂玉 来源: 菜鸟学Python
相关推荐

2022-08-24 11:54:10

Pandas可视化

2021-12-24 10:45:19

PandasLambda数据分析

2022-07-21 09:08:51

Pandas可视化

2021-10-12 19:55:54

gRPC

2010-08-26 15:36:30

DHCP路由

2020-12-02 08:43:00

Flink SQLHBase场景

2023-12-10 14:06:04

数据库pythonduckdb

2011-11-25 13:14:16

2017-08-16 08:45:50

EVPNVXLAN网络

2010-12-14 11:30:11

2023-10-04 10:00:12

模型算法

2009-06-04 10:44:34

StrutsHibernate配合

2010-03-19 15:39:41

云计算

2011-03-07 16:10:41

FireFTPFirefoxFTP

2022-05-17 09:19:17

XebianLinuxLinux 发行版

2018-04-12 11:39:37

华为云

2009-06-23 17:54:41

OSGi与JSF

2016-07-20 11:40:00

云计算

2011-03-02 13:28:33

Vsftpd配置

2010-04-29 10:32:14

虚拟技术上海世博会
点赞
收藏

51CTO技术栈公众号