|
|
51CTO旗下网站
|
|
移动端

如何用Python在工作中“偷懒”?

有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高?要知道,企业对一个员工的评价是出于“产出”而非“付出”。所以,如果把大量时间花在机械重复的工作上,不但工作效率不高,对个人发展来说也无甚帮助。

作者:CDA数据分析师来源:今日头条|2019-12-11 15:21

有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高?

要知道,企业对一个员工的评价是出于“产出”而非“付出”。所以,如果把大量时间花在机械重复的工作上,不但工作效率不高,对个人发展来说也无甚帮助。

而这些工作,如果对于会点编程的人来说,往往通过几行代码就可以快速搞定了。

于是,我去了解了一下身边不同岗位(HR、产品、运营、市场、数据分析师等)每天需要面对的重复性劳动(肯定会有不全,欢迎补充~),总结了一些在工作中非常常见的例子,并且将源码整理好供参考。希望这些程序可以让你的工作更高效!(升职加薪了别忘了回来发红包哦~)

那么如何将这些统统实现呢?

我将这些分为以下几类,大家可以自行评估,各取所需:

如何用python在工作中“偷懒”?

系统录入自动化

由于你经常需要不断的将一些信息录入系统,每一次录入的过程中你可能需要不断的点击一些按钮,面对这种情况,完全可以写一个自动脚本,每次代替你来执行这些点击的行为。

如何用python在工作中“偷懒”?

这里我们需要用到splinter:

  1. pip install splinter 

这里写了一个自动登录邮箱的脚本,可以实现文本输入和网页点击:

  1. #coding=utf-8 
  2. import time 
  3. from splinter import Browser 
  4.  
  5. def splinter(url): 
  6.  browser = Browser() 
  7.  #login 126 email websize 
  8.  browser.visit(url) 
  9.  #wait web element loading 
  10.  time.sleep(5) 
  11.  #fill in account and password 
  12.  browser.find_by_id('idInput').fill('xxxxxx'
  13.  browser.find_by_id('pwdInput').fill('xxxxx'
  14.  #click the button of login 
  15.  browser.find_by_id('loginBtn').click() 
  16.  time.sleep(8) 
  17.  #close the window of brower 
  18.  browser.quit() 
  19.  
  20. if __name__ == '__main__'
  21.  websize = 'https://mail.163.com/' 
  22.  splinter(websize) 

同理可以写一个简单的游戏挂机脚本,游戏挂机脚本,无非就是自动移动鼠标,自动点击,进行重复操作,所以,第一步就是如何控制鼠标。

  1. import win32api 
  2. import time 
  3. def move_click(x, y, t=0): # 移动鼠标并点击左键 
  4.  win32api.SetCursorPos((x, y)) # 设置鼠标位置(x, y) 
  5.  win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN | 
  6.  win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0) # 点击鼠标左键 
  7.  if t == 0: 
  8.  time.sleep(random.random()*2+1) # sleep一下 
  9.  else
  10.  time.sleep(t) 
  11.  return 0 
  12. # 测试 
  13. move_click(30, 30) 
  14.  
  15. def resolution(): # 获取屏幕分辨率 
  16.  return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1) 

值得注意的是,一定要在管理员权限下的cmd中运行,否则点击无效。

这个时候,你已经可以写个循环,不停地点击屏幕上不同的几个点,最基础的挂机脚本就实现了。

Excel自动化处理

Excel合并

在实际应用中可能会有不同月份的数据或者不同周的报告等等的Excel数据,都是单个独立的文件,如果想要整体使用的话就需要合并一下,那么如何利用python把指定目录下的所有Excel数据合并成一个文件呢?

如何用python在工作中“偷懒”?

思路:利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中。

  1. # -*- coding: utf-8 -*- 
  2.  
  3. #将多个Excel文件合并成一个 
  4. import xlrd 
  5. import xlsxwriter 
  6.  
  7. #获取excel中所有的sheet表 
  8. def getsheet(fh): 
  9.  return fh.sheets() 
  10.  
  11. #获取sheet表的行数 
  12. def getnrows(fh,sheet): 
  13.  table=fh.sheets()[sheet] 
  14.  return table.nrows 
  15.  
  16. #读取文件内容并返回行内容 
  17. def getFilect(file,shnum): 
  18.  fh=open_xls(file) 
  19.  table=fh.sheets()[shnum] 
  20.  num=table.nrows 
  21.  for row in range(num): 
  22.  rdata=table.row_values(row) 
  23.  datavalue.append(rdata) 
  24.  return datavalue 

或者直接用concat+一个循环来实现:

  1. for i in var_list: 
  2.  df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息'
  3.  df_0['month'] = date_replace(i) 
  4.  df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']] 
  5.  li.append(df_0) 
  6.  
  7. writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx'
  8. df = pd.concat(li) 
  9. df.to_excel(writer,'Sheet1',index=False,header = None) 
  10. df 

Excel中添加数据图表整理好excel文件后下一步需要做的是处理文件里的数据,根据数据来生成一些自己需要的图表:

  1. import xlsxwriter 
  2.  
  3. #设置一个例子 
  4. data = [20, 45, 26, 18, 45] 
  5.  
  6. #创建表格 
  7. workbook = xlsxwriter.Workbook("temp.xlsx"
  8. worksheet = workbook.add_worksheet("data"
  9.  
  10. #添加数据 
  11. worksheet.write_column('A1', data) 
  12.  
  13. #创建图表 
  14. chart = workbook.add_chart({'type''line'}) 
  15.  
  16. #图表添加数据 
  17. chart.add_series({ 
  18.  'values''=data!$A1:$A6'
  19.  'name''图表名称'
  20.  'marker': { 
  21.  'type''circle'
  22.  'size': 8, 
  23.  'border': {'color''black'}, 
  24.  'fill': {'color''red'
  25.  } , 
  26.  'data_labels': {'values'True}, 
  27.  'trendline': { 
  28.  'type''polynomial'
  29.  'order': 2, 
  30.  'name''趋势线'
  31.  'forward': 0.5, 
  32.  'backward': 0.5, 
  33.  'display_equation':True
  34.  'line': {'color''red''width':1, 'dash_type''long_dash'
  35.  } 
  36. }) 
  37.  
  38. worksheet.insert_chart('c1', chart) 
  39. workbook.close() 
如何用python在工作中“偷懒”?

实现效果:

如何用python在工作中“偷懒”?

word关键信息提取

假设你收到1万份简历,你想先根据学校做一些筛选,这时候利用python将大量的简历进行信息汇总,只提取关键信息用excel查看起来更加方便。

如何用python在工作中“偷懒”?

docx文件自己本身是压缩文件,打开压缩包之后竟然发现里面有个专门存储word里面文本的文件。 那么步骤就变得简单了:1. 打开docx的压缩包2. 获取word里面的正文信息3. 利用正则表达式匹配出我们想要的信息4. 将信息存储到txt中(txt可以用excel打开)5. 批量调用上述过程,完成一万份简历的提取工作利用正则匹配获取关键信息:

  1. import re 
  2. def get_field_value(text): 
  3.  value_list = [] 
  4.  m = re.findall(r"姓 名(.*?)性 别"table
  5.  value_list.append(m) 
  6.  m = re.findall(r"性 别(.*?)学 历"table
  7.  value_list.append(m) 
  8.  m = re.findall(r"民 族(.*?)健康状况"table
  9.  value_list.append(m)  
  10.  ''
  11.  此处省略其他字段匹配 
  12.  ''
  13.  return value_list 

自动化运营监控

在平时的工作中,一定会有对运营情况的监控,假设你管理一家店铺,那么一些关键指标肯定是你需要每天查看到的,比如店铺访问数,商品浏览数,下单数等等,这个时候不用每天重复地去统计这些数据,这需要写一个自动化程序,每天将数据保存在固定的文件夹下就可以实现报表的实时监控。

如何用python在工作中“偷懒”?

如果你的数据来源是线下文件:

  1. 利用python操作线下文件将其载入数据库
  2. 通过数据库对数据进行处理
  3. 利用python输出结果
  1. from impala.dbapi import connect 
  2. from impala.util import as_pandas 
  3. import datetime 
  4.  
  5. conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password'
  6. #host:数据库域名 
  7. #user:数据库用户名 
  8. #password:数据库密码 
  9. df_data = pd.read_excel('temp.xlsx'
  10.  
  11. rows =[] 
  12. for index, row in df_data.iterrows(): 
  13.  rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+','
  14.  a= ''
  15.  INSERT into table 
  16.  (case_id, birth_date) 
  17.  values ''
  18. for i in rows
  19.  a += i 
  20. a = a[:-1] 
  21.  
  22. cursor1 = conn.cursor() 
  23. cursor1.execute(a) 
  24. cursor1.close() 
  25. conn.close() 
  26. print('成功导入数据至数据库...'
  27. del a 
  28. del rows  

如果你的数据来源是线上文件(存在数据库)

  1. 直接利用python链接数据库进行一些列的操作
  2. 导出你所需要的结果
  1. import sql #sql是封装的sql文件 
  2. sql_end = sql.sql_end 
  3. cursor1 = conn.cursor() 
  4. for i in sql_end.split(';'): 
  5.  print(i) 
  6.  cursor1.execute(i) 
  7. cursor1.close() 
  8. conn.close() 
  9. print('程序运行结束,请执行下一步。'

自动发送邮件

使用Python实现自动化邮件发送,可以让你摆脱繁琐的重复性业务,节省非常多的时间。数据分析师经常会遇到一些取数需求,有些数据需求是每天都需要的,有些数据需求是每周一次的。对于这些周期性的数据需求,每次都重复性地手动导出这些数据,并回传给需求方,是很繁琐且浪费时间的。所以完全可以设置自动邮件来解决。"Talk is cheap, show you the code"常见的邮件肯定有三部分:1、正文2、图片3、附件OK导入我们需要用到的包

  1. from email.mime.text import MIMEText 
  2. from email.mime.multipart import MIMEMultipart 
  3. from email.mime.image import MIMEImage 
  4. import smtplib 
  5.  
  6. msg = MIMEMultipart() 
如何用python在工作中“偷懒”?

在邮件中插入正文:

  1. ##在邮件中插入文本信息  
  2. df_text='''<html> 
  3.  <body> 
  4.  <p> Hi all ,</p> 
  5.  <p> 这是一个测试邮件,详情请参考附件 </p> 
  6.  <p> 情况如下图: </p> 
  7.  </body></html>''
  8. msgtext = MIMEText(df_text, 'html''utf-8'
  9. msg.attach(msgtext) 

如果你需要插入图片,利用同样的方法,在邮件中插入图片:

  1. ##在邮件中插入图片信息 
  2. image = open('temp.jpg','rb'
  3. msgimage = MIMEImage(image.read()) 
  4. msg.attach(msgimage) 

在邮件中插入附件:

  1. ##在邮件添加附件 
  2. msgfile = MIMEText(open('temp.xlsx''rb').read(), 'base64''utf-8'
  3. msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"' 
  4. msg.attach(msgfile) 

剩下的就是设置一些邮件参数来发送邮件:

  1. #设置邮件信息常量 
  2. email_host= '' # 服务器地址 
  3. sender = '' # 发件人 
  4. password ='' # 密码,如果是授权码就填授权码 
  5. receiver = '' # 收件人 

发送邮件:

  1. try: 
  2.  smtp = smtplib.SMTP(host=email_host) 
  3.  smtp.connect(email_host) 
  4.  smtp.starttls() 
  5.  smtp.login(sender, password
  6.  smtp.sendmail(sender, receiver.split(',') , msg.as_string()) 
  7.  smtp.quit() 
  8.  print('发送成功'
  9. except Exception:  
  10.  print('发送失败'

然后将你的任务设置定时执行就可以轻松实现啦

实现效果:

如何用python在工作中“偷懒”?

平时的工作中,真的有太多可以去自动化的任务,由于经验受限这里不能一一举例说明,只能尽量分享一些我遇到过或者听说过的例子。希望大家都越来越高效,边偷懒边完成工作~

【编辑推荐】

  1. 如何把awk脚本移植到Python
  2. TIOBE 12 月榜单:Java, C, Python 和 C# 谁能获得年度编程语言称号?
  3. Python正则表达式急速入门
  4. 11月份Github上热门的Python项目
  5. 利用Python实现一个简单的系统监控图表
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

服务器选型从入门到实战

服务器选型从入门到实战

政务云规划设计实战
共16章 | 51CTOsummer

422人订阅学习

骨干网与数据中心建设案例

骨干网与数据中心建设案例

高级网工必会
共20章 | 捷哥CCIE

417人订阅学习

中间件安全防护攻略

中间件安全防护攻略

4类安全防护
共4章 | hack_man

157人订阅学习

读 书 +更多

J2EE应用开发(WebLogic+JBuilder)(第二版)

本书介绍如何将最流行的J2EE应用服务器WebLogic Server和最好的Java集成开发工具JBuilder结合起来开发J2EE应用,主要内容包括:WebLogic Se...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微