|
|
51CTO旗下网站
|
|
移动端

Python爬虫抓取智联招聘(基础版)

对于每个上班族来说,总要经历几次换工作,如何在网上挑到心仪的工作?如何提前为心仪工作的面试做准备?今天我们来抓取智联招聘的招聘信息,助你换工作成功!

作者:C与Python实战来源:程序人生|2018-04-20 17:25

对于每个上班族来说,总要经历几次换工作,如何在网上挑到心仪的工作?如何提前为心仪工作的面试做准备?今天我们来抓取智联招聘的招聘信息,助你换工作成功!

运行平台: Windows

Python版本: Python3.6

IDE: Sublime Text  

其他工具:  Chrome浏览器

1、网页分析

1.1 分析请求地址

以北京海淀区的python工程师为例进行网页分析。打开智联招聘首页,选择北京地区,在搜索框输入"python工程师",点击"搜工作":

接下来跳转到搜索结果页面,按"F12"打开开发者工具,然后在"热门地区"栏选择"海淀",我们看一下地址栏:

由地址栏后半部分searchresult.ashx?jl=北京&kw=python工程师&sm=0&isfilter=1&p=1&re=2005可以看出,我们要自己构造地址了。接下来要对开发者工具进行分析,按照如图所示步骤找到我们需要的数据:Request Headers和Query String Parameters :

构造请求地址:

  1. paras = {  
  2.    'jl''北京',                # 搜索城市  
  3.    'kw''python工程师',        # 搜索关键词   
  4.    'isadv': 0,                    # 是否打开更详细搜索选项  
  5.    'isfilter': 1,                # 是否对结果过滤  
  6.    'p': 1,                        # 页数  
  7.    're': 2005                    # region的缩写,地区,2005代表海淀  
  8.   
  9.  
  10. url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras) 

请求头:

  1. headers = {  
  2.    'User-Agent''Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' 
  3.    'Host''sou.zhaopin.com' 
  4.    'Referer''https://www.zhaopin.com/' 
  5.    'Accept''text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' 
  6.    'Accept-Encoding''gzip, deflate, br' 
  7.    'Accept-Language''zh-CN,zh;q=0.9' 
  8.  

1.2 分析有用数据

接下来我们要分析有用数据,从搜索结果中我们需要的数据有:职位名称、公司名称、公司详情页地址、职位月薪:

通过网页元素定位找到这几项在HTML文件中的位置,如下图所示:

用正则表达式对这四项内容进行提取:

  1. # 正则表达式进行解析  
  2. pattern = re.compile('<a style=.*? target="_blank">(.*?)</a>.*?'        # 匹配职位信息  
  3.    '<td class="gsmc"><a href="(.*?)" target="_blank">(.*?)</a>.*?'     # 匹配公司网址和公司名称  
  4.    '<td class="zwyx">(.*?)</td>', re.S)                                # 匹配月薪      
  5.  
  6.  
  7. # 匹配所有符合条件的内容  
  8. items = re.findall(pattern, html) 

注意:解析出来的部分职位名称带有标签,如下图所示:

那么在解析之后要对该数据进行处理剔除标签,用如下代码实现:

  1. for item in items:  
  2.    job_name = item[0]  
  3.    job_name = job_name.replace('<b>''' 
  4.    job_name = job_name.replace('</b>''' 
  5.    yield {  
  6.        'job': job_name,  
  7.        'website': item[1],  
  8.        'company': item[2],  
  9.        'salary': item[3]  
  10.    } 

2、写入文件

我们获取到的数据每个职位的信息项都相同,可以写到数据库中,但是本文选择了csv文件,以下为百度百科解释:

逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。

由于python内置了csv文件操作的库函数,所以很方便:

  1. import csv  
  2. def write_csv_headers(path, headers):  
  3.    '' 
  4.    写入表头  
  5.    '' 
  6.    with open(path, 'a', encoding='gb18030', newline=''as f:  
  7.        f_csv = csv.DictWriter(f, headers)  
  8.        f_csv.writeheader()  
  9.  
  10. def write_csv_rows(path, headers, rows):  
  11.    '' 
  12.    写入行  
  13.    '' 
  14.    with open(path, 'a', encoding='gb18030', newline=''as f: 
  15.        f_csv = csv.DictWriter(f, headers)  
  16.        f_csv.writerows(rows

3、进度显示

要想找到理想工作,一定要对更多的职位进行筛选,那么我们抓取的数据量一定很大,几十页、几百页甚至几千页,那么我们要掌握抓取进度心里才能更加踏实啊,所以要加入进度条显示功能。

本文选择tqdm 进行进度显示,来看一下酷炫结果(图片来源网络):

执行以下命令进行安装:pip install tqdm。

简单示例:

  1. from tqdm import tqdm  
  2. from time import sleep   
  3. for i in tqdm(range(1000)):  
  4.    sleep(0.01)

4、完整代码

以上是所有功能的分析,如下为完整代码:

  1. #-*- coding: utf-8 -*-  
  2. import re  
  3. import csv  
  4. import requests  
  5. from tqdm import tqdm  
  6. from urllib.parse import urlencode  
  7. from requests.exceptions import RequestException  
  8.  
  9. def get_one_page(city, keyword, region, page):  
  10.    '' 
  11.    获取网页html内容并返回  
  12.    '' 
  13.    paras = {  
  14.        'jl': city,         # 搜索城市  
  15.        'kw': keyword,      # 搜索关键词   
  16.        'isadv': 0,         # 是否打开更详细搜索选项  
  17.        'isfilter': 1,      # 是否对结果过滤  
  18.        'p': page,          # 页数  
  19.        're': region        # region的缩写,地区,2005代表海淀 
  20.    }  
  21.  
  22.    headers = {  
  23.        'User-Agent''Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' 
  24.        'Host''sou.zhaopin.com' 
  25.        'Referer''https://www.zhaopin.com/' 
  26.        'Accept''text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' 
  27.        'Accept-Encoding''gzip, deflate, br' 
  28.        'Accept-Language''zh-CN,zh;q=0.9'  
  29.    }  
  30.  
  31.    url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)  
  32.    try:  
  33.        # 获取网页内容,返回html数据  
  34.        response = requests.get(url, headers=headers)  
  35.        # 通过状态码判断是否获取成功  
  36.        if response.status_code == 200:  
  37.            return response.text  
  38.        return None  
  39.    except RequestException as e:  
  40.        return None   
  41.  
  42. def parse_one_page(html):  
  43.    '' 
  44.    解析HTML代码,提取有用信息并返回  
  45.    '' 
  46.    # 正则表达式进行解析  
  47.    pattern = re.compile('<a style=.*? target="_blank">(.*?)</a>.*?'        # 匹配职位信息  
  48.        '<td class="gsmc"><a href="(.*?)" target="_blank">(.*?)</a>.*?'     # 匹配公司网址和公司名称  
  49.        '<td class="zwyx">(.*?)</td>', re.S)                                # 匹配月薪        
  50.   
  51.    # 匹配所有符合条件的内容  
  52.    items = re.findall(pattern, html)      
  53.  
  54.    for item in items:  
  55.        job_name = item[0]  
  56.        job_name = job_name.replace('<b>''' 
  57.        job_name = job_name.replace('</b>''' 
  58.        yield {  
  59.            'job': job_name,  
  60.            'website': item[1],  
  61.            'company': item[2],  
  62.            'salary': item[3]  
  63.        }  
  64.  
  65. def write_csv_file(path, headers, rows):  
  66.    '' 
  67.    将表头和行写入csv文件  
  68.    '' 
  69.    # 加入encoding防止中文写入报错  
  70.    # newline参数防止每写入一行都多一个空行  
  71.    with open(path, 'a', encoding='gb18030', newline=''as f:  
  72.        f_csv = csv.DictWriter(f, headers)  
  73.        f_csv.writeheader()  
  74.        f_csv.writerows(rows 
  75.  
  76. def write_csv_headers(path, headers):  
  77.    '' 
  78.    写入表头  
  79.    '' 
  80.    with open(path, 'a', encoding='gb18030', newline=''as f:  
  81.        f_csv = csv.DictWriter(f, headers)  
  82.        f_csv.writeheader()  
  83.  
  84. def write_csv_rows(path, headers, rows):  
  85.    '' 
  86.    写入行  
  87.    '' 
  88.    with open(path, 'a', encoding='gb18030', newline=''as f:  
  89.        f_csv = csv.DictWriter(f, headers)  
  90.        f_csv.writerows(rows 
  91.  
  92. def main(city, keyword, region, pages):  
  93.    '' 
  94.    主函数  
  95.    '' 
  96.    filename = 'zl_' + city + '_' + keyword + '.csv'  
  97.    headers = ['job''website''company''salary' 
  98.    write_csv_headers(filename, headers)  
  99.    for i in tqdm(range(pages)):  
  100.        '' 
  101.        获取该页中所有职位信息,写入csv文件  
  102.        '' 
  103.        jobs = []  
  104.        html = get_one_page(city, keyword, region, i)  
  105.        items = parse_one_page(html)  
  106.        for item in items:  
  107.            jobs.append(item)  
  108.        write_csv_rows(filename, headers, jobs)   
  109.  
  110. if __name__ == '__main__' 
  111.    main('北京''python工程师', 2005, 10) 

上面代码执行效果如图所示:

执行完成后会在py同级文件夹下会生成名为:zl_北京_python工程师.csv的文件,打开之后效果如下:

【编辑推荐】

  1. 时薪10K的高级程序猿教你如何用Python一步步来搭建一个区块链
  2. Python从零基础到大佬,超详细知识点汇总,入门其实炒鸡简单!
  3. Anaconda、CPython以及更多:关于各Python发行版,我们需要了解的一切
  4. Python 推出新的 PyPI 网站,旧 PyPI 于 4 月 30 日关闭
  5. 初识Python: global关键字
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Fedora Core 5 Linux系统安装与管理

以Linux为代表的自由软件及其稳定性,逐渐在全世界崭露头角且备受重视。由于可以支持多种网络环境,因此在采用Linux系统之前,必须熟悉各种...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊