刘沙河
bigox
2021-03-22
目录

认识爬虫& request

# 1. anaconda 安装使用

埃纳康达

  • jupyter notbook 检测 anaconda 是否安装完成

  • 什么是Anaconda:

    • 是一个集成环境:基于数据分析和机器学习的集成开发环境

    • jupyter :超级终端,是anaconda集成环境中提供的一种基于浏览器的可视化开发工具

  • cdm: jupyter notbook 打开浏览器可视化工具,在哪打开根目录就是哪

  • cell

    • code模式:编写代码
    • makedown模式:编写笔记

  • 常用快捷键

    • 插入cell : a,b
    • 删除cell : x
    • 切换cell模式: y ,m
    • 执行cell : shift + enter
    • tab:自动补全
    • shift + table :打开帮助文档

# 2.http协议

  • 概念:

    • http:client和server进行数据交互的某种形式

    • https:

      • 安全的http协议

      • 使用证书密钥加密方式

        # 证书加密方式(面试):
1.对称密钥加密:...
2.非对称密钥加密: ...
3.证书密钥加密:...
        1
        2
        3
        4

  • 常用的请求头信息

    • User-Agent :请求载体的身份标识(请求载体很多种,例如浏览器和一段代码)
    • Connection
      • Connection :keep-alive (长连接)
      • Connection :close 结束后断开连接
    • content-type: text/json

# 3.爬虫相关概述

  • 爬虫 : 通过编写的程序模拟浏览器上网,然后让程序去互联网上抓取数据

  • 爬虫分类:

    • 通用爬虫:爬取一整张页面数据.
    • 聚焦爬虫: 爬取页面中局部的数据,一定是建立在通用爬虫的基础上
    • 增量式爬虫: 用来检测网站数据更新的情况,以便怕渠道网站最新更新的资源

  • 爬虫风险:

    • 技术无罪,合理使用
    • 干扰了被访问网站的正常运营
    • 抓取了守法律保护的数据或信息

  • 风险避免:

    • 严格遵守网站的robots协议;
      • robots.txt 文本协议:规定了资源是否可爬
    • 优化代码,避免对母体造成干扰
    • 抓取的内容不传播

# 4.反爬机制 & 反反爬策略

  • robots.txt 文本协议:规定了资源是否可爬

# 5.requests 模块

  • 概念 : 一个基于网络请求的模块.用来模拟浏览器发起请求.

  • requests 编码流程:

    • 环境安装 pip install request
    1. 指定url
    2. 进行请求的发送
    3. 获取响应数据
    4. 持久化的存储

# 6.简单爬虫案例

  1. # 爬取搜狗首页对应的页面源码数据
    import requests
#step_1
url = 'https://www.sogou.com'
#step_2:返回值是一个响应对象
response = requests.get(url=url)
#step_3:text返回的是字符串形式的响应数据
page_text = response.text
#step_4
with open('./sogou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
  2. # 基于搜狗编写一个简易的网页采集器
    #解决中文乱码&UA伪装
wd = input('enter a key:')
url = 'https://www.sogou.com/web'
#存储的就是动态的请求参数
params = {
    'query':wd
}

# 即将发起请求对应的头信息
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
}

#一定需要将params作用到请求中
#params参数表示的是对请求url参数的封装
#headers参数是用来实现UA伪装
response = requests.get(url=url,params=params,headers=headers)

#手动修改响应数据的编码
response.encoding = 'utf-8'

page_text = response.text
fileName = wd+'.html'
with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(wd,'下载成功!')
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26

  3. 爬取肯德基餐厅位置信息http://www.kfc.com.cn/kfccda/storelist/index.aspx (opens new window)

    post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
city = input('enter a city name:')
data = {
    'cname': '',
    'pid': '',
    'keyword': city,
    'pageIndex': '3',
    'pageSize': '2',
}
#data参数表示的就是get方法中的params
response = requests.post(url=post_url,data=data,headers=headers)

response.json()
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13

# 7.动态加载的数据 判断与爬取

# 思考:如何判定一张页面中是否存在动态加载的数据
-抓包工具进行局部搜索
-如果判定出页面中有动态加载的数据如何进行数据的定位?
	使用抓包工具进行全局搜索
-对一个陌生的网站数据进行爬取前一定要判定你爬取的数据是否为动态加载的!!!
1
2
3
4
5

  • 国药管理局数据抓取

    • 爬取企业详情信息:http://125.35.6.84:81/xk/ (opens new window)
    • 分析:
      • 1.网站的首页和企业的详情页的数据都是动态加载出来的
      • 2.分析某一家企业的企业详情数据是怎么来的?
        • 企业详情数据时通过一个ajax请求(post)请求到的.
        • 请求对应的url:http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById (opens new window)
        • 该请求携带了一个参数🆔xxdxxxx
        • 结论:
          • 1.每家企业详情页的数据都是通过一个post形式的ajax请求请求到的
          • 2.每家企业对应的ajax请求的url都一样,请求方式都是post,只有请求参数id的值不一样.
          • 3.只需要获取每一家企业对应的id值即可获取每一家企业对应的详情数据
      • 需要获取每一家企业的id值
        • 思路:每一家企业的id值应该存储在首页对应的相关请求或者响应中.
        • 结论:每一家企业的id值是存储在首页中的某一个ajax请求对应的响应数据中,只需要将该响应数据中企业的id提取/解析出来后即可.
    #要请求到没一家企业对应的id
url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
data = {
    'on': 'true',
    'page': '1',
    'pageSize': '15',
    'productName': '',
    'conditionType': '1',
    'applyname': '',
    'applysn': '',
}

fp = open('./company_detail.txt','w',encoding='utf-8')

#该json()的返回值中就有每一家企业的id
data_dic = requests.post(url=url,data=data,headers=headers).json()
#解析id
for dic in data_dic['list']:
    _id = dic['ID']
#     print(_id)
    #对每一个id对应的企业详情数据进行捕获(发起请求)
    post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
    post_data = {
        'id':_id
    }
    #json的返回值是某一家企业的详情信息
    detail_dic = requests.post(url=post_url,data=post_data,headers=headers).json()
    company_title = detail_dic['epsName']
    address = detail_dic['epsProductAddress']
    
    fp.write(company_title+':'+address+'\n')
    print(company_title,'爬取成功!!!')
fp.close()
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
#Python#
上次更新: 2023/04/16, 18:35:33
Flask-SQLAlchemy 使用教程
bs4 和 xpath

← bs4 和 xpath→

最近更新
01
go与http代理
05-24
02
自制申威架构k8s-reloader
12-06
03
Docker Buildx 教程
12-01
更多文章>
Theme by Vdoing | Copyright © 2020-2024 小刘扎扎 | MIT License