博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫基础
阅读量:5049 次
发布时间:2019-06-12

本文共 1102 字,大约阅读时间需要 3 分钟。

 

urllibopen

 

基本库区别

 

直接使用urllibopen无法构建复杂的header信息,需要借助Request

from urllib import request,parse # # url = 'http://httpbin.org/post' # headers = {
# "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36", # "Host":"httpbin.org" # } # dict = {
# 'name':'Germey' # } # data = bytes(parse.urlencode(dict), encoding='utf-8') # req = request.Request(url=url, data=data, headers=headers, method='POST') # response = request.urlopen(req) # print(response.read().decode('utf-8')) # 还可以add_headers方法 url = 'http://httpbin.org/post' dict = {
'name':'Germey' } data = bytes(parse.urlencode(dict), encoding='utf-8') req = request.Request(url=url, data=data, method='POST') req.add_header("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36") response = request.urlopen(req) print(response.read().decode('utf-8')) 基本库使用起来比较麻烦,添加请求头,请求数据,设置代理设置cookie等等都比较麻烦,因此使用Request库比较好 安装 pip3 install request

 

 

 

转载于:https://www.cnblogs.com/ikong/p/10504441.html

你可能感兴趣的文章
scratch少儿编程第一季——06、人在江湖混,没有背景怎么行。
查看>>
面向对象1
查看>>
在ns2.35中添加myevalvid框架
查看>>
【贪心+DFS】D. Field expansion
查看>>
为什么要使用href=”javascript:void(0);”
查看>>
二进制文件的查看和编辑
查看>>
C# Async与Await的使用
查看>>
Mysql性能调优
查看>>
iOS基础-UIKit框架-多控制器管理-实例:qq界面框架
查看>>
javascript学习---BOM
查看>>
IOS-每个程序员的编程之路上都应该看这11本书
查看>>
自定义tabbar(纯代码)
查看>>
extjs fieldset 和 radio
查看>>
小程序底部导航栏
查看>>
Codeforces Gym101505G:Orchard Division(扫描线+线段树第k大)
查看>>
ibatis学习笔记
查看>>
18-ES6(1)
查看>>
poj1611 简单并查集
查看>>
tensorflow实现迁移学习
查看>>
Ubuntu 14.04下安装CUDA8.0
查看>>