urllib 学习笔记

type

status

date

slug

summary

urllib 概述

源代码: Lib/urllib/ urllib 是一个收集了多个涉及 URL 的模块的包： urllib.request 打开和读取 URL, urllib.error 包含 urllib.request 抛出的异常, urllib.parse 用于解析 URL, urllib.robotparser 用于解析 robots.txt 文件.

https://docs.python.org/zh-cn/3.13/library/urllib.html

urllib 是 Python 的标准库，专注于 URL 处理和 HTTP 请求，是网络编程的基础工具。

urllib.request 模块

urlopen 发送请求

用于打开 url

urllib.request.urlopen(url, data=None, [timeout, ]*, context=None)

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

读取响应信息

response 的类型

字节流转为字符串

HTTPHandler + opener 发送请求

HTTPBasicAuthHandler

用于登录验证

ProxyHandler

用于添加代理

HTTPCookieProcessor

获取 cookie

保存 cookie 到文件中

使用本地 cookie

urllib.parse 模块

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

urllib.error 模块

URLError

URLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request 模块产生的异常都可以通过捕获这个类来处理。

有一个属性 reason，即返回错误的原因。

HTTPError

它是 URLError 的子类，专门用来处理 HTTP 请求错误，比如认证请求失败等。

它有如下3 个属性。

code：返回 HTTP 状态码，比如404 表示网页不存在等。 reason：同父类一样，用于返回错误的原因。 headers：返回请求头

实战

豆瓣电影

页面：分类排行榜

需求：获取电影列表

网址：https://movie.douban.com/typerank?type_name=%E7%A7%91%E5%B9%BB&type=17&interval_id=100:90&action=

请求接口：https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=0&limit=20

请求方法：GET

响应类型：json 格式

肯德基官网

页面：肯德基餐厅信息查询

需求：获取城市列表

网址：https://www.kfc.com.cn/kfccda/storelist/index.aspx

请求接口：https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname

请求方法：POST

参数列表：cname，pid，pageIndex，pageSize

响应类型：json 格式

淘票票官网

页面：淘票票官网首页

需求：获取城市列表

网址：https://dianying.taobao.com/

请求接口：https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1743999885651_104&jsoncallback=jsonp105&action=cityAction&n_s=new&event_submit_doGetAllRegion=true

请求方法：GET

响应类型：json 格式