前言
aiohttp 是一个用于异步HTTP请求的Python框架和库，它建立在 asyncio 之上，提供了易于使用的API来处理HTTP请求和响应。aiohttp 支持客户端和服务器端操作，适用于构建高性能的网络应用程序。
一.安装
pip install aiohttp二.基本用法
1.异步请求client发送http请求
import aiohttp
import asyncio
async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
return response
async def main():
url = 'https://baidu.com'
response = await fetch(url)
print(response.status)
asyncio.run(main())
# 输入请求状态码
# 2002.异步server服务端
from aiohttp import web
async def handle(request):
return web.Response(text="Hello, aiohttp!")
app = web.Application()
app.router.add_get('/', handle)
web.run_app(app)
浏览器访问127.0.0.1:8080 返回结果如下
3.常用函数
- ClientSession: 这是发起HTTP请求的核心类，用于创建会话，通过会话可以发送GET、POST等请求，并保持连接和cookies。
- request: 除了使用 ClientSession，aiohttp 还提供了 request 函数，可以直接发送HTTP请求而不需要创建一个会话对象。
- web.Application: 用于创建异步Web服务器的主要类，可以通过添加路由和处理函数来定义服务器的行为。
- web.Response: 这个类用于构造HTTP响应，你可以设置状态码、头部信息和响应体。
- web.Request: 表示一个HTTP请求，包含请求的方法、URL、头部等信息。
- web.Router: 用于管理路由的对象，可以添加新的路由规则和对应的处理函数。
- web.run_app: 这个函数用于启动一个 web.Application 实例，它会运行服务器并开始监听端口。
- websocket: aiohttp 支持WebSocket协议，提供了相关的API来创建和管理WebSocket连接。
- ClientConnector: 用于控制与服务器的TCP连接，可以自定义连接池的行为。
- ClientSession.get, ClientSession.post 等：这些是 ClientSession 类中的方法，用于执行具体的HTTP请求动作，如GET或POST。
4.异常实践
异步爬取百度读书免费小说
import requests
import asyncio
import aiohttp
import aiofiles
import json
# 异步访问小说内容，并且异步保存到文件
async def aiodownload(cid, b_id, title):
data = {
"book_id":b_id,
"cid":f"{b_id}|{cid}",
"need_bookinfo":1
}
data = json.dumps(data)
url = f"http://dushu.baidu.com/api/pc/getChapterContent?data={data}" # 拿到小说的内容
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
dic = await resp.json()
async with aiofiles.open("小说/"+title+".txt", mode="w", encoding="utf-8") as f:
await f.write(dic['data']['novel']['content']) # 把小说内容保存到文件
async def getCatalog(url):
resp = requests.get(url) # 请求获取小说的所有章节名称
dic = resp.json()
tasks = []
for item in dic['data']['novel']['items']: # item就是对应每一个章节的名称和cid
title = item['title']
cid = item['cid']
# 准备异步任务
tasks.append(aiodownload(cid, b_id, title))
await asyncio.wait(tasks)
if __name__ == '__main__':
b_id = "4305593636"
url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'
asyncio.run(getCatalog(url))
结果如下：
三.注意事项
1.理解异步编程的概念是使用aiohttp的前提。异步编程涉及到协程、事件循环和异步上下文管理器等概念，因此熟悉Python的async/await语法是必要的。
2.异常处理是保证程序稳定性的关键。在使用aiohttp时，应当妥善处理可能发生的异常和错误，例如网络请求失败、超时等情况。
3.合理管理客户端会话也很重要。官方推荐使用一个客户端会话来发起所有请求，这样可以保持请求的cookie等信息。同时，aiohttp.ClientSession是一个异步上下文管理器，它可以在请求结束或发生异常时自动关闭会话，从而避免资源泄露。
4.利用asyncio提供的工具和函数可以提高效率。例如，asyncio.gather()可以同时运行多个协程，这样可以更好地利用事件循环，提高程序的并发性能。
5.了解aiohttp与其他库的区别也很有帮助。例如，与传统的同步HTTP库如requests相比，aiohttp是基于异步IO的，可以实现单线程并发IO操作，这对于编写高性能的网络应用程序尤为重要。
更多用法参考官方文档
https://docs.aiohttp.org/en/stable/client_quickstart.htmlgithub地址
https://github.com/aio-libs/aiohttp