关注分享主机优惠活动
国内外VPS云服务器

50个Python爬虫【k4】第1部分【k4】csdn开源广场的Cookie登录(Python爬虫开发)

总结:2.准备工作环境开发工具模块3.分析网站入口URL需要登录,所以必须手动登录。 然后你需要确保它已经存在,所以在请求时直接带上你的。 登录后,想要跳过验证并保持匿名的网友将在看到用户名为4的写码请求时决定是否有效。 成功

提前声明:本专栏包含的所有案例仅用于教育目的。 如有侵权,请联系我。 请删除该帖子!

文章目录 1. 请求头 Cookie 2. 准备工作 3. 分析 4. 代码编写

1. 请求头 Cookie

有些网站在使用时必须添加请求头爬行。 主机:www.renren.comProxy-连接:keep-alivePragma:no-cacheCache-控制:no-cacheUpgrade -不安全-请求:1User-代理:Mozilla/ 5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML、Gecko 等) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3877.400 QQBrowser/10.8 .4506.400Accept: text/htmlAccept-编码: gzip, deflateAccept [ k4 ]Language: zh-CN,zh;q=0.9Cookie: ***

但是,有些网站要求您登录,因为如果不登录则无法访问该网站。 登录后,您可以检索 cookie 值,并使用该 cookie 值进入网站并获取您想要的内容。 信息。

2.准备环境:python3.6 开发工具:pycharm 模块:requests 3.分析

网址:https://codechina.csdn.net/explore/welcome

URL 输入 ,您必须登录

因此您必须手动登录并确保 cookie 已存在。

因此在发出请求时直接携带自己的cookie。 当您登录时,将显示您的用户名。

4.代码说明 # -*-coding : utf-8 -*-importrequestsurl = "https://codechina.csdn.net/ explore/welcome" headers = { "Cookie": "...", "User-Agent ": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML、Gecko 等) Chrome/70.0 . 3538.25 Safari/537.36"}# request, verify=False 跳过 ssl 验证 response = request.get(url, headers=headers, verify=False)response.encoding = "utf- 8"if "我希望保持匿名网友" in response.text: print("cookies 已启用")else: print("cookies 已禁用")

成功!

未经允许不得转载:主机频道 » 50个Python爬虫【k4】第1部分【k4】csdn开源广场的Cookie登录(Python爬虫开发)

评论 抢沙发

评论前必须登录!