Python调用迅雷下载器下载文件

在爬虫开发中,我们有时候会需要下载一些比较大的视频,比如电影资源。我们除了可以用Python requests下载,也可以用迅雷下载器下载。因为当需要用到多线程下载或者断点继续下载的时候,使用迅雷下载器会方便得多(当然,在生产环境中使用迅雷下载器不是最佳选择)。同时,迅雷下载器可以使用p2p等技术加速,对于批量下载大文件来说是个不错的选择。今天小编就给大家分享一下Python如何调用迅雷下载器下载文件,本教程在迅雷9、10下均能使用。[……]

继续阅读

Python爬虫自动填写调查表

本教程也可用于Python requests使用post提交表单的教学

  随着网络化的普及,网络调查表在生活中随处可见,但是有些时候,我们每天都需要填写一些内容比较固定的调查表,比如说体温填报、健康登记等等,作为一名程序员,我们应该把这些机械的操作交给电脑,让电脑造福人类。今天小编就来教大家如何使用Python爬虫实现自动填写网络调查表。这样,我们只需要将编写好的脚本部署到服务器上就能够每天定时完成填写表格的任务了。[……]

继续阅读

如何阅读数据量大的json文件

在开发爬虫项目或者调用API接口等情况下我们不免会和json格式的数据打交道,但是json的“套娃”也是天下闻名的,一般的json文件会有3到4层大括号,这种还能够勉强用人眼阅读,但是当数据量很大的时候,会出现几十层甚至是上百层的“套娃”!
数据量如此巨大的json文件显然是无法使用人眼直接阅读的,但是如果需要开发程序去读取信息就不得不搞清楚数据的包含关系,这个时候我们就需要借助工具去辅助阅读[……]

继续阅读

Python selenium使用cookies实现自动登陆

今天小编将教大家Python selenium使用cookies实现自动登陆。随着爬虫技术的不断发展,越来越多网站使用了各式各样难以破解的验证码,面对需要登陆才能获取的信息,相比于传统的填写账号密码和识别验证码的登陆方式,使用cookie登陆无疑是一种既方便有快捷的方式。同时,使用cookies登陆还具有无需使用机器识别或人工识别对验证码进行处理的优点。selenium是Python一个强大的第三方库,能够模拟操纵浏览器,使用它进行自动登陆是不错的选择,下面开始今天的教程。[……]

继续阅读