Python爬虫之xpath使用

Python爬虫之xpath使用

xpath获取文本比较方便但是获取带html标签的内容,比如,获取某个文章内容,里面有大量的html标签的时候,就需要选进行字符串转化,然后再对字符串解密获取内容。content = selector.xpath('//*[@id="article_content"]')[0] content2 = etree.tostring(content, encoding='ut...

搬砖 2019-09-16 PM 103次 0条
Python生成windows系统可以执行的exe程序

Python生成windows系统可以执行的exe程序

为了实现编辑部门自动下载产品的需求,通过Python写了一个爬虫,但是不能每个人给他们安装Python环境吧,这样太麻烦,就在想怎么样才能轻量化使用,唯有可执行的EXE程序可以达到这个要求,于是百度了一下,Python还真的可以生成exe可执行程序,经过测试,解决问题,编辑部的小姐姐们高兴坏了。下面把实现的过程记录下,也方便以后实现更多的自动化。1、首先安装pyinstaller,他就是Py...

Python 2019-08-16 PM 128次 0条
Python爬虫利器selenium

Python爬虫利器selenium

selenium,被成为web自动化的神器。1、什么是seleniumSelenium是基于WEB应用的验收测试工具集合,直接运行在浏览器中,通过一系列命令来模拟用户操作,Selenium可以将这些命令转化成实际的HTTP请求在浏览器中运行 。2、如何使用selenium先按照selenium包pip3 install selenium驱动下载地址https://sites.google.c...

Python 2019-08-12 PM 169次 0条
Python爬虫,爬取糗事百科

Python爬虫,爬取糗事百科

如今大数据时代,爬虫的需求越来越大,Python在大数据分析,爬虫上面优势明显,如今Python的用户使用者也是逐渐增多,Python也是一度霸榜最佳语言第一名。作为一名程序员,当然要与时俱进,不能停止学习的步伐,花了2天时间,写了一个爬取糗事百科的爬虫,刚开始接触,一边百度一边写,终于在今晚11点调试成功。爬的过程中遇到的问题记录下,避免以后发生类似错误和方便查找解决问题。❧❧闺蜜每天都会...

Python 2019-08-10 PM 156次 0条