Python爬虫利器selenium

京漂大叔 2019-08-12 PM 2519℃ 0条

selenium,被成为web自动化的神器。

1、什么是selenium
Selenium是基于WEB应用的验收测试工具集合,直接运行在浏览器中,通过一系列命令来模拟用户操作,Selenium可以将这些命令转化成实际的HTTP请求在浏览器中运行 。

2、如何使用selenium

  • 先按照selenium包

    pip3 install selenium

驱动下载地址https://sites.google.com/a/chromium.org/chromedriver/downloads

下载后把驱动文件加入环境变量。或者直接把驱动文件和Python脚本(执行的py文件)放到同一文件夹下面

3、编写selenium测试案例,执行已下代码,如果成功打开谷歌浏览器,并打开百度页面,说明成功

from selenium import webdriver
driver = webdriver.Chrome()  # 创建一个 Chrome WebDriver 实例
driver.get('https://www.baidu.com/')  # 打开网址

4、模拟人为操作,与页面交互

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
search_input = driver.find_element_by_id("kw") # 获取到百度搜索框
search_input.send_keys("刘亦菲")  # 自动输入 刘亦菲
submit = driver.find_element_by_id("su")  # 获取到百度一下按钮
submit.click()  # 点击搜索

上面的代码,比如获取元素,可以通过

driver.find_element_by_id("id")

或者

driver.find_element_by_name("name")

send_keys():输入文字
clear():清除文字
click():点击按钮

更多方法查看官方文档:https://selenium-python-zh.readthedocs.io/en/latest/index.html

标签: Python, 爬虫, selenium

非特殊说明,文章均为原创。

评论啦~