python

环境说明

技术点

  1. Selenium
  2. PhantomJS

Selenium

1.介绍

Selenium 是一个用于 Web 应用程序测试的工具。最初是为网站自动化测试而开发的，可以直接运行在浏览器上，支持的浏览器包括 IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera 和 Edge 等。
爬虫中使用它是为了解决 requests 无法直接执行 JavaScript 代码的问题。Selenium 本质上是通过驱动浏览器，彻底模拟浏览器的操作，好比跳转、输入、点击、下拉等，来拿到网页渲染之后的结果。Selenium 是 Python 的一个第三方库，对外提供的接口能够操作浏览器，从而让浏览器完成自动化的操作。

2.浏览器驱动

谷歌浏览器驱动下载：https://googlechromelabs.github.io/chrome-for-testing/#stable

Microsoft Edge浏览器驱动下载：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/?form=MA13LH

3.下载Selenium
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

PhantomJS

1.介绍

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如网络监测、网页截屏、无需浏览器的 Web 测试、页面访问自动化等。

2.链接

PhantomJS下载链接：https://phantomjs.org/download.html
PhantomJS官方地址：http://phantomjs.org/
PhantomJS官方API：http://phantomjs.org/api/
PhantomJS官方示例：http://phantomjs.org/examples/
PhantomJS GitHub：https://github.com/ariya/phantomjs/