无头浏览器和抓取-解决方案
我试图把可能的解决方案的浏览器自动测试套装和无头浏览器平台能够抓取。
浏览器测试/抓取:
- 硒 -浏览器自动化中的通晓多国语言旗舰，Python, Ruby, JavaScript, c#， Haskell等的绑定，用于Firefox的IDE(作为扩展)，用于更快的测试部署。可以作为一个服务器，并有吨的功能。
JAVASCRIPT
- PhantomJS - JavaScript，带有屏幕捕获和自动化的无头测试，使用Webkit。在1.8版本中，Selenium的WebDriver API已经实现，因此您可以使用任何WebDriver绑定，并且测试将与Selenium兼容
- SlimerJS -类似于PhantomJS，使用壁虎 (Firefox)而不是WebKit
- CasperJS - JavaScript，建立在PhantomJS和SlimerJS之上，有额外的功能
- 鬼的司机 - JavaScript实现的网络驱动有线协议 for PhantomJS。
- < >强新< / >强 - CSS回归测试。一个CasperJS模块，用于使用PhantomJS和Resemble.js自动化可视化回归测试。
- < >强新< / >强 WebdriverCSS -用于自动可视化回归测试的Webdriver.io插件
- < >强新< / >强 PhantomFlow -通过测试描述和可视化用户流程。Web用户界面测试的实验方法。
- < >强新< / >强 trifleJS -将PhantomJS API移植到Internet Explorer引擎。
- __abc0 __abc1 __abc2
node . js
- Node-phantom -在PhantomJS和node . js之间架起桥梁
- WebDriverJs硒WebDriver绑定node.js由硒团队
- WD.js - WebDriver/Selenium的节点模块
- yiewd - WD.js包装器使用最新的和谐生成器!用收益率去掉回调金字塔
- ZombieJs——使用node . js进行快速无头全栈测试
- NightwatchJs -基于Node JS的测试解决方案使用Selenium Webdriver
- 嵌合体 - Chimera:可以做任何事情，phantomJS，但在一个完整的JS环境
- Dalek.js -通过Selenium Webdriver自动跨浏览器测试JavaScript
- Webdriver.io -更好地实现WebDriver绑定与预定义的50+动作
- 噩梦 -电子桥与高级API。
- jsdom -为网络抓取量身定制。一个用Node.js实现的非常轻量级的DOM，它支持使用javascript的页面。
- < >强新< / >强 -节点库，提供高级API来控制Chrome或Chromium。木偶师默认运行无头。
网页抓取/挖掘
- Scrapy - Python，主要是一个刮板/挖矿器-快速，有良好的文档，可以与Django动态刮刀链接，用于良好的挖矿部署，或Scrapy云用于PaaS(无服务器)部署，工作在终端或服务器独立进程中，可以与芹菜一起使用，构建在扭曲的之上
- 蜗牛 - node . js模块，尚未测试。
- Node-Crawler - node . js模块，尚未测试。
在线工具
Android自动化工具
- < >强新< / >强 Mechanica浏览器应用
相关链接&资源
- Webscraping software的比较
- < >强新< / >强 Resemble.js:图像分析和比较
问题:
- 任何纯Node.js解决方案或Nodejs到PhanthomJS/CasperJS模块，实际上工作并有文档?
Chimera似乎朝那个方向发展，检查嵌合体
其他解决方案能够更容易的JavaScript注入比硒?
- 你知道任何纯粹的ruby解决方案吗?
用基于ruby的解决方案检查rjk创建的列表
- 你知道相关的技术或解决方案吗?
谢谢你的贡献!
