哪一个在 Python 中是最好的: urllib2、 PycURL 还是機械化？

小开

最佳答案

在任何地方的每个 Python 安装中都可以找到 urllib2，因此它是一个很好的开始基础。
对于已经习惯使用 libcurl 的人来说，PycURL非常有用，它公开了更多 HTTP 的底层细节，而且它获得了应用于 libcurl 的任何修复或改进。
mechanize用于像浏览器一样持久地驱动连接。

这不是一个比另一个更好的问题，这是一个选择合适的工具的工作。

小开

我认为这个演讲(在 pycon 2009) ，有你正在寻找的答案(Asheesh Laroia 在这个问题上有很多经验)。他指出了你大部分的优点和缺点

来自 PYCON 2009时间表:

你发现自己面对的是你需要提供资料的网站提取物？如果你的生活你可以通过程序输入数据网络应用程序，甚至那些能够抵抗机器人的互动？

我们将讨论网络的基础知识然后一头扎进不同方法的详情及地点它们是最适用的。

你会离开的懂得什么时候申请不同的工具，并学习 “重锤”刮网我在一个项目中学到的电子前哨基金会。

参加者应携带笔记本电脑我们可以试试这些例子讨论并随意做笔记。

更新: Asheesh Laroia 更新了2010年 pycon 的演示文稿

PyCon 2010: 刮网页: 网站编程策略他们没有预料到这一点

* My motto: "The website is the API."
* Choosing a parser: BeautifulSoup, lxml, HTMLParse, and html5lib.
* Extracting information, even in the face of bad HTML: Regular expressions, BeautifulSoup, SAX, and XPath.
* Automatic template reverse-engineering tools.
* Submitting to forms.
* Playing with XML-RPC
* DO NOT BECOME AN EVIL COMMENT SPAMMER.
* Countermeasures, and circumventing them:
o IP address limits
o Hidden form fields
o User-agent detection
o JavaScript
o CAPTCHAs
* Plenty of full source code to working examples:
o Submitting to forms for text-to-speech.
o Downloading music from web stores.
o Automating Firefox with Selenium RC to navigate a pure-JavaScript service.
* Q&A; and workshopping
* Use your power for good, not evil.

Update 2:

PyCon US 2012 - Web scraping: Reliably and efficiently pull data from pages that don't expect it

Exciting information is trapped in web pages and behind HTML forms. In this tutorial, >you'll learn how to parse those pages and when to apply advanced techniques that make >scraping faster and more stable. We'll cover parallel downloading with Twisted, gevent, >and others; analyzing sites behind SSL; driving JavaScript-y sites with Selenium; and >evading common anti-scraping techniques.

小开

不要担心“上次更新”，HTTP 在过去的几年里没有太大的变化;)

Urllib2是最好的(因为它是内置的) ，然后切换到机械化，如果你需要来自 Firefox 的 cookie。机械化可以作为一个下降替代 urllib2-他们有类似的方法等。使用 Firefox cookie 意味着你可以使用你的个人登录凭证从站点(比如 StackOverflow)获取信息。只要对你的请求数量负责(否则你会被阻止)。

PycURL 是为那些需要 libcurl 中所有底层内容的人准备的。

小开

Urllib2只支持 HTTPGET 和 POST，可能有一些变通方法，但是如果您的应用程序依赖于其他 HTTP 谓词，那么您可能更喜欢不同的模块。

小开

每个使用 HTTP 的 Python 库都有自己的优势。

使用具有特定任务所必需的最少数量的特性。

您的列表至少缺少 Urllib3-一个很酷的第三方 HTTP 库，它可以重用 HTTP 连接，从而大大加快了从同一个站点检索多个 URL 的过程。

小开

Python 请求也是 HTTP 内容的一个很好的候选者。它有一个更好的 api IMHO，一个来自官方文档的 http 请求示例:

>>> r = requests.get('https://api.github.com', auth=('user', 'pass'))
>>> r.status_code
204
>>> r.headers['content-type']
'application/json'
>>> r.content
...

小开

让我们来看看 Grab ( http://grablib.org ) ，它是一个网络库，提供了两个主要的界面: 1)抓取用于创建网络请求和解析检索到的数据 2)用于创建批量现场刮板机的蜘蛛

在这个架构下，Grab 使用 pycurl 和 lxml，但是也可以使用其他网络传输(例如，请求库)。请求传输尚未得到很好的测试。

小开

要“获得一些网页”，使用请求！

来自 http://docs.python-requests.org/en/latest/:

Python 的标准 urllib2模块提供了大部分 HTTP 你所需要的能力，但是 API 已经完全被破坏了一个不同的时代ーー一个不同的网络。它需要一个巨大的工作量(甚至方法重写) ，以执行最简单的任务。

事情不应该是这样的，不应该是巨蟒。

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}