如何在 Python2中发送 HEADHTTP 请求？

我在这里试图做的是获取给定 URL 的标题，这样我就可以确定 MIME 类型。我希望能够看到，如果 http://somedomain/foo/将返回一个 HTML 文档或 JPEG 图像例如。因此，我需要弄清楚如何发送一个 HEAD 请求，这样我就可以在不下载内容的情况下读取 MIME 类型。有人知道一个简单的方法吗？

73929 次浏览
小开
最佳答案

Edit : 这个答案是可行的，但是现在您应该像下面其他答案中提到的那样使用 请求库。

使用 httplib。

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

还有一个 getheader(name)来获得特定的头。

小开

也许更简单: 使用 urllib 或 urllib2。

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

Info ()是一个类似字典的对象，因此可以执行 f.info ()[‘ content-type’]等操作。

Http://docs.python.org/library/urllib.html
Http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

The docs note that httplib is not normally used directly.

小开

另外，当使用 httplib (至少在2.5.2上)时，尝试读取 HEAD 请求的响应将阻塞(在 readline 上) ，并且随后失败。如果不对响应发出读操作，则无法在连接上发送另一个请求，则需要打开一个新的请求。或者接受请求之间的长时间延迟。

小开

Urllib2 可用于执行 HEAD 请求。这比使用 httplib 要好一些，因为 urllib2会为您解析 URL，而不是要求您将 URL 分割为主机名和路径。

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
...
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

和以前一样，可以通过 response. info ()找到头文件。有趣的是，你可以找到被重定向到的 URL:

>>> print response.geturl()
http://www.google.com.au/index.html
小开

我发现 httplib 比 urllib2稍微快一点。我计时了两个程序——一个使用 httplib，另一个使用 urllib2——将 HEAD 请求发送到10,000个 URL。Httplib 快了几分钟。Httplib的总统计数据是: 真实的6m21.334秒 user 0m2.124s 系统0m16.372 s

urllib2的总统计数据是: 真正的9m1.380秒 用户0m16.666 s Sys 0m28.565 s

还有其他人对此有意见吗？

小开

只要:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'


response = urllib2.urlopen(request)
response.info().gettype()

编辑: 我刚刚意识到 httplib2: D 的存在

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

链接文本

小开

我相信 请求库也应该被提及。

小开 
import httplib
import urlparse


def unshorten_url(url):
parsed = urlparse.urlparse(url)
h = httplib.HTTPConnection(parsed.netloc)
h.request('HEAD', parsed.path)
response = h.getresponse()
if response.status/100 == 3 and response.getheader('Location'):
return response.getheader('Location')
else:
return url
小开

强制性 Requests方法:

import requests


resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers
小开

为了使 Python 3的答案与使用 Httplib接受的答案等价，请完整地使用它。

它基本上是相同的代码，只是这个库不再被称为 Httplib而是 客户端

from http.client import HTTPConnection


conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()


print(res.status, res.reason)
小开

还有一种方法(类似于帕维尔的回答) :

import urllib2
import types


request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

只是为了避免在实例级别使用无界方法。


提交答案