我怎么能看到整个HTTP请求'正在发送我的Python应用程序?

在我的情况下，我使用requests库调用贝宝的API通过HTTPS。不幸的是，我从贝宝得到一个错误，贝宝支持无法找出错误是什么或什么原因造成的。他们想让我“请提供整个请求，包括标题”。

我该怎么做呢?

292748 次浏览
小开 
r = requests.get('https://api.github.com', auth=('user', 'pass'))

r是一个响应。它有一个request属性，其中包含您需要的信息。

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers给出了头文件:

{'Accept': '*/*',
'Accept-Encoding': 'identity, deflate, compress, gzip',
'Authorization': u'Basic dXNlcjpwYXNz',
'User-Agent': 'python-requests/0.12.1'}

然后r.request.data将body作为映射。如果他们喜欢，你可以用urllib.urlencode来转换:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

根据响应的类型，__abc0 -属性可能会丢失，而会有一个__abc1 -属性。

小开

如果你使用的是python2。x，尝试安装urllib2打开器。这应该打印出您的标题，尽管您可能必须将其与您正在使用的其他打开器结合起来以击中HTTPS。

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)
小开

verbose配置选项可以让你看到你想要的。有文档中的一个例子。

注意:阅读下面的评论:详细配置选项似乎不再可用。

小开
最佳答案

一个简单的方法:在最近版本的请求中启用日志记录。X或更高。)

Requests使用http.client和logging模块配置来控制日志记录的详细程度，如在这里所述。

示范

摘自链接文档的代码:

import requests
import logging


# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
import http.client as http_client
except ImportError:
# Python 2
import httplib as http_client
http_client.HTTPConnection.debuglevel = 1


# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True


requests.get('https://httpbin.org/headers')

示例输出

$ python requests-logging.py
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226
小开

你可以使用HTTP工具包来做到这一点。

如果您需要快速完成这项工作，并且不需要更改代码，那么它就特别有用:您可以从HTTP Toolkit打开终端，正常运行任何Python代码，并且您将能够立即看到每个HTTP/HTTPS请求的完整内容。

有一个免费的版本，可以做你需要的一切，它是100%开源的。

我是HTTP Toolkit的创建者;事实上，我自己建造了它，为我解决了一模一样的问题!我也尝试着去调试一个支付集成，但是他们的SDK不能工作，我不知道为什么，我需要知道到底发生了什么才能正确地修复它。这很令人沮丧，但能够看到原始流量真的很有帮助。

小开

调试HTTP本地请求的一个更简单的方法是使用netcat。如果你跑了

nc -l 1234

你将开始监听端口1234的HTTP连接。你可以通过http://localhost:1234/foo/foo/...访问它。

在终端上，您将看到发送到端点的原始数据。例如:

POST /foo/foo HTTP/1.1
Accept: application/json
Connection: keep-alive
Host: example.com
Accept-Language: en-en
Authorization: Bearer ay...
Content-Length: 15
Content-Type: application/json


{"test": false}
小开

没有一个日志系统可以完全工作(至少在2.26请求中，非常旧的版本可能有另一种行为)

好的解决方案是使用“挂钩”，并在细节发生时打印出来。

这里已经很好地解释了:https://findwork.dev/blog/advanced-usage-python-requests-timeouts-retries-hooks/

在“打印一切”下，

但如果链接失效，这里是重要的部分

import requests
from requests_toolbelt.utils import dump


def logging_hook(response, *args, **kwargs):
data = dump.dump_all(response)
print(data.decode('utf-8'))


http = requests.Session()
http.hooks["response"] = [logging_hook]


http.get("https://api.openaq.org/v1/cities", params={"country": "BA"})

这次的结果将是发送查询和接收响应的完整跟踪。

我已经成功地尝试了POST和很多头:它工作。 不要忘记pip install requests_toolbelt.

# Output
< GET /v1/cities?country=BA HTTP/1.1
< Host: api.openaq.org


> HTTP/1.1 200 OK
> Content-Type: application/json; charset=utf-8
> Transfer-Encoding: chunked
> Connection: keep-alive
>
{
"meta":{
"name":"openaq-api",
"license":"CC BY 4.0",
"website":"https://docs.openaq.org/",
"page":1,
"limit":100,
"found":1
},
"results":[
{
"country":"BA",
"name":"Goražde",
"city":"Goražde",
"count":70797,
"locations":1
}
]
}
小开

之前的一个答案似乎被否决了，因为它以“nothing completely work”开头。然后提供了这个完美的解决方案:

  1. 使用pip install requests-toolbelt安装实用程序的requests_toolbelt集合。
    2. 像这样使用它: 
    import requests
from requests_toolbelt.utils import dump


response = requests.get("https://v2.jokeapi.dev/joke/Any?safe-mode")
print(dump.dump_all(response).decode("utf-8"))
小开

正如其他人所注意到的，有一个很好的requests-toolbelt模块，它具有使用请求钩子转储请求和响应内容的方便函数。不幸的是(到目前为止)只有一个钩子在成功完成请求时被调用。并不总是这样。例如，请求可能以ConnectionError或Timeout异常结束。

requests-toolbelt模块本身也提供了仅转储已完成请求的公共函数。然而，使用一些非公共api和Session子类，可以在发送请求之前实现日志记录，在接收响应之后实现日志记录。

注意:代码依赖于requests-toolbelt模块的实现细节/非公共api，因此在将来会意外中断:

import requests


from requests_toolbelt.utils import dump


class MySession(requests.Session):
def send(self, req, *args, **kwargs):
prefixes = dump.PrefixSettings(b'< ', b'> ')


data = bytearray()


try:
dump._dump_request_data(req, prefixes, data)
resp = super().send(req, *args, **kwargs)
dump._dump_response_data(resp, prefixes, data)
finally:
print(data.decode('utf-8'))


return resp

下面是一个用法的例子:

>>> MySession().get('https://httpbin.org/headers')
< GET /headers HTTP/1.1
< Host: httpbin.org
< User-Agent: python-requests/2.25.1
< Accept-Encoding: gzip, deflate
< Accept: */*
< Connection: keep-alive
<


> HTTP/1.1 200 OK
> Date: Fri, 19 Aug 2022 10:43:51 GMT
> Content-Type: application/json
> Content-Length: 225
> Connection: keep-alive
> Server: gunicorn/19.9.0
> Access-Control-Allow-Origin: *
> Access-Control-Allow-Credentials: true
>
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.25.1"
}
}

>>> MySession().get('https://non.existent')
< GET / HTTP/1.1
< Host: non.existent
< User-Agent: python-requests/2.25.1
< Accept-Encoding: gzip, deflate
< Accept: */*
< Connection: keep-alive
<




Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 169, in _new_conn
conn = connection.create_connection(
File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 73, in create_connection
for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
File "/usr/lib/python3.10/socket.py", line 955, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -2] Name or service not known
...

提交答案