解析配置文件、环境和命令行参数,以获得单个选项集合

Python 的标准库包含 配置文件解析(Configparser)、 环境变量读数(Os.environ)和 命令行参数解析(Argparse)的模块。我想写一个程序,做所有这些,而且:

  • 拥有 期权价值的级联:

    • 默认选项值,由
    • 重写的配置文件选项
    • 重写的环境变量
    • 命令行选项。
  • 允许使用例如 --config-file foo.conf的一个或多个 命令行上指定的配置文件位置,并读取它(或者替代通常的配置文件,或者附加到通常的配置文件中)。这仍然必须服从上述级联。

  • 允许 选项定义在一个单一的地方确定配置文件和命令行的解析行为。

  • 将解析后的选项统一到 单个选项值集合中,供程序的其余部分访问,而无需关心它们来自哪里。

我需要的所有东西显然都在 Python 标准库中,但它们并不能顺利地协同工作。

我如何能够以与 Python 标准库的最小偏差来实现这一点?

37208 次浏览

为了满足所有这些需求,我建议编写您自己的库,该库同时使用[ opt | arg ]解析器和配置解析器来实现底层功能。

根据前两个和最后一个要求,我会说你想要:

步骤一: 执行命令行解析器传递,只查找—— config-file 选项。

第二步: 解析配置文件。

第三步: 设置第二个命令行解析器传递,使用配置文件传递的输出作为默认值。

第三个要求可能意味着您必须设计自己的选项定义系统,以公开您所关心的 optparse 和 configparser 的所有功能,并编写一些管道程序来在两者之间进行转换。

我最近尝试过类似的方法,使用“ optparse”。

我将它设置为 OptonParser 的一个子类,使用“—— Store”和“—— Check”命令。

下面的代码应该基本涵盖了所有内容。你只需要定义你自己的“加载”和“存储”方法,它们可以接受/返回字典,你已经准备好了。


class SmartParse(optparse.OptionParser):
def __init__(self,defaults,*args,**kwargs):
self.smartDefaults=defaults
optparse.OptionParser.__init__(self,*args,**kwargs)
fileGroup = optparse.OptionGroup(self,'handle stored defaults')
fileGroup.add_option(
'-S','--Store',
dest='Action',
action='store_const',const='Store',
help='store command line settings'
)
fileGroup.add_option(
'-C','--Check',
dest='Action',
action='store_const',const='Check',
help ='check stored settings'
)
self.add_option_group(fileGroup)
def parse_args(self,*args,**kwargs):
(options,arguments) = optparse.OptionParser.parse_args(self,*args,**kwargs)
action = options.__dict__.pop('Action')
if action == 'Check':
assert all(
value is None
for (key,value) in options.__dict__.iteritems()
)
print 'defaults:',self.smartDefaults
print 'config:',self.load()
sys.exit()
elif action == 'Store':
self.store(options.__dict__)
sys.exit()
else:
config=self.load()
commandline=dict(
[key,val]
for (key,val) in options.__dict__.iteritems()
if val is not None
)
result = {}
result.update(self.defaults)
result.update(config)
result.update(commandline)
return result,arguments
def load(self):
return {}
def store(self,optionDict):
print 'Storing:',optionDict


据我所知,Python 标准库没有提供这种功能。我自己通过编写代码使用 optparseConfigParser来解析命令行和配置文件,并在它们之上提供一个抽象层来解决这个问题。但是,您需要将它作为一个单独的依赖项,从您之前的评论来看,这似乎令人不快。

如果你想看我写的代码,它在 http://liw.fi/cliapp/。它被集成到我的“命令行应用程序框架”库中,因为这是框架需要做的大部分工作。

标准库似乎没有解决这个问题,让每个程序员都以笨拙的方式把 configparserargparseos.environ拼凑在一起。

Argparse 模块使这个问题变得简单,只要您满意一个看起来像命令行的配置文件。(我认为这是一个优势,因为用户只需要学习一种语法。)例如,将 From file _ prefix _ chars设置为 @,

my_prog --foo=bar

相当于

my_prog @baz.conf

如果 @baz.conf是,

--foo
bar

您甚至可以通过修改 argv使代码自动查找 foo.conf

if os.path.exists('foo.conf'):
argv = ['@foo.conf'] + argv
args = argparser.parse_args(argv)

可以通过创建 ArgumentParser 的子类并添加 Convert _ arg _ line _ to _ args方法来修改这些配置文件的格式。

更新: 我终于把这个放到了 Pypi 上,通过以下方式安装最新版本:

   pip install configargparser

完整的帮助和说明在这里。

原文

以下是我自己整理的一些东西,欢迎在评论中提出改进/bug 报告:

import argparse
import ConfigParser
import os


def _identity(x):
return x


_SENTINEL = object()




class AddConfigFile(argparse.Action):
def __call__(self,parser,namespace,values,option_string=None):
# I can never remember if `values` is a list all the time or if it
# can be a scalar string; this takes care of both.
if isinstance(values,basestring):
parser.config_files.append(values)
else:
parser.config_files.extend(values)




class ArgumentConfigEnvParser(argparse.ArgumentParser):
def __init__(self,*args,**kwargs):
"""
Added 2 new keyword arguments to the ArgumentParser constructor:


config --> List of filenames to parse for config goodness
default_section --> name of the default section in the config file
"""
self.config_files = kwargs.pop('config',[])  #Must be a list
self.default_section = kwargs.pop('default_section','MAIN')
self._action_defaults = {}
argparse.ArgumentParser.__init__(self,*args,**kwargs)




def add_argument(self,*args,**kwargs):
"""
Works like `ArgumentParser.add_argument`, except that we've added an action:


config: add a config file to the parser


This also adds the ability to specify which section of the config file to pull the
data from, via the `section` keyword.  This relies on the (undocumented) fact that
`ArgumentParser.add_argument` actually returns the `Action` object that it creates.
We need this to reliably get `dest` (although we could probably write a simple
function to do this for us).
"""


if 'action' in kwargs and kwargs['action'] == 'config':
kwargs['action'] = AddConfigFile
kwargs['default'] = argparse.SUPPRESS


# argparse won't know what to do with the section, so
# we'll pop it out and add it back in later.
#
# We also have to prevent argparse from doing any type conversion,
# which is done explicitly in parse_known_args.
#
# This way, we can reliably check whether argparse has replaced the default.
#
section = kwargs.pop('section', self.default_section)
type = kwargs.pop('type', _identity)
default = kwargs.pop('default', _SENTINEL)


if default is not argparse.SUPPRESS:
kwargs.update(default=_SENTINEL)
else:
kwargs.update(default=argparse.SUPPRESS)


action = argparse.ArgumentParser.add_argument(self,*args,**kwargs)
kwargs.update(section=section, type=type, default=default)
self._action_defaults[action.dest] = (args,kwargs)
return action


def parse_known_args(self,args=None, namespace=None):
# `parse_args` calls `parse_known_args`, so we should be okay with this...
ns, argv = argparse.ArgumentParser.parse_known_args(self, args=args, namespace=namespace)
config_parser = ConfigParser.SafeConfigParser()
config_files = [os.path.expanduser(os.path.expandvars(x)) for x in self.config_files]
config_parser.read(config_files)


for dest,(args,init_dict) in self._action_defaults.items():
type_converter = init_dict['type']
default = init_dict['default']
obj = default


if getattr(ns,dest,_SENTINEL) is not _SENTINEL: # found on command line
obj = getattr(ns,dest)
else: # not found on commandline
try:  # get from config file
obj = config_parser.get(init_dict['section'],dest)
except (ConfigParser.NoSectionError, ConfigParser.NoOptionError): # Nope, not in config file
try: # get from environment
obj = os.environ[dest.upper()]
except KeyError:
pass


if obj is _SENTINEL:
setattr(ns,dest,None)
elif obj is argparse.SUPPRESS:
pass
else:
setattr(ns,dest,type_converter(obj))


return ns, argv




if __name__ == '__main__':
fake_config = """
[MAIN]
foo:bar
bar:1
"""
with open('_config.file','w') as fout:
fout.write(fake_config)


parser = ArgumentConfigEnvParser()
parser.add_argument('--config-file', action='config', help="location of config file")
parser.add_argument('--foo', type=str, action='store', default="grape", help="don't know what foo does ...")
parser.add_argument('--bar', type=int, default=7, action='store', help="This is an integer (I hope)")
parser.add_argument('--baz', type=float, action='store', help="This is an float(I hope)")
parser.add_argument('--qux', type=int, default='6', action='store', help="this is another int")
ns = parser.parse_args([])


parser_defaults = {'foo':"grape",'bar':7,'baz':None,'qux':6}
config_defaults = {'foo':'bar','bar':1}
env_defaults = {"baz":3.14159}


# This should be the defaults we gave the parser
print ns
assert ns.__dict__ == parser_defaults


# This should be the defaults we gave the parser + config defaults
d = parser_defaults.copy()
d.update(config_defaults)
ns = parser.parse_args(['--config-file','_config.file'])
print ns
assert ns.__dict__ == d


os.environ['BAZ'] = "3.14159"


# This should be the parser defaults + config defaults + env_defaults
d = parser_defaults.copy()
d.update(config_defaults)
d.update(env_defaults)
ns = parser.parse_args(['--config-file','_config.file'])
print ns
assert ns.__dict__ == d


# This should be the parser defaults + config defaults + env_defaults + commandline
commandline = {'foo':'3','qux':4}
d = parser_defaults.copy()
d.update(config_defaults)
d.update(env_defaults)
d.update(commandline)
ns = parser.parse_args(['--config-file','_config.file','--foo=3','--qux=4'])
print ns
assert ns.__dict__ == d


os.remove('_config.file')

待命

这个实现还不完整。下面是部分 TODO 列表:

符合记录在案的行为

  • (简单)编写一个函数,在 add_argument中从 args中计算出 dest,而不是依赖于 Action对象
  • 编写一个使用 parse_known_argsparse_args函数。(例如,从 cpython实现中复制 parse_args,以保证它调用 parse_known_args。)

不那么容易的东西..。

我还没有试过这些方法,不太可能,但仍然有可能。

  • (硬?) 互斥锁
  • (硬?) 论坛(如果实现,这些组应该在配置文件中获得 section)
  • (硬?) 潜艇指挥部(子命令还应该在配置文件中获得 section)

有一个图书馆就是这么做的,叫做 组合胶水

Config 胶是一个将 python 的 和 ConfigParser.ConfigParser,这样您就不会 如果要将相同的选项导出到 配置文件和命令行界面。

它也是 支撑物环境变量。

还有一个叫 ConfigArgParse的库

还可以设置选项的 argparse 的插入式替换 通过配置文件和/或环境变量。

您可能对 PyCon 中关于 ukaszLanga-让他们配置的配置的讨论感兴趣

下面是我拼凑的一个模块,它可以读取命令行参数、环境设置、 ini 文件和 keyring 值。它也可以在 大意

"""
Configuration Parser


Configurable parser that will parse config files, environment variables,
keyring, and command-line arguments.






Example test.ini file:


[defaults]
gini=10


[app]
xini = 50


Example test.arg file:


--xfarg=30


Example test.py file:


import os
import sys


import config




def main(argv):
'''Test.'''
options = [
config.Option("xpos",
help="positional argument",
nargs='?',
default="all",
env="APP_XPOS"),
config.Option("--xarg",
help="optional argument",
default=1,
type=int,
env="APP_XARG"),
config.Option("--xenv",
help="environment argument",
default=1,
type=int,
env="APP_XENV"),
config.Option("--xfarg",
help="@file argument",
default=1,
type=int,
env="APP_XFARG"),
config.Option("--xini",
help="ini argument",
default=1,
type=int,
ini_section="app",
env="APP_XINI"),
config.Option("--gini",
help="global ini argument",
default=1,
type=int,
env="APP_GINI"),
config.Option("--karg",
help="secret keyring arg",
default=-1,
type=int),
]
ini_file_paths = [
'/etc/default/app.ini',
os.path.join(os.path.dirname(os.path.abspath(__file__)),
'test.ini')
]


# default usage
conf = config.Config(prog='app', options=options,
ini_paths=ini_file_paths)
conf.parse()
print conf


# advanced usage
cli_args = conf.parse_cli(argv=argv)
env = conf.parse_env()
secrets = conf.parse_keyring(namespace="app")
ini = conf.parse_ini(ini_file_paths)
sources = {}
if ini:
for key, value in ini.iteritems():
conf[key] = value
sources[key] = "ini-file"
if secrets:
for key, value in secrets.iteritems():
conf[key] = value
sources[key] = "keyring"
if env:
for key, value in env.iteritems():
conf[key] = value
sources[key] = "environment"
if cli_args:
for key, value in cli_args.iteritems():
conf[key] = value
sources[key] = "command-line"
print '\n'.join(['%s:\t%s' % (k, v) for k, v in sources.items()])




if __name__ == "__main__":
if config.keyring:
config.keyring.set_password("app", "karg", "13")
main(sys.argv)


Example results:


$APP_XENV=10 python test.py api --xarg=2 @test.arg
<Config xpos=api, gini=1, xenv=10, xini=50, karg=13, xarg=2, xfarg=30>
xpos:   command-line
xenv:   environment
xini:   ini-file
karg:   keyring
xarg:   command-line
xfarg:  command-line




"""
import argparse
import ConfigParser
import copy
import os
import sys


try:
import keyring
except ImportError:
keyring = None




class Option(object):
"""Holds a configuration option and the names and locations for it.


Instantiate options using the same arguments as you would for an
add_arguments call in argparse. However, you have two additional kwargs
available:


env: the name of the environment variable to use for this option
ini_section: the ini file section to look this value up from
"""


def __init__(self, *args, **kwargs):
self.args = args or []
self.kwargs = kwargs or {}


def add_argument(self, parser, **override_kwargs):
"""Add an option to a an argparse parser."""
kwargs = {}
if self.kwargs:
kwargs = copy.copy(self.kwargs)
try:
del kwargs['env']
except KeyError:
pass
try:
del kwargs['ini_section']
except KeyError:
pass
kwargs.update(override_kwargs)
parser.add_argument(*self.args, **kwargs)


@property
def type(self):
"""The type of the option.


Should be a callable to parse options.
"""
return self.kwargs.get("type", str)


@property
def name(self):
"""The name of the option as determined from the args."""
for arg in self.args:
if arg.startswith("--"):
return arg[2:].replace("-", "_")
elif arg.startswith("-"):
continue
else:
return arg.replace("-", "_")


@property
def default(self):
"""The default for the option."""
return self.kwargs.get("default")




class Config(object):
"""Parses configuration sources."""


def __init__(self, options=None, ini_paths=None, **parser_kwargs):
"""Initialize with list of options.


:param ini_paths: optional paths to ini files to look up values from
:param parser_kwargs: kwargs used to init argparse parsers.
"""
self._parser_kwargs = parser_kwargs or {}
self._ini_paths = ini_paths or []
self._options = copy.copy(options) or []
self._values = {option.name: option.default
for option in self._options}
self._parser = argparse.ArgumentParser(**parser_kwargs)
self.pass_thru_args = []


@property
def prog(self):
"""Program name."""
return self._parser.prog


def __getitem__(self, key):
return self._values[key]


def __setitem__(self, key, value):
self._values[key] = value


def __delitem__(self, key):
del self._values[key]


def __contains__(self, key):
return key in self._values


def __iter__(self):
return iter(self._values)


def __len__(self):
return len(self._values)


def get(self, key, *args):
"""
Return the value for key if it exists otherwise the default.
"""
return self._values.get(key, *args)


def __getattr__(self, attr):
if attr in self._values:
return self._values[attr]
else:
raise AttributeError("'config' object has no attribute '%s'"
% attr)


def build_parser(self, options, **override_kwargs):
"""."""
kwargs = copy.copy(self._parser_kwargs)
kwargs.update(override_kwargs)
if 'fromfile_prefix_chars' not in kwargs:
kwargs['fromfile_prefix_chars'] = '@'
parser = argparse.ArgumentParser(**kwargs)
if options:
for option in options:
option.add_argument(parser)
return parser


def parse_cli(self, argv=None):
"""Parse command-line arguments into values."""
if not argv:
argv = sys.argv
options = []
for option in self._options:
temp = Option(*option.args, **option.kwargs)
temp.kwargs['default'] = argparse.SUPPRESS
options.append(temp)
parser = self.build_parser(options=options)
parsed, extras = parser.parse_known_args(argv[1:])
if extras:
valid, pass_thru = self.parse_passthru_args(argv[1:])
parsed, extras = parser.parse_known_args(valid)
if extras:
raise AttributeError("Unrecognized arguments: %s" %
' ,'.join(extras))
self.pass_thru_args = pass_thru + extras
return vars(parsed)


def parse_env(self):
results = {}
for option in self._options:
env_var = option.kwargs.get('env')
if env_var and env_var in os.environ:
value = os.environ[env_var]
results[option.name] = option.type(value)
return results


def get_defaults(self):
"""Use argparse to determine and return dict of defaults."""
parser = self.build_parser(options=self._options)
parsed, _ = parser.parse_known_args([])
return vars(parsed)


def parse_ini(self, paths=None):
"""Parse config files and return configuration options.


Expects array of files that are in ini format.
:param paths: list of paths to files to parse (uses ConfigParse logic).
If not supplied, uses the ini_paths value supplied on
initialization.
"""
results = {}
config = ConfigParser.SafeConfigParser()
config.read(paths or self._ini_paths)
for option in self._options:
ini_section = option.kwargs.get('ini_section')
if ini_section:
try:
value = config.get(ini_section, option.name)
results[option.name] = option.type(value)
except ConfigParser.NoSectionError:
pass
return results


def parse_keyring(self, namespace=None):
"""."""
results = {}
if not keyring:
return results
if not namespace:
namespace = self.prog
for option in self._options:
secret = keyring.get_password(namespace, option.name)
if secret:
results[option.name] = option.type(secret)
return results


def parse(self, argv=None):
"""."""
defaults = self.get_defaults()
args = self.parse_cli(argv=argv)
env = self.parse_env()
secrets = self.parse_keyring()
ini = self.parse_ini()


results = defaults
results.update(ini)
results.update(secrets)
results.update(env)
results.update(args)


self._values = results
return self


@staticmethod
def parse_passthru_args(argv):
"""Handles arguments to be passed thru to a subprocess using '--'.


:returns: tuple of two lists; args and pass-thru-args
"""
if '--' in argv:
dashdash = argv.index("--")
if dashdash == 0:
return argv[1:], []
elif dashdash > 0:
return argv[0:dashdash], argv[dashdash + 1:]
return argv, []


def __repr__(self):
return "<Config %s>" % ', '.join([
'%s=%s' % (k, v) for k, v in self._values.iteritems()])




def comma_separated_strings(value):
"""Handles comma-separated arguments passed in command-line."""
return map(str, value.split(","))




def comma_separated_pairs(value):
"""Handles comma-separated key/values passed in command-line."""
pairs = value.split(",")
results = {}
for pair in pairs:
key, pair_value = pair.split('=')
results[key] = pair_value
return results

虽然我还没有自己尝试过,但是有一个 ConfigArgParse库声明它可以完成你想要的大部分事情:

一个用于替代 argparse 的插件,它允许通过配置文件和/或环境变量设置选项。

我建立的库 糖果正是为了满足您的大多数需求。

  • 它可以通过给定的文件路径或模块名称多次加载配置文件。
  • 它从具有给定前缀的环境变量中加载配置。
  • 它可以将命令行选项附加到某些 点击命令

    (对不起,它不是 argparse,但是 点击更好,也更高级。 confect可能在未来的版本中支持 argparse)。

  • 最重要的是,confect加载的是 Python 配置文件,而不是 JSON/YMAL/TOML/INI。与 IPython 配置文件或 DJANGO 设置文件一样,Python 配置文件也很灵活,易于维护。

要了解更多信息,请检查 工程项目资料库中的 README.rst。

例子

附加命令行选项

import click
from proj_X.core import conf


@click.command()
@conf.click_options
def cli():
click.echo(f'cache_expire = {conf.api.cache_expire}')


if __name__ == '__main__':
cli()

它会自动创建一个包含所有属性和默认值声明的全面帮助消息。

$ python -m proj_X.cli --help
Usage: cli.py [OPTIONS]


Options:
--api-cache_expire INTEGER  [default: 86400]
--api-cache_prefix TEXT     [default: proj_X_cache]
--api-url_base_path TEXT    [default: api/v2/]
--db-db_name TEXT           [default: proj_x]
--db-username TEXT          [default: proj_x_admin]
--db-password TEXT          [default: your_password]
--db-host TEXT              [default: 127.0.0.1]
--help                      Show this message and exit.

加载环境变量

它只需要一行来加载环境变量

conf.load_envvars('proj_X')

您可以为此使用 ChainMap。“在 Python 命令行中,哪一种方式是允许重写配置选项的最佳方式?”有个问题。