文章目录[隐藏]

Part1ini和cfg文件
Part2json配置文件
Part3yaml
- 1yaml文件规则
- 2yaml文件数据结构
  - 参考资料

深度学习项目中配置文件探析，用ini、json还是yaml？附源码示例

扫码关注程旭源，俺们一起成长 ...

深度学习项目中配置文件探析，用ini、json还是yaml？附源码示例

通过本文可以了解：

本文介绍Python项目配置文件的几种方法，主要是高校管理参数的功能，例如通过ini/cfg、json、yaml文件设置项目参数和读取参数的示例。

作者丨程旭源

学习笔记

之前写了一篇关于《Python深度学习项目代码结构》的文章：

深度学习项目，代码结构、风格和习惯，让自己的代码更Pythonic!

2022-12-07

主要介绍了在构建项目的时候，把架构布置清晰。里面提到了configs模块，用来配置超参数、文件路径、普通参数、常量、标志等。

参数太多和项目架构太大的时候，多次修改找它们可能会消耗很多时间，同时无法突出项目核心部分，能不能有效的管理它们？

1、如果项目仅仅使用了python语言开发，可以写在py文件中，例如settings.py或者config.py，在需要的地方import导入调用即可，也很方便。弊端是，项目往往不仅仅用python语言，还可能Java、c++、go/rust等，就无法跨语言共享参数了。

2、常见的还有保存在 ini、cfg、json、toml、yaml、properties 等文件下。

将参数分开放，不仅仅提高效率，项目核心代码也会显得整洁。

下面是几种常见方法的介绍：

Part1ini和cfg文件

ini和cfg文件的写法比较简单，通常由三部分组成：节（Section）、键（key）和值（value），使用Python 内置库 configparser就可以解析配置文件。假如我们的配置文件是config.cfg，内容如下：

[GENERAL]
domains = tourism
seed = 20230301

[logging]
usecolor = False
screen_level = results
file_level = results
file = auto

我们写个代码读取

from configparser import ConfigParser

def load_config(config_file):
    """
    加载config file到 ConfigParser()
    :param config_file: path to config
    :type config_file: str
    """
    global config
    config = None
    if config_file is not None:
        print('load config_file')
        try:
            config = ConfigParser()
            config.read(config_file)
        except Exception as inst:
            print('Failed to parse file', inst)
    else:
        print('load empty config')
        config = ConfigParser()
    return config

if __name__ == '__main__':
    cfg = load_config(config_file='configs.ini')
    print(cfg.items("GENERAL"))
    # [('domains', 'tourism'), ('seed', '20230301')]
    print(cfg_dict := dict(cfg.items("GENERAL")))
    # {'domains': 'tourism', 'seed': '20230301'}

configparser 默认将值以字符串的形式呈现，在cfg或ini文件中都不需要再加双引号了，这里我们还使用了海象符号:=将读取的配置文件转换成字典，方便调用。

Part2json配置文件

上面我们读取cfg文件后最后转换成字典，我们python内置了json不是可以处理字符串和字典吗？

json.load() 用于从文件中读取 JSON 文档
json.loads() 用于将JSON字符串文档转换为Python字典。

我们将上面的配置转换成json格式：深度学习项目中配置文件探析，用ini、json还是yaml？附源码示例

然后读取：

import json

with open('configs.json') as j:
    cfg = json.load(j)['logging']
    print(cfg)
# {'file': 'auto', 'file_level': 'results', 'screen_level': 'results'}

也实现了文件配置，缺点是无法写注释、无法写过长或复杂的参数配置，容易出错。

我们再看看有没有其他方案：

Part3yaml

yaml(yml)^[1]格式是目前较为流行的一种配置文件，但上手不如前面的cfg/json等方式那么容易。最近写的Rasa对话机器人相关配置、docker_compose.yml等都是使用的yaml文件。

python相关的yaml工具包：https://yaml.readthedocs.io/en/latest/ https://pyyaml.org/ https://hitchdev.com/strictyaml/

首先我们要下载一下PyYAML依赖包：

pip install pyyaml

我们的配置内容在yaml文件中是这样的：深度学习项目中配置文件探析，用ini、json还是yaml？附源码示例

使用yaml的时候，我们不使用load()去加载，而是使用safe_load(),这样去加载即可：

import yaml
from pprint import pprint

with open("config.yaml", "r") as config:
    cfg = yaml.safe_load(config)
    pprint(cfg)
    
# output:
{'GENERAL': {'domains': 'tourism', 'seed': 20230301},
 'logging': {'file': 'auto',
             'file_level': 'results',
             'screen_level': 'results'}}