|
|
51CTO旗下网站
|
|
移动端

Python开发必备:如何建立一个优秀的项目工程环境

在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python为例,教大家如何快速打造优秀的Python项目开发环境:内容涵盖了模块依赖管理、代码风格管理、调试测试管理和Git版本管理,使用git hook做项目规范检查等。

作者:虫虫安全来源:今日头条|2019-09-03 11:32

在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python为例,教大家如何快速打造优秀的Python项目开发环境:内容涵盖了模块依赖管理、代码风格管理、调试测试管理和Git版本管理,使用git hook做项目规范检查等。

pipx

Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在 Linux、Mac OS 和 Windows 上运行。Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本:

  1. python3 -m pip install --user pipx 
  2. python3 -m pipx ensurepath 

升级Pipx使用:

  1. python3 -m pip install -U pipx 

包依赖管理pipenv

Pipenv会自动为你的项目创建和管理虚拟环境,以pipfile文件方式方式管理项目的依赖包,支持包的安装和卸载。和requirements.txt不同,pipfile是TOML格式,支持开发环境与正式环境,还可以使用Pipfile.lock锁定环境版本。pipxenv的安装可以使用pipx:

  1. pipx install pipenv 

有些发行版也是可以直接通过其包管理器安装的:

比如MacOS可以下可以使用:

  1. brew install pipenv 

一个pipfile的示例如下:

Pipfile.lock的示例部分如下:

代码风格

代码格式化black

代码格式的统一不光可以给我们一个惬意的代码格式,而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。

Black就是用来格式化Python代码的程序。它可以自动帮我们对代码格式进行调整和统一,提高代码效率和可读性。而且通过Black减小代码风格的差异,可以极大提高团队进行代码审查的效率。

一个Black格式化示例如下:

原始代码:

  1. def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False): 
  2. """Applies `variables` to the `template` and writes to `file`.""" 
  3. with open(file, 'w'as f: 
  4. ... 

格式化后的代码:

  1. def very_important_function( 
  2. template: str, 
  3. *variables, 
  4. file: os.PathLike, 
  5. engine: str, 
  6. header: bool = True
  7. debug: bool = False
  8. ): 
  9. """Applies `variables` to the `template` and writes to `file`.""" 
  10. with open(file, "w"as f: 
  11. ... 

isort美化import部分代码

Python开发中经常需要import第三方的模块,往往这部分代码混乱不堪,使用isort可以则可以美化这部分的代码。 isort可以按字母表顺序对import进行排序,自动分成多个部分。

我们可以使用pipenv安装black 和isort:

  1. pipenv install black isort -dev 

isort的效果示例,可以看下面的动图:

Black和isort同时使用时,两者默认配置不兼容,我们需要覆盖isort配置,优先以Black的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。

  1. [isort] 
  2. multi_line_output=3 
  3. include_trailing_comma=True 
  4. force_grid_wrap=0 
  5. use_parentheses=True 
  6. line_length=88 

flake8代码风格检测

Flake8可以用来确保代码遵循PEP8中定义的标准Python编程约定,是Python官方辅助代码风格检测工具,lake8检查规则灵活,支持集成额外插件(比如vim、sublime、PyCharm、vsc等都有其相关插件),扩展性强。

其安装也可以使用pipenv:

  1. pipenv install flake8 –dev 

flake8的使用示例如下:

flake8 example.py的检查结果:

flake8默认会忽略一些约定(E,F),如果我们检查所有约定:

flake8 --select E,F example.py,结果:

和isort一样,为了配合兼容Black,需要在setup.cfg中额外配置:

  1. [flake8] 
  2. ignore = E203, E266, E501, W503 
  3. max-line-length = 88 
  4. max-complexity = 18 
  5. select = B,C,E,F,W,T4 

mypy静态类型

Mypy是Python的可选静态类型检查器,可以用结合动态(或"鸭子")类型和静态类型优点其他代码的性能。通过Mypy将Python的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合,并且生成原生代码,支持通过Python VM运行,可以没有运行时开销的高性能运行。在Python中使用静态类型好处有:

可以使程序更易于理解和维护;

可以帮助编译时调试和发现错误,减少测试和调试。

可以在代码部署到生产环境之前就可以找到难以捕捉的错误。

可以使用pipenv直接安装Mypy:

  1. pipenv install mypy –dev 

mypy动态类型和静态类型一个示例如下:

项目配置

默认情况下,Mypy会递归检查所有类型注释的导入,这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行,并忽略没有类型注释的import模块。这也可以在setup.cfg中设置:

  1. [mypy] 
  2. files=项目,test 
  3. ignore_missing_imports=true 

代码测试

程序开发中,除了写代码外,另外一个重要的部分是单元测试。Python测试方面我们要介绍的工具有pytest。

可以使用pipenv添加测试工具包及扩展:

  1. pipenv install pytest pytest-cov --dev 

Pytest框架可以让编写小测试变得容易,而且支持以扩展的方式提供更加复杂的功能。下面是pytest网站的一个简单示例:

  1. # content of test_sample.py 
  2. def inc(x): 
  3. return x + 1 
  4. def test_answer(): 
  5. assert inc(3) == 5 

通过以下命令测试

  1. pipenv run pytest 

结果如下:

pytest-cov是pytest的单元测试行覆盖率的插件。pytets-cov的测试结果示例如下:

pytest还有很多的扩展插件:

pytest-cov: 单元测试覆盖率报告

pytest-django: 对Django框架的单元测框架

pytest-asyncio:对asyncio的支持

pytest-twisted: 对twisted框架的单元测框架

pytest-instafail: 发送错误时报告错误信息

pytest-bdd 测试驱动开发工具

pytest-konira 测试驱动开发工具

pytest-timeout: 支持超时功能

pytest-pep8: 支持PEP8检查

pytest-flakes: 结合pyflakes进行代码检查

更多插件可以查看github pytest-dev组织下的项目。

项目配置

项目中,所有的测试都应该放在test目录中,我需要给setup.cfg添加配置:

  1. [tool:pytest] 
  2. testpaths=test 

单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息,配置示例如下:

  1. [run] 
  2. source = 项目 
  3. [report] 
  4. exclude_lines = 
  5. pragma: no cover 
  6. def __repr__ 
  7. if self\.debug 
  8. raise AssertionError 
  9. raise NotImplementedError 
  10. if 0: 
  11. if __name__ == .__main__.: 

然后再工程中运行一下命令,测试项目的覆盖率

  1. pipenv run pytest --cov --cov-fail-under =100 

如果程序代码的测试覆盖率低于100%,就会报错。

Git pre-commit hook规范检查

Git hook可以让我们在提交或推送时执行检查脚本,脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子,下面.pre-commit-config.yaml配置示例可以帮我们自动做代码规范化,包括isort检查、black检查、flake8检查、mypy静态类型检查、pytest测试、pytest-cov测试覆盖率检查:

  1. repos: 
  2. - repo: local 
  3. hooks: 
  4. - id: isort 
  5. name: isort 
  6. stages: [commit
  7. language: system 
  8. entry: pipenv run isort 
  9. types: [python] 
  10. - id: black 
  11. name: black 
  12. stages: [commit
  13. language: system 
  14. entry: pipenv run black 
  15. types: [python] 
  16. - id: flake8 
  17. name: flake8 
  18. stages: [commit
  19. language: system 
  20. entry: pipenv run flake8 
  21. types: [python] 
  22. exclude: setup.py 
  23. - id: mypy 
  24. name: mypy 
  25. stages: [commit
  26. language: system 
  27. entry: pipenv run mypy 
  28. types: [python] 
  29. pass_filenames: false 
  30. - id: pytest 
  31. name: pytest 
  32. stages: [commit
  33. language: system 
  34. entry: pipenv run pytest 
  35. types: [python] 
  36. - id: pytest-cov 
  37. name: pytest 
  38. stages: [push] 
  39. language: system 
  40. entry: pipenv run pytest --cov --cov-fail-under=100 
  41. types: [python] 

如果你需要跳过这些钩子,你可以运行git commit --no-verify或git push --no-verify

cookiecutter自动创建项目

上面我们提到Python项目应该具备的工具集和配置,可以将其作为模版。cookiecutter的模版定义范例如下:

  1. cookiecutter.json 

  2. "full_name""Chongchong"
  3. "email""chongchong@ijz.me"
  4. "project_name""Python-Practice"
  5. "repo_name"""Python-Practice ", 
  6. "project_short_description""The Simple Python Development Practice Example."
  7. "release_date""2019-09-02"
  8. "year""2019"
  9. "version""0.0.1" 

然后使用cookiecutter自动生成整改工程:

  1. pipx run cookiecutter Python-Practice 
  2. cd Python-Practice 
  3. git init 

安装依赖项

  1. pipenv install --dev 

运行 pre-commit和pre-push hook:

  1. pipenv run pre-commit install -t pre-commit 
  2. pipenv run pre-commit install -t pre-push 

总结

本文我们介绍了在Python项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成Python项目,代码风格检查、代码测试等操作,可以帮助我们打造一个高效完美的Python开发环境。

【编辑推荐】

  1. 使用 Python 函数进行模块化
  2. 如何在 Linux 上重命名一组文件
  3. PYPL 9 月编程语言排行榜发布,Python 一枝独秀
  4. Linux运维会被淘汰吗?
  5. 细说Python的Lambda函数用法,建议收藏
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

这就是5G

这就是5G

5G那些事儿
共15章 | armmay

117人订阅学习

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

371人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

758人订阅学习

读 书 +更多

Java程序设计专家门诊

精选目前国内外最流行的程序设计语言——Java作为本书的选题,并以丰富的内容来解决读者学习该语言时可能遇到的各种问题。以专业的论坛为基...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微