Spring Boot 2实战:使用Flyway管理你数据库的版本变更

开发 后端 数据库运维
如何能做到像 Git 之类的版本控制工具来管理数据库?Java 项目中常用 Flyway 和 Liquibase 来管理数据库版本。其中 Flyway 相对来说比较受欢迎。

 

1. 前言

随着项目的不断迭代,数据库表结构、数据都在发生着变化。甚至有的业务在多环境版本并行运行。数据为王的时代,管理好数据库的版本也成为了迫切的需要。如何能做到像 Git 之类的版本控制工具来管理数据库?Java 项目中常用 Flyway 和 Liquibase 来管理数据库版本。其中 Flyway 相对来说比较受欢迎。

2. Flyway 的特点

Flyway 大受欢迎是因为它具有以下优点:

  •  简单 非常容易安装和学习,同时迁移的方式也很容易被开发者接受。
  •  专一 Flyway 专注于搞数据库迁移、版本控制而并没有其它副作用。
  •  强大 专为连续交付而设计。让Flyway在应用程序启动时迁移数据库。

3. Flyway 的工作机制

Flyway 需要在 DB 中先创建一个 metadata 表 (缺省表名为 flyway_schema_history), 在该表中保存着每次 migration (迁移)的记录, 记录包含 migration 脚本的版本号和 SQL 脚本的 checksum 值。下图表示了多个数据库版本。

对应的 metadata 表记录:

installed_rank version description type script checksum installed_by installed_on execution_time success
1 1 Initial Setup SQL V1__Initial_Setup.sql 1996767037 axel 2016-02-04 22:23:00.0 546 true
2 2 First Changes SQL V2__First_Changes.sql 1279644856 axel 2016-02-06 09:18:00.0 127 true

Flyway 扫描文件系统或应用程序的类路径读取 DDL 和 DML 以进行迁移。根据metadata 表进行检查迁移。如果脚本声明的版本号小于或等于标记为当前版本的版本号之一,将忽略它们。其余迁移是待处理迁移:可用,但未应用。最后按版本号对它们进行排序并按顺序执行 并将执行结果写入 metadata 表。

对应的 metadata 表记录:

installed_rank version description type script checksum installed_by installed_on execution_time success
1 1 Initial Setup SQL V1__Initial_Setup.sql 1996767037 axel 2016-02-04 22:23:00.0 546 true
2 2 First Changes SQL V2__First_Changes.sql 1279644856 axel 2016-02-06 09:18:00.0 127 true

Flyway 支持命令行(需要下载命令行工具)和 Java Api ,也支持构建工具 Maven 和 Gradle 。这里我们将目光放在 Java Api 上。

3. Flyway 的规则

Flyway 是如何比较两个 SQL 文件的先后顺序呢?它采用 采用左对齐原则, 缺位用 0 代替 。举几个例子:

1.0.1.1 比 1.0.1 版本高。

1.0.10 比 1.0.9.4 版本高。

1.0.10 和 1.0.010 版本号一样高, 每个版本号部分的前导 0 会被忽略。

Flyway 将 SQL 文件分为 Versioned 、Repeatable 和 Undo 三种:

  •  Versioned 用于版本升级, 每个版本有唯一的版本号并只能执行一次.
  •  Repeatable 可重复执行, 当 Flyway检测到 Repeatable 类型的 SQL 脚本的 checksum 有变动, Flyway 就会重新应用该脚本. 它并不用于版本更新, 这类的 migration 总是在 Versioned 执行之后才被执行。
  •  Undo 用于撤销具有相同版本的版本化迁移带来的影响。但是该回滚过于粗暴,过于机械化,一般不推荐使用。一般建议使用 Versioned 模式来解决。

这三种的命名规则如下图:

  •  Prefix 可配置,前缀标识,默认值 V 表示 Versioned, R 表示 Repeatable, U 表示 Undo
  •  Version 标识版本号, 由一个或多个数字构成, 数字之间的分隔符可用点 . 或下划线 _
  •  Separator 可配置, 用于分隔版本标识与描述信息, 默认为两个下划线 __
  •  Description 描述信息, 文字之间可以用下划线 _ 或空格 分隔
  •  Suffix 可配置, 后续标识, 默认为 .sql

4. Spring Boot 集成 Flyway

Spring Boot 提供了对 Flyway 的自动配置 。使我们可以开箱即用 Flyway 进行数据库版本控制。

4.1 Flyway 依赖

你只需要引入依赖:     

  1. <!-- 无需版本号 -->  
  2.  <dependency>  
  3.       <groupId>org.flywaydb</groupId>  
  4.       <artifactId>flyway-core</artifactId>  
  5.  </dependency>       

当然你要集成你的相关数据库环境。这里我们采用 H2 数据库来演示,其它数据库同理只不过方言不同。不熟悉 H2 数据库的可参阅我的专题文章 Spring Boot 2 实战:H2数据库集成以及使用 。

4.2 Flyway 配置

为了直观的讲解配置,首先在 Spring Boot 配置文件 application.yml 我们配置 H2 数据库为: 

  1. spring:  
  2.    datasource:  
  3.      #  h2 驱动  
  4.      driver-class-name: org.h2.Driver  
  5.      # h2  数据库 持久化到磁盘D:/h2 库名: flyway  mysql模式  
  6.      url: jdbc:h2:file:D:/h2/flyway;MODE=MySQL;DATABASE_TO_LOWER=TRUE  
  7.    h2:  
  8.      #    开启console 访问 默认false  
  9.      console:  
  10.        enabled: true  
  11.        settings:  
  12.          #      开启h2 console 跟踪 方便调试  默认 false  
  13.          trace: true  
  14.          #      允许console 远程访问 默认false  
  15.          web-allow-others: true  
  16.        #  h2 访问路径上下文  
  17.        path: /h2-console 

对应Flyway的配置为: 

  1. # flyway 配置  
  2. spring:  
  3.   flyway:  
  4.     # 启用或禁用 flyway  
  5.     enabled: true  
  6.     # flyway 的 clean 命令会删除指定 schema 下的所有 table, 生产务必禁掉。这个默认值是 false 理论上作为默认配置是不科学的。  
  7.     clean-disabled: true  
  8.     # SQL 脚本的目录,多个路径使用逗号分隔 默认值 classpath:db/migration  
  9.     locations: classpath:db/migration  
  10.     #  metadata 版本控制信息表 默认 flyway_schema_history  
  11.     table: flyway_schema_history  
  12.     # 如果没有 flyway_schema_history 这个 metadata 表, 在执行 flyway migrate 命令之前, 必须先执行 flyway baseline 命令  
  13.     # 设置为 true 后 flyway 将在需要 baseline 的时候, 自动执行一次 baseline。  
  14.     baseline-on-migrate: true  
  15.     # 指定 baseline 的版本号,默认值为 1, 低于该版本号的 SQL 文件, migrate 时会被忽略  
  16.     baseline-version: 1  
  17.     # 字符编码 默认 UTF-8  
  18.     encoding: UTF-8  
  19.     # 是否允许不按顺序迁移 开发建议 true  生产建议 false  
  20.     out-of-order: false  
  21.     # 需要 flyway 管控的 schema list,这里我们配置为flyway  缺省的话, 使用spring.datasource.url 配置的那个 schema,  
  22.     # 可以指定多个schema, 但仅会在第一个schema下建立 metadata 表, 也仅在第一个schema应用migration sql 脚本.  
  23.     # 但flyway Clean 命令会依次在这些schema下都执行一遍. 所以 确保生产 spring.flyway.clean-disabled 为 true  
  24.     schemas: flyway  
  25.     # 执行迁移时是否自动调用验证   当你的 版本不符合逻辑 比如 你先执行了 DML 而没有 对应的DDL 会抛出异常  
  26.     validate-on-migrate: true 

请务必仔细阅读 Flyway 相关配置的说明。

4.3 编写 SQL 初始化脚本

我们先编写一个初始化 SQL 文件,向 H2 数据库已经自动初始化的 schema flyway 添加一张 sys_user 表。请注意命名规则。脚本名称为 V1.0.1__Add_table_user.sql 。SQL 脚本的位置在配置的 spring.flyway.locations 下。内容为: 

  1. use `flyway`;  
  2. CREATE TABLE `sys_user`  
  3.  
  4.     `user_id`         int(10) unsigned NOT NULL AUTO_INCREMENT,  
  5.     `username`        varchar(1024)    NOT NULL unique ,  
  6.     `encode_password` varchar(1024)       NOT NULL,  
  7.     `age`             int(3)           NOT NULL,  
  8.     PRIMARY KEY (`user_id`)  
  9. ENGINE = InnoDB  
  10.   DEFAULT CHARSET = utf8mb4 
  11. insert into  flyway.sys_user values (1,'Felordcn','{noop}12345',18); 

启动 Spring Boot 应用 。打开 H2 数据库控制台 http://localhost:8080/h2-console ,在 JDBC URL 一栏粘贴 jdbc:h2:file:D:/h2/flyway;MODE=MySQL;DATABASE_TO_LOWER=TRUE 并点击 Connect 按钮会进入以下界面:

这里 -1 是因为我们缺省了 Flyway 需要的 flyway_schema_history 表 。0 是因为 H2 数据库自动初始化了 Schema flyway ,其它数据库可能需要你手动来建立。

4.4 编写 SQL 变更脚本

我们编写一个 V1.0.0__Delete_sysuser_felordcn.sql 来删除 V1.0.1__Add_table_user.sql 中初始化的用户。你会发现启动报错了,因为我们开启了校验,所以对于逻辑错误的版本会抛出异常。我们将版本号更改为 V1.0.2__Delete_sysuser_felordcn.sql 再次启动。通过 H2 数据库控制台我们会发现多了一条变更记录:

同时 sys_user 表的数据也没有了,符合预期。

5. Flyway 最佳实践

通过上面的介绍相信你很快就会使用 Flyway 进行数据库版本控制了。这里总结了一些在实际开发中的使用经验:

  1.  生产务必禁 spring.flyway.cleanDisabled=false 。
  2.  尽量避免使用 Undo 模式。
  3.  开发版本号尽量根据团队来进行多层次的命名避免混乱。比如 V1.0.1__ProjectName_{Feature|fix}_Developer_Description.sql ,这种命名同时也可以获取更多脚本的开发者和相关功能的信息。
  4.  spring.flyway.outOfOrder 取值 生产上使用 true,开发中使用 false。
  5.  多个系统公用一个 数据库 schema 时配置spring.flyway.table 为不同的系统设置不同的 metadata 表名而不使用缺省值 flyway_schema_history 。

6. 总结

今天我们对 Flyway 数据库版本迁移管理工具进行了介绍并将之与 Spring Boot 相结合。这将大大规范我们的数据库管理,提高生产效率。同时也分享了一些相当有用的生产实践经验。 

 

责任编辑:庞桂玉 来源: segmentfault
相关推荐

2017-12-27 15:16:35

Spring BootFlyway数据库

2021-06-29 17:19:44

Spring Boot集成Flyway

2021-03-09 17:11:09

数据库脚手架开发

2020-08-13 07:42:15

数据库Flyway代码

2012-06-06 10:09:31

iPad数据中心

2010-08-10 09:37:29

DB2 9.7

2023-04-28 15:15:39

数据库JPA

2021-05-18 07:30:36

开发Spring Boot日志

2021-06-15 15:00:08

Cockpit树莓派Linux

2021-05-17 08:00:00

数据库工具Flyway

2010-03-22 16:57:18

密码文件数据库密码安全

2010-08-26 16:15:25

DB2数据库管理

2011-08-25 13:41:50

SQL Server 变更跟踪

2010-07-29 09:14:57

DB2数据库表

2010-08-06 14:29:14

DB2数据库并置

2011-03-04 10:30:25

ASP数据库

2022-06-30 15:48:52

rustupRust

2019-08-05 15:38:07

BitwardenPodman密码管理器

2018-03-05 10:18:44

Linux密码密码管理器

2023-12-08 09:35:37

点赞
收藏

51CTO技术栈公众号