数据库迁移是实际工作中经常遇到的问题，比如由于磁盘空间、业务性能、项目改造等等原因，有从甲服务器迁移到乙服务器，从A种数据库迁移到B种数据库，从源路径迁移到另一个目标路径、同一个机器下从一个用户迁移到另一个用户等各种场景，有时需要整个数据库所有文件都迁移，有时只需要迁移部分数据文件如REDO、表空间文件等。
目录
一、概述二、迁移前准备：下载pgloader修改openGauss加密方式（重要）openGauss设置监听测试用户和数据
三、配置文件四、执行迁移五、结果验证
一、概述
云原生数据库openGauss也支持若干数据库迁移工具，其中的pgloader是一个数据导入工具，使用COPY命令将数据导入到PostgreSQL。pgloader有两种工作模式，一种是从文件导入，一种是迁移数据库。pgloader在两种情况下都使用PostgreSQL的COPY协议高效的传输数据。 openGauss兼容PostgreSQL的通信协议以及绝大部分语法，本文就介绍如何使用pgloader将MySQL数据库迁移至openGauss。
整个过程可以基本分为四步： 迁移前准备 > 相关文件配置 > 执行迁移 > 结果验证
二、迁移前准备：
下载pgloader
除了 源数据库MySQL 和目标数据库openGauss，它们之间需要网络互通外。还需要关键工具pgloader。因为某些网络原因，我这里使用的是docker 版本的pgloader 下载，安装在目标库所在服务器上。 默认pull最新版本。
[root@pekphisprb70593 software]# docker pull dimitri/pgloader
[root@pekphisprb70593 software]# docker run --rm --name pgloader dimitri/pgloader:latest pgloader --version
pgloader version "3.6.7~devel"
compiled with SBCL 2.1.1.debian
需要注意的是，它只是命令行工具，所以一旦执行完毕会自动退出。故每次都需要“docker run --rm --name pgloader dimitri/pgloader:latest pgloader + 具体操作”的命令。
修改openGauss加密方式（重要）
用户密码存储在系统表pg_authid中，为防止用户密码泄露，openGauss对用户密码进行加密存储，所采用的加密算法由配置参数password_encryption_type决定。
当参数password_encryption_type设置为0时，表示采用md5方式对密码加密。当参数password_encryption_type设置为1时，表示采用sha256和md5方式对密码加密。当参数password_encryption_type设置为2时，表示采用sha256方式对密码加密，为默认配置。
由于MD5加密算法安全性低，存在安全风险，不建议使用。openGauss 对原生PostgreSQL的通信协议进行了安全加固，这导致与PostgreSQL的默认通信协议互相不兼容了，因此，使用pgloader的PostgreSQL原生版本默认是不能连接openGauss的。会报类似下述错误：
通过修改该GUC参数修改数据库加密算法，执行如下命令将参数修改为1 ，同时支持md5 和sha256
gs_guc reload -N all -I all -c "password_encryption_type=1"
一定要在设置完上述参数后，再新建用户。
openGauss设置监听
若不设置，可能会像我一样遇到“Failed to connect to pgsql at “xxx” (port 15400) as user “opengauss_test”: Database error 28000: no pg_hba.conf entry for host “172.17.0.2”.” 设置方法：
cd /opt/huawei/install/data/dn/
vi pg_hba.conf
在IPv4中新增一行
host all all 0.0.0.0/0 md5
然后重启数据库
[omm@pekphisprb70593 dn]$ gs_om -t stop
[omm@pekphisprb70593 dn]$ gs_om -t start
测试用户和数据
这一步是可选的，包括源库的数据库、用户和原始数据，目标库的数据库和用户。如果都已经有了则直接跳过看下一步，缺啥补啥。 创建目标库openGauss的用户及database.
[omm@pekphisprb70593 ~]$ gsql -d postgres -p 15400
openGauss=# CREATE USER opengauss_test identified by 'Gauss_234';
openGauss=# GRANT ALL PRIVILEGES TO opengauss_test;
openGauss=# CREATE DATABASE opengauss_db with owner opengauss_test ENCODING 'utf8' template = template0;
新建了一个空表test2。
[omm@pekphisprb70593 dn]$ gsql -d opengauss_db -p 15400
opengauss_db=# create table if not exists test2(id integer);
CREATE TABLE
创建源数据库和用户，刷新系统授权表。
CREATE DATABASE IF NOT EXISTS mysql_db1 default charset utf8;
CREATE USER mysql_t1 identified by 'Mysql_234' ;
GRANT ALL PRIVILEGES ON *.* TO 'mysql_t1' WITH GRANT OPTION;
FLUSH PRIVILEGES;
构造数据
mysql@siaphisprk01345:~> mysql -u mysql_t1 -p
mysql> use mysql_db1;
create table if not exists test1 (id int(10),name char(20),salary float,time datetime(6),addr varchar(200),primary key(id)) ;
insert into test1 values (1,'zhangsan',2000.00,'2018-06-01 00:00:00','beijing');
insert into test1 values (2,'李四',2000.89,'2018-06-01 00:00:00','西安');
insert into test1 values (3,'Bob',2000,'2018-06-02 00:00:00','南京');
#创建了一个和目标数据库表结构不同的test2。
create table if not exists test2(id int(10),name varchar(20));
insert into test2 values (1234567,'Kevin');
#创建空表test3。
create table if not exists test3(id int(10));
三、配置文件
pgloader提供丰富的配置项，我们可以自由定义迁移时的各类动作，如通过include drop，删除目标数据库中名称出现在MySQL数据库中的所有表，以允许连续多次使用同一命令，从干净的环境自动启动。 在pgloader所在服务器任意路径下创建一个配置文件，文件可以命名为opengauss.loader。下面是一个配置文件示例，里面的值需要修改为自己环境的实际值。
LOAD DATABASE
FROM mysql://mysql_t1:Mysql_234@1.1.1.1:3306/mysql_db1
INTO postgresql://opengauss_test:Gauss_234@2.2.2.2:15400/opengauss_db
WITH include drop, create tables, create indexes, reset no sequences,
workers = 8, concurrency = 1,
multiple readers per thread, rows per range = 50000
CAST
type varchar when(= 1 precision) to "boolean" drop typemod keep default keep not null;
几个配置项简单介绍下：
FROM：源库，格式： mysql://用户名:密码@IP:端口/数据库名称INTO：目标库，格式： postgresql://用户名:密码@IP:端口/数据库名称WITH：从MySQL数据库加载时的选项。有include drop、create tables、create indexes等选项。CAST：因为两种数据库的数据类型并不完全一致，工具允许用户覆盖已有的默认转换规则或者使用特殊情况修改它们，自定义类型转换规则。 还有个比较重要的功能是部分迁移：用户可以通过 including only table names matching 和 excluding table names matching 实现只迁移特定的表或者在迁移过程中排除特定的表。
更详细的配置项解读，可查看官网的说明：https://pgloader.readthedocs.io/en/latest/ref/mysql.html Migratinga MySQL Database to PostgreSQL — pgloader 3.4.1 documentation
四、执行迁移
启动docker：
docker run -tid --name pgloader_test dimitri/pgloader
复制配置文件到docker：
docker cp ./openGauss.loader pgloader_test:/
进入docker环境：
docker exec -it pgloader_test /bin/bash
启动迁移
root@548498fb64a6:/# pgloader opengauss.loader
如果遇到问题可以先按照上面的配置步骤去检查下。
五、结果验证
现在来看下迁移结果与预期是否一致： 在目标库进行查询：
[omm@pekphisprb70593 dn]$ gsql -d opengauss_db -p 15400
可以看出表 test1和test3包括数据都已经迁移过来。test2由于迁移前后的数据库结构不一致并没有迁移成功。与预期一致。 但是之前mysql定义的float类型，被强制转成double precision。其他的一些不同和限制有兴趣或者必须要迁移的同学自行探索下。
总结：使用pgloader进行数据库的迁移过程还是比较简单的，有兴趣的同学可以尝试下。
openGauss: 一款高性能、高安全、高可靠的企业级开源关系型数据库。
如果您觉得博主的文章还不错或者有帮助的话，请关注一下博主，如果三连点赞评论收藏就更好啦！谢谢各位大佬给予的支持！
精彩链接
您阅读本篇文章共花了：
发表评论