github.com/86dbs/dbsyncer @v2.1.2

介绍

DBSyncer（英[dbsɪŋkɜː(r)]，美[dbsɪŋkɜː(r) 简称dbs）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

特点 * 组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系 * 实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志 * 开发插件，自定义转化同步逻辑

项目地址

• Gitee
• GitHub

🌈应用场景

作为目标 2.6+ | | ES | ✔ | ✔ | 6.0.0-8.15.3 | | Kafka | ✔ | ✔ | 2.10-0.9.0.0以上 | | File | ✔ | ✔ | .txt, .unl | | Http | ✔ | ✔ | | | SQL | ✔ | | 支持以上关系型数据库 | | 后期计划 | Doris,Kingbase | | |

✨预览

📚使用手册 Wiki

📦安装配置

• dbsyncer-x.x.x.zip 社区版安装教程
• dbsyncer-enterprise-x.x.x.zip 专业版安装教程

方式一 下载安装包

1. 安装JDK 1.8（省略详细）
2. 下载安装包dbsyncer-x.x.x.zip（也可手动编译）
3. 解压安装包，Window执行bin/startup.bat，Linux执行bin/startup.sh
4. 打开浏览器访问：http://127.0.0.1:18686
5. 账号和密码：admin/admin

方式二 🐳 docker

• 阿里云镜像

# 社区版
docker pull scxhtb-registry.cn-hangzhou.cr.aliyuncs.com/xhtb/dbsyncer:latest
docker pull scxhtb-registry.cn-hangzhou.cr.aliyuncs.com/xhtb/dbsyncer:2.1.0
# 专业版
docker pull scxhtb-registry.cn-hangzhou.cr.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull scxhtb-registry.cn-hangzhou.cr.aliyuncs.com/xhtb/dbsyncer-enterprise:2.1.0

• 运行命令

docker run -d \
  --name=dbsyncer \
  --restart=unless-stopped \
  -p 18686:18686 \
  -e TZ="Asia/Shanghai" \
  -m 5g \
  --memory-swap=5g \
  -v /opt/dbsyncer/data:/app/dbsyncer/data \
  -v /opt/dbsyncer/logs:/app/dbsyncer/logs \
  -v /opt/dbsyncer/plugins:/app/dbsyncer/plugins \
  --log-driver json-file \
  --log-opt max-size=100m \
  --log-opt max-file=7 \
  scxhtb-registry.cn-hangzhou.cr.aliyuncs.com/xhtb/dbsyncer:latest

# 本地日志
ls -la /opt/dbsyncer/logs

# 容器日志
docker logs --tail 20 dbsyncer
# 容器实时日志（Ctrl+C退出）
docker logs -f dbsyncer
# 进入容器内部
docker exec -it dbsyncer /bin/bash
# 查看容器日志
ls -la /app/dbsyncer/logs

# 停止容器
docker stop dbsyncer
# 启动容器
docker start dbsyncer
# 重启容器
docker restart dbsyncer
# 删除容器（需先停止）
docker rm dbsyncer

⚙️手动编译

先确保环境已安装JDK和Maven

$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh

🏆性能测试

全量同步

增量同步

专业版介绍

🐞常见问题

• MySQL无法连接。默认使用的驱动版本为8.0.21，如果为mysql5.x需要手动替换驱动 mysql-connector-java-5.1.40.jar
• SQLServer无法连接。案例：驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client preferences [TLS12]”
• 同步数据乱码。案例：mysql8表导入sqlserver2008R2后，sqlserver表nvarchar字段内容为乱码
• 如何开启远程debug模式？

🤝贡献支持

• DBS团队目标：坚持开源，让每一个用户都能轻松完成数据同步！
• QQ群讨论: 875519623
• 欢迎大家提需求和建议【新建issuses】!（详细描述你的原始需求，我们会帮你提供一些方案，节约大家的成本） 1) 内推项目 如您觉得项目不错，可推荐到公司，建立长期稳定的商业合作，提供更专业的技术服务。（入群联系群主） 2) 参与开发 项目成员有不同专业的大佬，相信一定能找到您比较感兴趣的方向，欢迎加入团队！（入群联系群主） 3) 开源不易，感谢粉丝朋友们的支持！【捐赠者名单】