MySQL 怎么快速全量同步到新的数据库中？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 1900 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在使用传统的方式来将一个 DB 同步到另一个新的 DB 中，

导出：mysqldump,
导入：mysql source <sql_file>

由于 DB 比较大（ 30GB ），无论导出，还是导入，都相当慢。

有没有其他更好的方式来做这个工作？

不同的云平台的 RDS，MySQL 5.7

MySQL

导出

导入

RDS

18 条回复 • 2019-10-22 10:21:10 +08:00

airfling

2019-10-18 14:37:58 +08:00

物理 copy 到移动硬盘，然后转移到新的机器上

airfling

2019-10-18 14:38:27 +08:00

30g 你只能找服务商了

rykinia

2019-10-18 14:49:29 +08:00

30g 而已，dump 下来压缩下，用一晚拖下来，再用一晚传到新服务器上

ADME

2019-10-18 14:57:17 +08:00

用工具直接同步过去呗，不过 30g 不知道能不能行

ys521

2019-10-18 14:59:50 +08:00

我都是物理操作捂脸

xmlf

2019-10-18 15:01:42 +08:00 via Android

同问，楼主是问快速同步：：

PainSwim

2019-10-18 15:04:27 +08:00

我司是使用 Kettle 工具的。方便，效率还行，同步差不多有每秒 1000 条数据。

yzongyue

2019-10-18 15:12:56 +08:00

用云平台提供的数据迁移工具？不知道速度如何

clearCode0915

2019-10-18 15:14:55 +08:00

不知道 Percona Toolkit 能不能满足你的需求

Myth666

2019-10-18 15:15:52 +08:00

rsync 把这个文件夹同步到新的机器上去

zealinux

2019-10-18 15:19:43 +08:00

@PainSwim
你 Kettle 是不是可以能跑在无 GUI 的 server 上，
如果启动 Kettle 在本地开发机器上的话，估计会更慢的吧。

---
我 Mac 上还没有启动成功过 Kettle 这个传说过的 ETL 工具。

reddean666

2019-10-18 15:20:22 +08:00

写程序导？按时间或 id 将数据分割成小块，再分治？

zealinux

2019-10-18 15:21:42 +08:00

@Myth666 云平台上 RDS 是不会让你访问到真正的文件夹的。

dcsite

2019-10-18 15:56:23 +08:00

阿里云 RDS 数据迁移，全自动，省心

neko77

2019-10-18 15:59:31 +08:00

阿里云 dts 服务或者 datax 自己撸配置文件

ackermanHu

2019-10-18 17:32:55 +08:00

datax

CivAx

2019-10-18 19:57:13 +08:00

* 先用 innobackupex 全量打包

* 然后再用 innobackupex 全量恢复
我们 71 GB 的数据，打包后约 12 GB。下载备份 6 分钟，解包 10 分钟，回拷 16 分钟，半小时左右数据库恢复完。

如果你是阿里云的 RDS，那就直接下载备份包。

如果不是的话，那就先下载到 RDS 所在的云服务商的内网的服务器，然后再用 lz4 配 tar 光速拉下来，带宽直接跑满。

mattx

2019-10-22 10:21:10 +08:00