先分清同步的四种典型场景
数据同步的需求看起来相似,落地差别很大。先判断自己属于哪一类:
- 同构库之间:如 MySQL 到 MySQL,多用于读写分离、跨机房容灾。
- 异构库之间:如 MySQL 到 Elasticsearch、PostgreSQL 到 ClickHouse,服务于检索、分析。
- 库到数仓/数据湖:强调批量吞吐与历史可追溯。
- 多活与双向同步:最难,要处理写冲突。
场景判断错了,选型基本会走偏。比如把分析型同步当成在线交易同步来做,往往在延迟和成本上两头不讨好。
全量与增量:同步的两条腿
全量同步负责建立基线,增量同步负责持续追平。工程上常见的做法是:先做一次快照,再从快照对应的位点开始消费增量,避免两者之间出现数据空洞。
全量的难点在一致性快照和对源库的压力。大表直接 SELECT 容易拖慢生产库,通常采用一致性读、分批游标或从只读副本拉取。增量的难点在位点管理:位点丢失意味着重复或遗漏,位点回退意味着重复写入,下游必须幂等。
主流增量方案对比
基于日志的订阅(CDC)
读取数据库的 binlog、WAL 或 redo 日志,解析成变更事件。优点是侵入性低、对源库压力小、能捕获删除操作;缺点是需要处理日志格式变化、DDL 变更和事务边界。适合实时性要求高的场景。
基于触发器的同步
在表上挂触发器写变更表。实现简单,但触发器与业务事务耦合,高并发下会放大锁竞争和写入延迟,通常只适合低流量表。
双写
应用层同时写两个库。灵活、可控,但一致性靠代码保证,任何一条写路径遗漏就会产生脏数据。多见于过渡期方案,长期维护成本高。
批量抽取
按时间戳或自增 ID 拉取变更。实现门槛最低,但难以捕获物理删除,时间戳字段还容易因时钟或并发写入出现漏数。适合 T+1 类分析场景。
一致性、延迟与成本的三角
三者很难同时最优。强一致通常意味着同步写、增加延迟;低延迟的异步复制在网络抖动时会短暂不一致;而为了降成本采用的批量方案,延迟往往以分钟甚至小时计。
实践中的处理原则:
- 明确可接受的不一致窗口,并把它写进监控指标,而不是口头约定。
- 下游写入保持幂等,用主键或版本号去重,为重复投递兜底。
- 对账机制不可省,定期比对行数与关键字段校验和,比事后排查便宜得多。
- DDL 变更纳入流程,源表加字段导致同步任务中断是很常见的故障。
落地时的几个检查点
选型前先问清楚:源库能否开日志、下游能否承受重复写、删除是否需要同步、Schema 变更由谁负责。上线后盯住三件事:同步延迟、失败重试队列、数据差异告警。把这三点做扎实,多数同步问题都能在影响业务之前被发现。