最近在忙的项目有个比较棘手的数据同步程序,做了好长一段时间,碰到的挑战不少,简单记录一下。首先看需求:
- 由于数据统计要求,需要将某数据系统里的多个服务系统的数据同步到本地数据库中,同步的时间周期为一年开始到最新的数据。
- 该系统中的数据条目基本上每天都可能有数万条更新,且今天同步完的数据第二天仍然可能会发生改变。
- 某个服务在该系统中并不是每一天都有数据,可能某些天有数据,某些天没有数据。
- 数据同步程序采用微服务方式部署,具体表现形式为一个 Docker Instance,这意味着这个程序可能会经常重启或者部署。
- 数据同步程序需要做到无人值守,且能够正确同步所需要处理的数据,[……]