一、先总结一下以前的经验

本人前公司项目开发基本算是CQRS的,但是有些繁琐

后台和数据接口用.net(后大部分转java),前台nodejs

数据统计用hive,hive每天凌晨同步数据

但是涉及列表含模糊搜索基本都是交给站内搜索团队,他们用Lucene,搜索每天抓取全量数据,定时(比如5分钟)抓取增量数据

碰到的问题主要有两个:

1. 数据库负载问题

很多系统需要相同数据库的数据,导致死锁、io高负载

DBA弄很多从库,有时又出现数据同步延时和数据不一致问题

2. 数据不一致不及时问题

后台、接口、搜索、统计、中转接口的数据有时出现不一致

有些数据还是T+1或者T+2的统计数据

其中极少数是多从库数据不一致和多个“相同功能”逻辑不一致

大部分还是多级缓存的问题

每个程序为了保证可用性,或多或少都自己做了缓存处理

打接口查问题，清缓存都是家常便饭

 

二、现在也有很多.net开源的DDD和CQRS框架

原理也很简单,把已经发生的事情包装为事件(一般用MQ),其他关联系统订阅事件

关联系统需要什么数据就要联系对方提供对应的事件,可能需要开发排期,需要更高层次的领导协调,有时也是苦不堪言

订阅事件写数据同步逻辑大部分都没有啥技术含量,程序员写起来很不爽,觉得数据同步的事情交给DBA就可以了

 

三、为此本人有个设想使用ShadowSql来简化这个过程

比如用mysql存储业务原始数据、es用来做前端展示、hive做数据挖掘

ShadowSql做添加、修改、删除都继承IExecuteSql接口

业务系统执行sql成功后把IExecuteSql对方发送到队列,相当于是mysql的binlog(ShadowSql支持多种数据库,这里只是拿mysql举例,其他数据库也是可以的)

由于ShadowSql支持多种数据库,也可以扩展来支持es和hive等

其他关联系统订阅队列,就可以直接执行sql了

当然这最好有个前提,主键、Id等最好不要用数据库的自增列，否则可能导致不一致

业务要用的字段最好也别用数据库默认值规则产生(比如添加、修改时间等)或触发器修改

当然也是有少部分逻辑不能通过简单数据同步来实现,特例只能程序员写代码了

我相信通过IExecuteSql对象来同步数据库可以解决80%+的问题

 

以上只是设想,ShadowSql暂时还不支持es和hive,为了方便消息处理IExecuteSql对象ShadowSql逻辑可能还需要调整