标签归档:大数据

关于大数据系统设计的建议

回首以前
不知不觉系统已经上线6年了,
这6年中,系统经历了由单个公司过渡到所有公司共用一个集中式数据库的过程;
在这6年中,我学会了进销存数据库的设计,了解到一些常用的业务管理所需要用到的方法;
一 单公司数据库:
单公司数据库,由于业务量小,每个模块每天的单据量不会超过3百,整个数据库的数据行数少,系统集中式查询也比较少,
所有单公司系统,系统整体的压力也比较小
二集中式数据库:
集中式数据库,业务量大,每个模块每天所产生的单据6千张所有,所有公司的数据都放入一个数据库,数据表行数比较大,数据批量查询次数比较多,系统中大表比较多。

通过最近大半年的集中式数据库的运行,我总结出以下几点:

1 在集中式数据库中应做到读写分离 [将报表模块的读放入另一个副本数据库中]
这样做的优点,可以避免由于数据查询业务繁忙,影响系统正常的写入业务。
2 应尽量减少非报表模块的查询字段,例如:针对大数据表的即时查询,只需要加入几个必要的查询字段,减少建立不必要的索引。
3 减少数据库的访问次数,多做系统缓存。
4 能够分开查询,尽量分开查询,提高每次响应速度。