专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > 高性能数据库开发

高分求海量数据库设计方案解决方案

发布时间:2010-05-24 21:18:49 文章来源:www.iduyao.cn 采编人员:星星草
高分求海量数据库设计方案
海量数据设计问题
现有200个数据采集设备实时将数据上传到管理中心,大概每个设备一天的数据量为1000万条,需要在管理中心提供对数据的查询功能,请教在管理中心软件的数据库要如何设计才能保证能快速响应。

------解决方案--------------------
这篇文章写得不错,可以看看,http://www.zhanghongze.com/blog/42001/%E6%B5%B7%E9%87%8F%E7%94%A8%E6%88%B7%E4%B8%8B%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AE%BE%E8%AE%A1#comments
------解决方案--------------------
创建索引
------解决方案--------------------
是通讯行业的应用吗?

1、增加一层数据处理层,将数据转储到内存数据库
2、使用分区表进行数据分区。
3、原始记录不入库,直接存储为文件。
4、汇总数据和关键业务数据入库。
5、大容量数据导入必须用,同时考虑分布式的数据加载方式。
6、硬件架构上将日志单独一个存储,存储整列的Cache 4G以上。
7、如果资金允许,建议使用SSD闪存硬盘,比外挂整列的IO性能高3倍以上。由于容量不可能太大,可以考虑将当天数据保存在SSD硬盘。
8、是否需要汇总,做定时汇总。

核心:
分区(必要时分表与分区同时使用)、大容量入库(内存转储、内存解压、内存数据库)、硬件技术(磁盘阵列、SSD硬盘、日志存储)、定时汇总(建立多维度汇总(时间、分析对象)加快业务功能的执行)、分布式设计(数据加载)、文件代替数据库(不是所有数据都需要入库)

h
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

热门推荐: