高分求海量数据库设计方案解决方案
发布时间:2010-05-24 21:18:49 文章来源:www.iduyao.cn 采编人员:星星草
高分求海量数据库设计方案
海量数据设计问题
现有200个数据采集设备实时将数据上传到管理中心,大概每个设备一天的数据量为1000万条,需要在管理中心提供对数据的查询功能,请教在管理中心软件的数据库要如何设计才能保证能快速响应。
------解决方案--------------------
这篇文章写得不错,可以看看,http://www.zhanghongze.com/blog/42001/%E6%B5%B7%E9%87%8F%E7%94%A8%E6%88%B7%E4%B8%8B%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AE%BE%E8%AE%A1#comments
------解决方案--------------------
创建索引
------解决方案--------------------
是通讯行业的应用吗?
1、增加一层数据处理层,将数据转储到内存数据库
2、使用分区表进行数据分区。
3、原始记录不入库,直接存储为文件。
4、汇总数据和关键业务数据入库。
5、大容量数据导入必须用,同时考虑分布式的数据加载方式。
6、硬件架构上将日志单独一个存储,存储整列的Cache 4G以上。
7、如果资金允许,建议使用SSD闪存硬盘,比外挂整列的IO性能高3倍以上。由于容量不可能太大,可以考虑将当天数据保存在SSD硬盘。
8、是否需要汇总,做定时汇总。
核心:
分区(必要时分表与分区同时使用)、大容量入库(内存转储、内存解压、内存数据库)、硬件技术(磁盘阵列、SSD硬盘、日志存储)、定时汇总(建立多维度汇总(时间、分析对象)加快业务功能的执行)、分布式设计(数据加载)、文件代替数据库(不是所有数据都需要入库)
h
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。
其他相似内容:
-
分享并总结一下公司的SQL规范。
SQL code
1.用log4j记录SQL, 不用System.out.println()。并且通过log4j记录sql语句用时多少, 性能...
-
【急】大型数据库的存储方案
题目:通过网上调研,完成一个大型数据库的存储方案。
------解决方案--------------------
网上调研
...
-
count
t-sql中,count的执行效率如何 例如一表中有500W条数据,rid是自增+主键,要统计总数用count(rid) 合适不?欢迎高手给出明确答案...
-
所有积分求:每年1000G数据解决方案
现在数据库一查就卡死 有什么解决方案吗
------解决方案--------------------
一天3G,还行吧...
-
问个关于数据库设计的问题
在数据库设计的时候 有主键外键的关联
可是我们实际做一些系统的时候 需要在数据库上设置外键吗?
比如 ...
-
系统性能优化问题
各位好!
在系统中存在A,B两张表,这两张表中的数据数据增长都比较迅速(每月增长20万条),两张表中都有唯一键用来对...
-
c2c电子商务网站关于商品表的建立
目前在做一个c2c电子商务网站,主要是想借此提高自己的水平,现在遇到的问题就是不知道商品表是建...
-
老大:帮忙设计一下数据库
我想做一个RSS资讯聚合网站,把所有的RSS订阅信息缓存进数据库,再被页面调用。
数据表大致需要以下字段:
id...
-
请问各位哪里有《数据库系统概念》免费版电子书下载!急
请问各位哪里有《数据库系统概念》免费版电子书下载!急
------解决方案---...
-
Oracle专家调优秘密
在过去的十年中,Oracle已经成为世界上最专业的数据库之一。对于IT专家来说,就是要确保利用Oracle的强大特性来...