Hadoop应用程序性能调优案例分析——CSDN TUP第四期精彩摘要解决方法
发布时间:2010-05-24 21:18:46 文章来源:www.iduyao.cn 采编人员:星星草
Hadoop应用程序性能调优案例分析——CSDN TUP第四期精彩摘要
由CSDN和《程序员》杂志联合策划组织,旨在与业界人士分享IT产品背后的技术和用户体验故事的线下活动TUP(Technology、User Experience、Product) 第四期,9月6日在Yahoo全球研发中心举办,本期活动邀请到了Yahoo公司Hadoop应用架构师——Milind Bhandarkar深入分析了Hadoop应用程序性能调优。
在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。
Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。
在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。
本次活动得到了CSDN大量Hadoop开发者的大力支持,50张门票在短短两天时间内便被预定一空,现场座位之紧张程度可见一斑。与会者有来自中国移动研究院、中国电信研究院、百度、搜狐、人人网、豆瓣等知名公司的资深技术人员,讨论相当深入。
据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。
讲师介绍
Milind Bhandarkar,Yahoo!公司Hadoop应用架构师
Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。
关于Hadoop
Hadoop是MapReduce和GFS的开源Java实现,一种得到广泛应用的分布式计算框架。最初是搜索引擎项目Nutch的一部分,由时在Yahoo的Doug Cutting开发。目前已经成为Apache的顶级项目。
更多CSDN TUP第四期沙龙活动资讯就在http://tup.csdn.net/
关于CSDN TUP技术沙龙更新更快速的实时资讯请关注新浪搜狐“TUP技术沙龙”微博
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/csdnmarket/archive/2010/09/07/5869172.aspx
------解决方案--------------------
貌似不错的样子,为什么不讲讲底层的实现技术?
友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。
其他相似内容:
-
分享并总结一下公司的SQL规范。
SQL code
1.用log4j记录SQL, 不用System.out.println()。并且通过log4j记录sql语句用时多少, 性能...
-
【急】大型数据库的存储方案
题目:通过网上调研,完成一个大型数据库的存储方案。
------解决方案--------------------
网上调研
...
-
count
t-sql中,count的执行效率如何 例如一表中有500W条数据,rid是自增+主键,要统计总数用count(rid) 合适不?欢迎高手给出明确答案...
-
所有积分求:每年1000G数据解决方案
现在数据库一查就卡死 有什么解决方案吗
------解决方案--------------------
一天3G,还行吧...
-
问个关于数据库设计的问题
在数据库设计的时候 有主键外键的关联
可是我们实际做一些系统的时候 需要在数据库上设置外键吗?
比如 ...
-
系统性能优化问题
各位好!
在系统中存在A,B两张表,这两张表中的数据数据增长都比较迅速(每月增长20万条),两张表中都有唯一键用来对...
-
c2c电子商务网站关于商品表的建立
目前在做一个c2c电子商务网站,主要是想借此提高自己的水平,现在遇到的问题就是不知道商品表是建...
-
老大:帮忙设计一下数据库
我想做一个RSS资讯聚合网站,把所有的RSS订阅信息缓存进数据库,再被页面调用。
数据表大致需要以下字段:
id...
-
请问各位哪里有《数据库系统概念》免费版电子书下载!急
请问各位哪里有《数据库系统概念》免费版电子书下载!急
------解决方案---...
-
Oracle专家调优秘密
在过去的十年中,Oracle已经成为世界上最专业的数据库之一。对于IT专家来说,就是要确保利用Oracle的强大特性来...