谷歌云计算架构详解_剖析云计算中心的架构
谷歌云计算架构详解由刀豆文库小编整理,希望给你工作、学习、生活带来方便,猜你可能喜欢“剖析云计算中心的架构”。
从整体来看,Google的云计算平台包括了如下的技术层次。
网络系统:包括外部网络(Exterior Network),这个外部网络并不是指运营商自己的骨干网,也是指在Google 云计算服务器中心以外,由Google 自己搭建的由于不同地区/国家,不同应用之间的负载平衡的数据交换网络。内部网络(Interior Network),连接各个Google自建的数据中心之间的网络系统。
硬件系统:从层次上来看,包括单个服务器、整合了多服务器机架和存放、连接各个服务器机架的数据中心(IDC)。
软件系统:包括每个服务器上面的安装的单机的操作系统经过修改过的Redhat Linux。Google 云计算底层软件系统(文件系统GFS、并行计算处理算法Mapreduce、并行数据库Bigtable,并行锁服务Chubby Lock,云计算消息队列GWQ)
Google 内部使用的软件开发工具Python、Java、C++ 等
Google 自己开发的应用软件Google Search、Google Email、Google Earth
外部网络系统介绍
当一个互联网用户输入www.daodoc.comnsi.com”和“anchor:my.look.ca”。这两列下的单元都只有一个版本,而“contents:”这一列下的单元有三个版本,分别是时间戳t3、t5和t6,分别对应着网页变动的情况。
图表 7一个BigTable存储网页的例子 BigTable中最重要的选择是将数据存储分为两部分,主体部分是不可变的,以SSTable的格式存储在GFS中,最近的更新则存储在内存(称为memtable)中。读操作需要根据SSTable和memtable还综合决定要读取的数据的值。
Google 的Bigtable是不支持事务,只保证对单条记录的原子性。事务是好东西,但事务也是导致数据库实现复杂化、性能下降最主要的根源。BigTable的开发者通过调研后发现其实大家对事务都没什么需求,只要保证对单条记录的更新是原子的就可以了。这样,为了支持事务所要考虑的串行化、事务的回滚等、死锁检测(一般认为,分布式环境中的死锁检测是不可能的,一般都用超时解决)等等复杂问题都不见了。系统实现进一步简化。
借鉴与总结
Google的云计算软件系统的完善是一个迭代开发,逐步升级替代的螺旋式上升过程。
今天的整个软件技术架构已经与10年前大相径庭,GFS完成于2003年,MapReduce完成于2004年,Bigtable完成于2006年,并且此外还有持续的修改升级。每一次应用新的软件系统,都给Google带来了运营效率的极大提升,甚至发生了根本性的变化,如使用MapReduce重新生成Google的整个索引,并取代老的ad hoc 程序去更新索引。“云计算”的完整概念并不是在Google建立起实际的云计算系统之初就形成的,而是在经过一系列的升级改造后逐渐稳定下来的软件系统架构上归纳出来的。并且可以预见,今后随着互联网的发展,还会有很多新的需求驱动着Google云计算软件系统的改进和完善。如下一代的Google BigTable已经在开发中,名为“Spanner”。
对于有计划部署云计算系统的CIO们来说,这是一个动态变化的长期经营过程,而不仅仅是一个静态的有截止期限的建设项目。首期系统建设之前,要根据企业已有的IT系统和近期需求选用最适合的技术方案;系统建设的过程中,要跟踪最新技术的发展以及建设过程中的测试反馈,及时调整建设方案;系统建设完成交付使用之后,原有的IT运营维护的职责分工和工作方式可能会有显著的变化,这时候必须有一支专职的云计算运维队伍跟进,除了负责云计算系统本身的运维之外,还需要协调云计算系统与其他业务系统的支撑工作,收集实际运行中的反馈和新需求,为系统升级改进提供决策支持,开始新一轮的系统建设周期。
开源软件在Google的软件系统中有着非常重要的地位。开源软件能够降低开发成本,并且易于修改以适应企业的实际需求,所以Google选择了在Redhat Linux2.6 的内核基础上开发自己的服务器操作系统。成功的开源软件在全世界范围内有着庞大的程序员群体做维护支持工作,这是任何一家商业软件公司无法比拟的,所以成功的开源软件也有着更快的升级速度,更少的漏洞缺陷。基于这点,Google也把自己的部分软件架构的细节做了公开处理,如BigTable、MapReduce等,期望借助全世界程序员的力量完善自身的软件架构。在部署云计算的决策过程中,采购成本和维护成本是非常关键的因素,很多开源软件已经被不同行业证明了是一个成熟完善的产品,并且后续版本升级速度不亚于商业软件,完全可以替代同等功能的商业软件。
浅谈云计算时代数据中心网络架构变革当前,网络数据量、用户终端量的激增以及视频互动分享、设备协同、物联网等应用的蓬勃发展,使得市场和产业中需要全新的计算和服务模式。据......
云计算让精准定位成为可能 “摇一摇交友”、“摇一摇找饭店”、“摇一摇K歌”等已成为智能手机时代人们新的生活方式。然而,这“摇一摇”的过程中摇出来的地点往往与实际相差......
贵州师范大学云计算作业题 目:学 院:专 业:年 级:姓 名:任课教师:云计算安全及发展 经济与管理信息管理与信息系统2010级林忠 王老师云计算云安全及发展林忠摘要:计算机技术已经深......
移动云计算系统【摘要】云计算技术的应用为移动学习的发展提供了新思路。文章在分析移动学习发展现状以及云计算对移动学习多方面支持的基础上,设计了一个完整的基于云计算......
刀豆文库小编为你整合推荐4篇云计算环境下软件开发架构应用与设计论文,也许这些就是您需要的文章,但愿刀豆文库能带给您一些学习、工作上的帮助。......
