学云计算需要具备什么基础

学云计算需要具备什么基础？

近年来，国家出台了多项支持与促进云计算产业发展的政策。此前人社部等部门向社会发布的13个新增职业，有6个岗位与云计算及其相关领域直接相关证明了云计算市场前景广阔。很多人想要加入云计算行列却又担心自己专业不对口无法满足要求，千锋广州云计算培训小编汇总相关数据资料给大家指引方向。

艾瑞咨询发布的《2019年中国云计算人才需求洞察白皮书》显示，企业对云计算人才的需求量持续增多。云计算领域人才月均薪酬在1万元以上的占比高达93.7%，3万元以上占比达24.7%，同样反映出市场对云计算技术人才的刚需。分析各大招聘网站的信息，我们发现在招聘云计算人才时，企业更看重工作经验及技术能力，而非学历。因此只要你掌握一定的技能，就可以打破高薪僵局，在云计算行业取得成就。

学习云计算，首先你要明白学好云计算不是一件一蹴而就的事，一定要能坚持使用它，特别是在使用初期。比如在Linux中，用户权限很大，做任何事情都很自由，所以，你往往需要知道你做的每一步在干什么，系统做了些什么，这需要时间去掌握，(背命令不是一件好的学习方法，相信我你一定会在你背完之前全部忘光)，尽量掌握常用命令。

其次，在学习初期，你一定会遇到很多困难，或者说各种困难，所以你最好先将你云计算中的重要内容备份，因为在你学习的过程中，很可能将系统搞废。但是决不能因为害怕把程序搞坏就不去做，这样你永远没有收获。在Linux中你是自由的，那就发挥自己的权利。

最后，要学会利用Google，遇到问题询问老师是一个不错的方法，但毕竟老师只有一个，面对的却是全班学生。因此我们要试着遇到问题自己寻找答案，这样既能培养我们的自学能力和解决问题的能力，同时也可以让我们学到更多的知识。如果实在找不到答案，最后再去请教老师。

零基础能学会云计算吗？需要具备什么知识体系？云计算石近年来比较火爆的技术之一，受国家政策支持以及互联网更迭推动，云计算应用领域进一步扩张，云计算人才进一步增多。有很多零基础的人想要转行学习云计算，却又担心学不会。下面且看一下小编的分析。

　　对于没有任何基础的人来说，如果想学习云计算并从事相关的工作岗位，应该先从构建基础知识结构开始，然后加强动手实践能力的培养。而这些仅靠自己摸索学习是远远不够的，你需要系统的学习和较多的项目练习。

　　如果你想从事云计算运维岗位，通常需要具备三大块知识体系，其一是计算机网络技术其二是虚拟化技术其三是存储技术。值得一提的是目前企业对于云计算从业者的动手实践能力要求比较高，因此跟随专业人士进行系统的学习很有必要。

　　从市场角度来看，云计算降低了社会的IT能耗，提高了社会的IT设备使用率，有利于社会共享数据信息。国家相继出台一系列政策大力扶持云计算，进一步证明了云计算市场潜力巨大。

　　从企业角度来看，云计算降低了信息技术成本，提高了数据的安全性，有利于企业之间或个人之间共享信息。企业对于云计算开发人才需求紧迫，不少企业表示精英人才“高薪难求”。国内大数据权威专家估测，在今后5年内，云计算人才缺口将超过130万。

　　云计算开发人员属于新型高端人才，其薪资也处于业内较高水平。据职友集数据显示，初级云计算工程师月薪在9000以上，拥有一定年限工作经验的从业人员月薪可以轻松达到16K以上。

　　既然云计算的就业前景那么好，如何才能快速学习高端技术，成为企业满意的人才呢?小编的建议是参加专业的学习，让自己理论与实战相结合，不断积累知识基础和开发经验。

云计算是个系统工程！在大数据架构中，根据应用厂家内型做不同架构设计！

云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，为此，综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能。

云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗；管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的Web Services服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。

云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。

基于上述体系结构，以IaaS云计算为例，简述云计算的实现机制，

用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂：用户交互接口允许用户从目录中选取并调用一个服务。该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具来为用户准备运行环境。

Hadoop HDFS特性简介

一、设计思想

1、硬件失效是“常态事件“，而非“偶然事件”。HDFS可能是有上千的机器组成（文档中描述的Yahoo!一个Hadoop集群有4096个节点），任何一个组件都有可能一直失效，因此数据的健壮性错误检测和快速、自动的恢复是HDFS的核心架构目标。

2、 流式数据访问。运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据并发访问的高吞吐量。POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对 POSIX的语义做了一些修改。

3、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个web crawler应用都很适合这个模型。

4、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。

5、在异构的软硬件平台间的可移植性。

二、Namenode和Datanode的划分

一个HDFS集群有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中会有多个，一般是一个节点存在一个，负责管理其自身节点上它们附带的存储。在内部，一个大文件其分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace相关操作，例如打开、关闭、重命名文件和目录，同时决定了block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDFS元数据，因而在请求Namenode得到文件的位置后就不需要通过Namenode参与而直接从Datanode进行。为了提高Namenode的性能，所有文件的namespace数据都在内存中维护，所以就天生存在了由于内存大小的限制导致一个HDFS集群的提供服务的文件数量的上限。根据目前的文档，一个元数据（一个HDFS文件块儿）占用200Bytes，如果是页面抓取的小文件，那么32GB内存能承载1.5亿左右的文件存储（有待精确详细测试）。

三、文件系统操作和namespace的关系

HDFS支持传统的层次型文件组织，与大多数其他文件系统类似，用户可以创建目录，并在其间创建、删除、移动和重命名文件。HDFS不支持user quotas和访问权限，也不支持链接（link)，不过当前的架构并不排除实现这些特性。Namenode维护文件系统的namespace，任何对文件系统namespace和文件属性的修改都将被Namenode记录下来。应用可以设置HDFS保存的文件的副本数目，文件副本的数目称为文件的 replication因子，这个信息也是由Namenode保存。

四、数据复制

HDFS被设计成在一个大集群中可以跨机器地可靠地存储海量的文件。它将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有block为了容错都会被复制。每个文件的block大小和replication因子都是可配置的。Replication因子可以在文件创建的时候配置，以后也可以改变。HDFS中的文件是write-one，并且严格要求在任何时候只有一个writer。Namenode全权管理block的复制，它周期性地从集群中的每个Datanode接收心跳包和一个Blockreport。心跳包的接收表示该Datanode节点正常工作，而Blockreport包括了该Datanode上所有的block组成的列表。

1、副本的存放，副本的存放是HDFS可靠性和性能的关键。庞大的HDFS实例一般运行在多个机架的计算机形成的集群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内的两个节点间的带宽会比不同机架间的两台机器的带宽大。在大多数情况下，replication因子是3，HDFS的存放策略是将一个副本存放在本地机架上的节点，一个副本放在同一机架上的另一个节点，最后一个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上，三分之二在一个机架上，其他保存在剩下的机架中，这一策略改进了写的性能。

2、副本的选择，为了降低整体的带宽消耗和读延时，HDFS会尽量让reader读最近的副本。如果在reader的同一个机架上有一个副本，那么就读该副本。如果一个HDFS集群跨越多个数据中心，那么reader也将首先尝试读本地数据中心的副本。

3、SafeMode

Namenode启动后会进入一个称为SafeMode的特殊状态，处在这个状态的Namenode是不会进行数据块的复制的。Namenode从所有的 Datanode接收心跳包和Blockreport。Blockreport包括了某个Datanode所有的数据块列表。每个block都有指定的最小数目的副本。当Namenode检测确认某个Datanode的数据块副本的最小数目，那么该Datanode就会被认为是安全的；如果一定百分比（这个参数可配置）的数据块检测确认是安全的，那么Namenode将退出SafeMode状态，接下来它会确定还有哪些数据块的副本没有达到指定数目，并将这些block复制到其他Datanode。

五、文件系统元数据的持久化

Namenode存储HDFS的元数据。对于任何对文件元数据产生修改的操作，Namenode都使用一个称为Editlog的事务日志记录下来。例如，在HDFS中创建一个文件，Namenode就会在Editlog中插入一条记录来表示；同样，修改文件的replication因子也将往 Editlog插入一条记录。Namenode在本地OS的文件系统中存储这个Editlog。整个文件系统的namespace，包括block到文件的映射、文件的属性，都存储在称为FsImage的文件中，这个文件也是放在Namenode所在系统的文件系统上。

Namenode在内存中保存着整个文件系统namespace和文件Blockmap

以上只是部分描述！更多细节要参考专业书籍！