当前位置:首页>开发>正文

hadoop有什么用 hadoop3.0的在实际应用有多少

2023-06-07 07:28:20 互联网 未知 开发

 hadoop有什么用 hadoop3.0的在实际应用有多少

hadoop有什么用

hadoop支持大数据量(PB级)的处理。大数据量的处理涉及存储、计算等非常复杂的问题。需要分布式存储、分页式计算等技术,往往需要成百上千台计算机同时参与才能完成,也就是通常大家说的云技术。

hadoop3.0的在实际应用有多少

Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop 3.0。
Hadoop 3.0的alpha版预计今年夏天发布,GA版本11月或12月发布。
Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。

利用hadoop能做什么有趣的事情

主要用于做大数据分析
比如百亿级别的结构化数据SQL分析(求group by,最大最小值,join等)
深一点的话就是做机器学习,一般是配合spark计算引擎使用。
hadoop主要做离线计算,配合hbase可以做实时查询,但仅限查询而已。

最新文章