如何用hadoop统计美国气象局的最高气温 hadoop怎么数据分析
如何用hadoop统计美国气象局的最高气温
如果只用hadoop，需要自己编写mapreduce来完成需求。
1、首先你要有数据，可读取后进行使用的数据，如果计算温度，那么至少能顺利读取到温度这项指标，实际中可能要以一个维度统计，比如年等。
2、编写分布式运行程序，在map中定义临时变量比较并存储温度最大值，最后只需要输出一次最大值（没必要把所有数据交给下一阶段比较，本需求这个过程完全浪费）
3、reduce接受各个map的最大值继续比较，最高值的需求reduce只能设置为1
hadoop怎么数据分析
Hadoop被设计用来在大型数据集上能进行有效的工作。Hadoop有一个专为大尺寸文件(如几G)设计的文件系统(HDFS)。因此，如果你的数据文件尺寸只是几M的话，建议你合并(通过zip或tar)多个文件到一个文件中，使其尺寸在几百M到几G范围内。HDFS把大文件们拆分存储到以64MB或128MB或更大的块单元中。
如果你的数据集相对较小，那它就不会是hadoop的巨型生态系统的最佳使用之地。这需要你去对你的数据比以往理解更多一些，分析需要什么类型的查询，看看你的数据是否真得“大”。另一方面，只是通过数据库的大小来测量数据可能是骗人的，因为你的计算量可能会更大。 有时你可能会做更多的数学计算或分析小数据集的排列，这些可以远远大于实际的数据。所以关键是要“了解你的数据，并且很清楚它”。你的数据仓库或是其它数据源中可能拥有数个TB的数据。然而，在建立 Hadoop 集群前，你必须考虑到数据的增长。
hadoop 数据分析---hive数据仓库
用命令行吧。hive查询语句和SQL非常类似，如果你能用SQL统计出想要结果，用HIVE也肯定没问题。如果hive查询结果集很大，你也可以把结果集直接写进HDFS。
hive底层就是MapReduce算法，用Java写的话代码量肯定很大，而且逻辑也要复杂点
基于云计算的气象数据存储管理
什么是hadoop?
Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子
[hadoop logo]
hadoop logo
项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题，因此能大大提高效率。
从你的需求来看，主要应用Hadoop来达到分布式数据存储管理的目的，因为Hadoop 是一个能够对大量数据进行分布式处理的软件框架，要完成这些你首先需了解并建立Hadoop集群，加入数据节点，可参考http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html
如何使用Hive&R从Hadoop集群中提取数据进行分析
--创建临时表
DROP TABLE if exists tmp.t_province
CREATE TABLE tmp.t_province(
id int,
p_name string,
cnt int
) COMMENT 用户数据中省份出现次数临时表
--将提取到的数据保存到临时表中
insert overwrite table tmp.t_province
select t1.cid, t2.province, t1.cnt from(
--取出前30条
select y.rownum, y.cid, y.cnt from(
--排序
select x.cid, x.cnt, row_number() over (distribute by x.cnt sort by x.cnt desc) as rownum from(
--分组
select a1.cid, count(1) as cnt from
--取数据
(select substring(id_card, 0, 2) as cid from bdm.huserinfo)a group by a1.cid
)x
)y where y.rownum <= 30
)tjoin bdm.hidcard_province t2 on t2.id = t1.cid
如何让Hadoop结合R语言做统计和大数据分析
R语言和MATLAB一样，用于数据分析处理的，在某些方面比较MATLAB更加强力，在计算矩阵方面PYTHON完全没可比性，R语言还可以和Hadoop结合运行在集群上，做大规模数据统计必备。