当前位置:首页>开发>正文

hadoop和python能搭配在一起做一个项目么 学完hadoop能做什么呢,为什么工资这么高

2023-04-21 11:37:22 互联网 未知 开发

 hadoop和python能搭配在一起做一个项目么 学完hadoop能做什么呢,为什么工资这么高

hadoop和python能搭配在一起做一个项目么

Hadoop 的HDFS做存储,数据处理方面可以用python的hadoop框架做,比如用Mrjob 、pydoop 、Luigi等。
(还有些其他框架如Dumbo、Hadoopy…都停止更新了,不建议使用)

学完hadoop能做什么呢,为什么工资这么高

数据分析呗。工资是因为时势需要,技术发展导致生活质量提高呗。所以各个行业产生的数据量增加了呗。根据对商家收集的数据,对其进行分析,必然能达到比你自己更了解你自己。达到推销的目的,促进消费咯。

java开发中什么样的项目会用到Hadoop?

java项目一般是不会用到hadoop的,除非涉及到处理大数据方面的业务。hadoop是用java实现的。主要原因如下:
  1. java比较适合做大型复杂系统
  2. Doug Cutting本身从事java方面的研究,主要是lucence,开源检索架构说来也是这样的。
  3. java开源,活跃程度最高,这样搞出来放在apache上有利于交流、改进
  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

最新文章