www.fltk.net > 学习hADoop,spArk需要学习spring等吗

学习hADoop,spArk需要学习spring等吗

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。 Spark的算子很多,写程序来看比Hadoop MapReduce要灵活很多,...

不一定,如果你不用Hadoop的HDFS和YARN,完全可以在学习Spark的时候从本地载入数据,部署用standlone模式。 Spark替代的是Hadoop中的MapReduce编程范式,不包括存储和资源管理模块。

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进天津众 维UI设计

理论上来讲,学习spark和storm是不需要学习hadoop的。spark和storm都是独立的开源项目,在完整性上是self-constrained的,完全可以独立学习。从循序渐进的角度,还是可以了解一下hadoop的,以spark为例,理解了hadoop的mapreduce,知道它的缺陷...

一般都是要学的,像spark其实它只是替代了hadoop生态系统中的mapreduce功能,hadoop的其他的部分,spark都没有替代,所以要学hadoop;而storm是实时计算框架,比如说业务需要记录用户的足迹等信息,你肯定得需要一个存储的方式吧,最有可能的就...

如果只是应用Hadoop/Spark进行数据分析,那么JavaSE只需要基本了解就行了,重点在于深入理解Hadoop/Spark各自的计算模型和实现原理,以及常见的数据分析方法和分布式算法。实际的分析工作,甚至可以不使用java,使用各自的streaming接口用任意语...

Storm是一个开源的分布式实时计算系统,它可以简单、可靠地处理大量的数据流。Storm有很多应用场景,如实时分析、在线机器学习、持续计算、分布式RPC、ETL,等等。 Storm支持水平扩展,具有高容错性,保证每个消息都会得到处理,而且处理速度很...

需要的,两者是互补的依赖关系,hadoop至少你大概的学一下也好

hadoop可以学java spark可以学scala

Spark的安装分为几种模式,其中一种是本地运行模式,只需要在单节点上解压即可运行,这种模式不需要依赖Hadoop 环境。 运行 spark-shell 本地模式运行spark-shell非常简单,只要运行以下命令即可,假设当前目录是$SPARK_HOME $ MASTER=local $ b...

网站地图

All rights reserved Powered by www.fltk.net

copyright ©right 2010-2021。
www.fltk.net内容来自网络,如有侵犯请联系客服。zhit325@qq.com