hadoop社区发布的应用有哪些

hadoop社区发布的应用有哪些

Hive Hadoop中类似于数据仓库的应用，所有要用到的表可以存在Hive中，并且HQL语言类sql语言直接见表查询。
Hdfs是Hadoop中文件存储的格式。
Hbase Hadoop中一种表存储的方式，是以列式存储的方式存储一些大数据量的表。
Pig Hadoop的ETL平台工具，提供了简便的语言也是。
Sqoop 就是一个搬数的工具，从关系型数据库到Hdfs中，或者反过来。 也可以用Java接口直接实现搬数的过程。
ODI（12版本）加入Hive架构，使得搬数更简单了。 Sqoop速度好慢，增量也比较麻烦。
Maoreduce就是Hadoop核心算法，一个Map 一个Reduce函数。
Mahout 是Hadoop的一个数据挖掘应用，利用许多封装好的算法进行数据分析例如K-Means算法。

安装过程 　　一、准备 　　1、安装包 　　2、集群中ambari-serveer（管理节点）到客户端配置无密码登录。 　　3、集群同步时间 　　4、selinux，iptables都处于关闭状态 　　5、安装的服务器通过连接到网络 　　6、本文件安装是在redhat enterprise 6.0环境下，最好将yum替换成免费的，以方便安装 　　二、安装 　　1、下载repo 　　根据对应的系统下载相应的repo文件，并按要求拷贝到/etc相应的目录下 　　2、安装epel仓库 　　yum install epel-release 　　# 查看仓库列表，应该有hdp，epel 　　yum repolist 　　3、通过yum安装amabari bits，这同时也会安装postgresql 　　yum install ambari-server 　　这个步骤要等一会，它需要上网下载，约39m的包 　　4、运行ambari-server setup，安装ambari-server，它会自动安装配置postgresql，同时要求输入用户名和密码，如果按n，它用默认的用户名/密码值：ambari-server/bigdata。接着就开始下载安装jdk。安装完成后，ambari-server就可以启动了。 　　在这步之前安装集群的时候始终不成功，最后检查发现是ssh免密码登录时设置有问题，要在命令行下测试ip和主机名登录是否都没有问题。 　　三、ambari安装集群： 　　增加新的机器 　　如果选择使用私钥的方式安装不成功的话，请多试几次。 　　如果还是不成功，使用手动方式，但前提是在目标机器上要安装ambari-agent并启动。 　　推荐使用这种方法，成功率非常高。 　　如果安装失败了，确认免登录没有问题的前提下，多retry几次。 　　如果安装的时间太久，可以删除安装重来。

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息