皮皮网

1.成功搭建Hadoop集群后简单实验
2.Cloudera的CDH和Apache的Hadoop的区别
3.Win7 64位系统安装hadoop2.2.0的源码方法

成功搭建Hadoop集群后简单实验

       1 检查对HDFS的访问(在namenode上操作)

       #./hadoop-0..2/bin/hadoop fs -ls

       2 hadoop中的文件系统操作

       #./hadoop-0..2/bin/hadoop fs -mkdir test

       #./hadoop-0..2/bin/hadoop fs -ls test

       #./hadoop-0..2/bin/hadoop fs -rmr test

       3 测试hadoop

       a 创建子目录

       #./hadoop-0..2/bin/hadoop fs -mkdir input

       b 把本地文件移动到hdfs

       #./hadoop-0..2/bin/hadoop fs -put /usr/share/doc/pam-1.1.1/rfc.0.txt input

       #./hadoop-0..2/bin/hadoop fs -put /usr/share/doc/pam-1.1.1/Linux-PAM_SAG.txt input

       c 查看文件是否存在

       #./hadoop-0..2/bin/hadoop fs -ls input

       d 执行计算单词频率的MapReduce作业

       #./hadoop-0..2/bin/hadoop jar /root/hadoop-0..2/hadoop-0..2-examples.jar wordcount input output

       Found 2 items

       drwxr-xr-x - root supergroup 0 -- : /user/root/output/_logs

       -rw-r--r-- 2 root supergroup -- : /user/root/output/part-r-

       e 查看输出结果

       #./hadoop-0..2/bin/hadoop fs -ls output

       #./hadoop-0..2/bin/hadoop fs -cat output/part-r- | head -n

       f 从HDFS提取输出

       #./hadoop-0..2/bin/hadoop fs -get output/part-r- output.txt

Cloudera的CDH和Apache的Hadoop的区别

       ã€€ã€€ç›®å‰è€Œè¨€ï¼Œä¸æ”¶è´¹çš„Hadoop版本主要有三个(均是国外厂商)，分别是：Apache(最原始的版本，所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s

       Distribution Including Apache Hadoop，简称CDH)、Hortonworks版本(Hortonworks Data

       Platform，简称“HDP”)，对于国内而言，绝大多数选择CDH版本，CDH和Apache版本主要区别如下：

       ã€€ã€€(1) CDH对Hadoop版本的划分非常清晰，只有两个系列的版本，分别是cdh3和cdh4，分别对应第一代Hadoop(Hadoop

       1.0)和第二代Hadoop(Hadoop 2.0)，相比而言，Apache版本则混乱得多;比Apache

       hadoop在兼容性，安全性，稳定性上有增强。

       ã€€ã€€(2)CDH3版本是基于Apache hadoop 0..2改进的，并融入了最新的patch，CDH4版本是基于Apache hadoop

       2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch，并比Apache

       hadoop同功能版本提早发布，更新速度比Apache官方快。

       ã€€ã€€(3)安全 CDH支持Kerberos安全认证，apache hadoop则使用简陋的用户名匹配认证

       ã€€ã€€(4)CDH文档清晰，很多采用Apache版本的用户都会阅读CDH提供的文档，包括安装文档、升级文档等。

       ã€€ã€€(5)CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Manager四种方式安装,Apache

       hadoop只支持Tar包安装。

       ã€€ã€€æ³¨ï¼šCDH使用推荐的Yum/Apt包安装时，有以下几个好处： 1、联网安装、升级，非常方便 2、自动下载依赖软件包

       ã€€ã€€3、Hadoop生态系统包自动匹配，不需要你寻找与当前Hadoop匹配的Hbase，Flume，Hive等软件，Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包，并保证兼容性。

       ã€€ã€€4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs,

       mapred用户，hdfs用户是HDFS的最高权限用户，mapred用户则负责mapreduce执行过程中相关目录的权限。

Win7 位系统安装hadoop2.2.0的方法

       Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据，但是源码许多用户并不知道要怎么安装hadoop2.2.0，为了帮助大家更好的源码操作，现在给大家带来Win7 位系统安装hadoop2.2.0的源码源码更换详细方法供大家参考。

       1、源码配置Cygwin环境变量PATH.把Cygwin安装目录下的源码sql sever项目源码，bin目录以入 usrsbin目录，源码都添加到PATH中；

       2、源码启动Cygwin.bat ，源码打开如下命令行；

       3、源码例如hadoop安装包放在分区D：下，源码则解压的源码命令为＄ tar -zxvf /cygdrive/d/hadoop-0..2.tar.gz,解压后可使用ls命令查看（默认解压目录为。Cygwin安装目录）；

       4、源码模拟海水信道源码编辑hadoop-2.6.0/etc/hadoop/hadoop-env.sh,源码将export JAVA_HOME=${ JAVA_HOME}更改为自己电脑上的安装目录；

       5。依次编辑hadoop-2.6.0/etc/hadoop/目录下的源码core-site.xmlhdfs-site.xml文件；

       6、执行ssh-host-config命令，裂变 小程序 源码然后按下图上的选择输入：

       当提示Doyouwanttouseadifferentname?  输入yes，这步是配置安装的sshd服务，以哪个用户登录，源码输入长度代码默认是cyg_server这个用户，这里就不事先新建cyg_server这个用户，用当  前本机的超管本地用户：chenx，后续根据提示，2次输入这个账户的密码。