hadoop安装在windows

hadoop安装在win10

1.如何在windows下安装hadoop

Hadoop三种安装模式:单机模式,伪分布式,真正分布式一 单机模式standalone单机模式是Hadoop的默认模式。

当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。

当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。

该模式主要用于开发调试MapReduce程序的应用逻辑。二 伪分布模式安装tar xzvf hadoop-0.20.2.tar.gzHadoop的配置文件:conf/hadoop-env.sh 配置JAVA_HOMEcore-site.xml 配置HDFS节点名称和地址hdfs-site.xml 配置HDFS存储目录,复制数量mapred-site.xml 配置mapreduce的jobtracker地址配置ssh,生成密匙,使到ssh可以免密码连接(RSA算法,基于因数不对称加密:公钥加密私钥才能解密,私钥加密公钥才能解密)cd /rootssh -keygen -t rsacd .sshcp id_rsa.pub authorized_keys覆盖公钥,就能免密码连接启动Hadoop bin/start-all.sh停止Hadoop bin/stop-all.sh三 完全分布式模式1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名2. 建立hadoop运行用户: useradd grid>passwd grid3. 配置ssh密码连入: 每个节点用grid登录,进入主工作目录,ssh -keygen -t rsa生产公钥,然后将每个节点的公钥复制到同一个文件中,再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录,这个每个节点之间彼此可以免密码连接4. 下载并解压hadoop安装包5. 配置namenode,修改site文件6. 配置hadoop-env.sh7. 配置masters和slaves文件8. 向各个节点复制hadoop9. 格式化namenode10.启动hadoop11.用jps检验各后台进程是否成功启动。

2.如何在windows下安装hadoop

Hadoop三种安装模式:单机模式,伪分布式,真正分布式

一 单机模式standalone

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

二 伪分布模式安装

tar xzvf hadoop-0.20.2.tar.gz

Hadoop的配置文件:

conf/hadoop-env.sh 配置JAVA_HOME

core-site.xml 配置HDFS节点名称和地址

hdfs-site.xml 配置HDFS存储目录,复制数量

mapred-site.xml 配置mapreduce的jobtracker地址

配置ssh,生成密匙,使到ssh可以免密码连接

(RSA算法,基于因数不对称加密:公钥加密私钥才能解密,私钥加密公钥才能解密)

cd /root

ssh -keygen -t rsa

cd .ssh

cp id_rsa.pub authorized_keys覆盖公钥,就能免密码连接

启动Hadoop bin/start-all.sh

停止Hadoop bin/stop-all.sh

三 完全分布式模式

1. 配置etc/hosts文件,使主机名解析为IP 或者使用DNS服务解析主机名

2. 建立hadoop运行用户: useradd grid>passwd grid

3. 配置ssh密码连入: 每个节点用grid登录,进入主工作目录,ssh -keygen -t rsa生产公钥,然后将每个节点的公钥复制到同一个文件中,再将这个包含所有节点公钥的文件复制到每个节点authorized_keys目录,这个每个节点之间彼此可以免密码连接

4. 下载并解压hadoop安装包

5. 配置namenode,修改site文件

6. 配置hadoop-env.sh

7. 配置masters和slaves文件

8. 向各个节点复制hadoop

9. 格式化namenode

10.启动hadoop

11.用jps检验各后台进程是否成功启动。

3.windows怎么安装hadoop

在windows下安装Eclipse Hadoop插件主要安装编译Eclipse-hadoop插件即可。

1、配置环境变量:把下载好的hadoop-2.5.2解压到D盘的根目录下,然后计算机==》属性==》高级系统设置==》环境变量

2、把hadoop-eclipse-plugin-2.6.0.jar放到eclipse==》plugins目录下面,重启Eclipse,打开Window==》Preferences,能够看到Hadoop Map/Reduce就是插件安装成功,下面指定Hadoop的安装目录即第一步设定的HADOOP_HOME。

3、新建Map/Reduce Project工程

4、输入工程名称,然后点击Finish按钮

可以看到如下图所示,可以看到有新建的工程还有自动生成的DFS Locations,此时点击DFS Locations什么都不会看到,因为还没有配置其相应的HDFS:

5、显示Hadoop的Map/Reduce Locations视图,配置Hadoop Locations

Window==》Show View==》Other,找到Map/Reduce Tools下的Map/Reduce Locations,并点击ok。

设置下面几个参数:

hadoop安装在win10

转载请注明出处windows之家 » hadoop安装在windows

win10

笔记本win10截图设置键

阅读(3386)

本文主要为您介绍笔记本win10截图设置键,内容包括笔记本电脑按什么键可以截屏,win10的,win10快捷截屏怎么设置,win10笔记本任意截图键。截取全屏 自动保存组合键 同时按住Windows+Print Screen组合键,笔记本则按住Windows+Prt Sc SysRq按

win10

win10怎么设置多个背景

阅读(2038)

本文主要为您介绍win10怎么设置多个背景,内容包括如何在win10中使用多个背景,如何在win10中使用多个背景,win10双桌面怎么设置两个不同的壁纸。直接定位到自己想要设置壁纸的图片文件夹小编一般会把图片先放到电脑默认的壁纸文件夹里默认壁

win10

win10保护眼睛设置不改注册表

阅读(2000)

本文主要为您介绍win10保护眼睛设置不改注册表,内容包括word设置的护眼色时有时无,win10系统,用的修改注册表编辑器的办,win10电脑的护眼模式怎么设置,win10护眼模式怎么取消?。Word文档底色设为护眼色步骤: 电脑桌面,右键,点击个性化。 2、点

win10

win10非让我设置苹果手机

阅读(2168)

本文主要为您介绍win10非让我设置苹果手机,内容包括win10找不到iphone手机,怎么回事,升级win10后,电脑无法识别苹果手机!已经试过网上的一些方法,都,非要用苹果电脑相应的操作系统上才能完成开发吗!?!在别的win7。远程桌面连过去报如下错误

win10

win10点蓝牙设置闪退

阅读(1721)

本文主要为您介绍win10点蓝牙设置闪退,内容包括win10打开蓝牙设置闪退,win10蓝牙故障,图标什么的都在,但是打不开蓝牙设置,打开的白,我的电脑是win8系统,蓝牙用不了,设置里一点蓝牙就闪退。1.打开设备并使其可发现。使其可发现的方式取决于

win10

win10酷狗热键设置

阅读(1816)

本文主要为您介绍win10酷狗热键设置,内容包括电脑酷狗输入法怎么设置快捷键?,电脑酷狗输入法怎么设置快捷键?,电脑上有控制音乐的键,酷狗怎么设定?。2015酷狗音乐播放器默认快捷键:播放/暂停:Alt+F5上一首:Alt+Left(左箭头)下一首:Alt+ Right(右箭

win10

win10如何设置定时唤醒

阅读(2028)

本文主要为您介绍win10如何设置定时唤醒,内容包括Win10怎么设置定时开关机休眠唤醒,Win10怎么设置定时开关机休眠唤醒,Win10进入睡眠后怎么设置自动定时唤醒。首先查看电脑的休眠功能是否开启,如果没有需要先开启计算机的休眠功能(注意是“休

win10

win10设置更新在哪

阅读(1795)

本文主要为您介绍win10设置更新在哪,内容包括win10的更新在哪里?怎么设置,win10系统如何更新,更新按钮在哪儿,win10系统更新在哪。Win10系统关闭自动更新功能步骤方法:按WIN+R打开运行,输入services.msc回车然后找到“Windowsupdata”服务

win10

win10处理器个数怎么设置

阅读(2070)

本文主要为您介绍win10处理器个数怎么设置,内容包括win10怎么开启cpu核心数,W10cpu核数怎么修改,win10在任务管理器怎么改应用程序的cpu占用数目。网络上的各种伪技巧多得很,而这个就是比较典型的。在Win7帮助文件中对于msconfig的高级引导

win10

win10如何将任务栏设置成透明

阅读(2003)

本文主要为您介绍win10如何将任务栏设置成透明,内容包括Win10任务栏怎么设置透明,win10电脑任务栏怎么变透明,win10怎么设置任务栏透明。工具:win10方法如下:首先打开操作系统,进入桌面,如下所示,可以看到操作中心和任务栏是没有透明的

win10

win10自动锁定屏幕怎么设置

阅读(2991)

本文主要为您介绍win10自动锁定屏幕怎么设置,内容包括windows10怎么设置自动锁定屏幕,Win101709如何设置自动锁定电脑屏幕,win10电脑屏幕自动锁屏怎么设置?。在Windows10系统桌面,点击桌面左下角的开始按钮,在弹出的开始菜单中点击Windows系

win10

win10设置功能键加fn

阅读(1885)

本文主要为您介绍win10设置功能键加fn,内容包括Mac装的win10怎么设置FN键,笔记本功能键FN在哪里设置啊,怎么将戴尔快捷键设置成FN+的形式?。右下角系统托盘里面,找到bootcamp控制面板。可以在里面修改。(很简单,只有一个选项,你进去一眼就能看

win10

win10怎么给d盘设置权限

阅读(1750)

本文主要为您介绍win10怎么给d盘设置权限,内容包括如何给D盘设置权限?,win10系统D盘权限问题,win10怎么设置权限。win10怎么设置权限呢!当我们局域网里有电脑需要共享的时候怎么设置权限,这个权限有写入权限要怎么操作,如下图有解析。 方法/步

win10

win10蓝牙鼠标pin设置

阅读(2326)

本文主要为您介绍win10蓝牙鼠标pin设置,内容包括win10系统笔记本如何设置无线鼠标,win10系统怎么添加蓝牙鼠标,Win10怎么添加蓝牙鼠标。有线的直接插上即可,无线的操作方法如下:在电脑Win10系统的桌面上,点击左下角的开始菜单中的“控制面板”

win10

win10设置游戏锁帧

阅读(2422)

本文主要为您介绍win10设置游戏锁帧,内容包括Win10怎么游戏锁帧?N卡用很多软件都不行,去调垂直同步又不稳定,win10锁帧60,win10LOL锁帧60。这个问题存在很长时间了,估计还是有很多人因为这个苦恼,我说一下我的解决办法,win10版本是15063版。