环境:
CentOS release 6.5 (Final)
hadoop-2.2.0 下载地址: http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz
hadoop-eclipse-kepler-plugin-2.2.0 下载地址: http://pan.baidu.com/s/1mgvCVgc
eclipse 3.3.2 (eclipse 版本可随意, 但是 hadoop的版本 和 插件的版本最好要一致)
1.配置hadoop
配置 etc/hadoop/hadoop-env.sh h和 etc/hadoop/yarn-env.sh 中的JAVA_HOME路径
export JAVA_HOME=/usr/java/jdk1.7.0_67/
配置文件 hdfs-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000/</value> </property> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx1024m</value> </property> <property> <name>dfs.permissions</name> <value>true</value> </property> </configuration>
2启动
./bin/hadoop namenode -format
./sbin/start-all.sh
3.eclipse 插件安装, 将附件中jar包拷到eclipse plugins 目录,重启eclipse
4.新建 Map/reduce工程
相关推荐
必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错,原因是因为如果本机操作系统是windows,在程序中使用了hadoop相关的东西,比如写入...
hadoop-mapreduce-examples-2.7.1.jar
在eclipse中搭建hadoop环境,需要安装hadoop-eclipse-pulgin的插件,根据hadoop的版本对应jar包的版本,此为hadoop3.1.2版本的插件。
hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
找不到与hadoop-2.9.2版本对应的插件,手动生成的hadoop-eclipse-plugin-2.9.2版本,
1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-...
文件为百度云下载链接,包含2.4.1 64位和32位,2.6.0 64位,编译环境均为CentOS 64 --编译环境:CentOS6.5 64 hadoop-2.4.1-x64.tar.gz ----2.4.1 64位 hadoop-2.4.1-x86.tar.gz ----2.4.1 32位 hadoop-2.6.0-x64....
hadoop-3.0.0.jar安装包;spark-2.4.0.gz安装包;scala-2.13.3.zip安装包;apache-maven-3.6.3-bin.zip安装包
最新的hadoop-eclipse-plugin-2.7.4.jar 很好用的hadoop的eclipse插件。自己编译的。 经过测试,使用没有任何问题。 请各位放心使用
eclipse hadoop 环境插件,hadoop-eclipse-plugin-2.8.0
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
hadoop-eclipse-plugin-2.7.0.jar ,用于在eclipse上进行hadopp程序调试
hadoop-eclipse-plugin-2.7.1.jar插件,直接放在eclipse插件目录中