除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。
而有些时候，我们写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是Solr，ElasticSearch的，那么打包的时候就需要将这些依赖的jar包也一起的打包进去。
如果你用的是maven，那么事情就简单了，maven会自动把所有依赖的jar包，打成一个统一的jar，但是通常不需要maven，因为maven相对来说，还是比较复杂，我们更倾向于使用ant来打包，配置很灵活。
那么，如何向hadooop集群提交作业呢？
通常的命令如下：
jar& xxx.jar input out
这样就会把jar包提交到hadoop集群上，只要包含依赖的jar也在这个jar包中，那么程序就不会出问题。
那么，问题来了？ 我想定时执行一个作业，应该怎么写呢
如果直接在linux下的crontab中，写定时启动的，没问题，但是如果你的脚本是启动一个mr的任务，那么就有可能出现问题了，因为执行MR，是需要Hadoop的环境变量的，在crontab启用的shell进程，默认是没有激活环境变量的，所以，你有可能，自己的写的crontab脚本，奇怪的失效了。
如何解决在crontab的进程里环境变量失效的问题？
很简单，在启动的脚本开始前，再次激活的环境变量即可，代码如下：
#!/bin/bash
##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
. /etc/profile
. ~/.bash_profile
另外在crontab中，需要cd到当前目录下，执行，否则一些log不会被正确到该工程，或目录下：
//在下午的14点39分启动一个定时任务，使用nohup 挂起后台运行，并将所有的log重定向到一个log文件里
39 14 * * *
cd /home/search/qindongliang/cr- nohup sh start.sh 1
all && rate.log
另外一点需要注意，如果在crontab的进程中执行任务，那么最好使用nohup挂起后台运行，否则，hadoop的系统log会丢失，因为默认是在终端的界面上打印的。
[search@fsedump01sand cr-dataload]$ cat start.sh
#!/bin/bash
##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
. /etc/profile
. ~/.bash_profile
echo "hadoop的home："$HADOOP_HOME
echo `pwd`
if [ ! $# -eq 3
echo "第一个参数：请输入要处理的dataload业务 1:rate 2:keyword
echo "第二个参数：请输入读取HDFS上读取数据的, 例如:
echo "第三个参数：请输入读取HDFS上读取数据的, 例如:
#参数1,mapping文件的地址
p1="/user/d1/mapping.xml"
#参数4，是否清空上一次的保存目录，0=清除，1=不清除
if [ $1 -eq
#参数2，处理数据的输入路径
p3="/fse2/conversions/rate/shard1/input"
elif [ $1 -eq 2 ] ; then
#参数2，处理数据的输入路径
p3="/fse2/conversions/keyword/shard1/input"
#参数5，控制那个索引的
p5="keyword"
"不支持此参数，只能输入1或者2，请注意!"
echo "==============参数信息=============="
echo "===================================="
#参数3，处理数据结果的保存路径
#p3="/user/d1/uvoutput"
#p3="/user/d1/kwoutput"
#p3="/fse2/conversions/keyword/shard1/input"
#p3="/fse2/conversions/uv/shard1/input"
#参数4，是否清空上一次的保存目录，0=清除，1=不清除
#参数5，控制那个索引的
#p5="keyword"
root="`pwd`/"
curr="`pwd`/conf"
echo $curr
libpath="`pwd`/lib/"
FILES=`ls $libpath`
for txt in $FILES;do
cs=$cs$libpath$txt:
cs=$cs$curr:$root"cr-dataload.jar"
echo [`date`] "开始启动dataload!"
#nohup sh offline.sh
&& nohup.out &
#hadoop jar
cr-dataload.jar
com.dhgate.search.rate.convert.StoreConvert -libjars $cs
#java -cp $cs
com.dhgate.search.rate.convert.StoreConvert
$p1 $p2 $p3 $p4 $p5 $2 $3
#/home/search/hadoop/bin/hadoop jar
cr-dataload.jar
com.dhgate.search.rate.convert.StoreConvert
$p1 $p2 $p3 $p4 $p5 $2 $3
hadoop jar
cr-dataload.jar
com.dhgate.search.rate.convert.StoreConvert
$p1 $p2 $p3 $p4 $p5 $2 $3【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任务的区别
时间： 11:24:47
&&&& 阅读：1457
&&&& 评论：
&&&& 收藏：0
标签：&&&&&&&&&&&&&&&&&&&&&&&&&&&eclipse中的 调试运行 及 &run on hadoop&默认只是运行在单机上的，因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程，
一个简单的&run on hadoop&只是启动了本地hadoop类库来运行你的程序而已，
在Hadoop cluster的web管理页面（http://192.168.2.2:8088/cluster/apps）上是看不到任何作业信息的，因为你的作业根本就没有运行在集群上。
打包成jar方法：
　　rm tmp/*
　　cp xmlparser_hadoop* tmp/
　　jar -cvf xmlparser_hadoop.jar -C tmp/ .
运行方法：
& & hadoop:/usr/local/hadoop-2.6.0$&bin/hadoop jar xmlparser_hadoop.jar xmlparser_hadoop hdfs://192.168.2.2:9000/user/input hdfs://192.168.2.2:9000/user/output/xmlparser
/beanmoon/archive//3068729.html
&标签：&&&&&&&&&&&&&&&&&&&&&&&&&&&原文：/scw2901/p/4331716.html
&&国之画&&&& &&&&&&
&& &&&&&&&&&&&&&&
鲁ICP备号-4
打开技术之扣，分享程序人生！Hadoop作业提交多种方案具体流程详解 - 逸情公子 - ITeye技术网站
博客分类：
Hadoop作业提交多种方案具体流程详解
提交hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方法被我们发现，呵呵，现在总结一下吧。方案：
1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交方案一：用命令行方式提交
前提：成功搭建一个hadoop集群，或成功部署一个伪分布式，并启动hadoop。
提交过程：
1、在eclipse中将我们的项目打成一个jar包，放到hadoop的安装目录下。
2、在命令行中提交作业，这里以hadoop自带的wordcount程序为例：
（1）将统计文件传到hdfs，如图（1）
（2）向云提交作业，如图（2）
提交作业时，如果遇到错误：Name node in safe mode，可采用下面的解决方法，如图（3）
（3）列出hdfs上输出文件夹下的文件，如图（4）
（4）在命令行中打印统计好的结果，如图（5）
（注：在命令行中提交作业是按hadoop/conf下的配置文件提交的）方案二：在eclipse中提交作业
1、在你的电脑上安装好eclipse，可以在linux下，也可以在windows环境下哦～，这里需要指出的是：提交作业的机器只要有hadoop的API就可以了，和提交作业的机器所处的环境无关。
2、成功搭建一个hadoop集群，或成功部署一个伪分布式，并启动hadoop。
提交过程：
1、在eclipse下建立一个mapreduce项目，导入hadoop的API（hadoop/lib下的包）。
这里直接从外部导入hadoop中自带的wordcount程序。为了可以直接“Run java Aplication”我修改了一点wordcount的代码，使其输入输出文件的地址直接在代码中设置。贴出代码如下：
wordcount.java:
package org.apache.hadoop.
import java.io.IOE
import java.util.StringT
import org.apache.hadoop.conf.C
import org.apache.hadoop.fs.P
import org.apache.hadoop.io.IntW
import org.apache.hadoop.io.T
import org.apache.hadoop.mapreduce.J
import org.apache.hadoop.mapreduce.M
import org.apache.hadoop.mapreduce.R
import org.apache.hadoop.mapreduce.lib.input.FileInputF
import org.apache.hadoop.mapreduce.lib.output.FileOutputF
public class WordCount {
//mapper类
public static class TokenizerMapper
extends Mapper&Object, Text, Text, IntWritable&{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
//reducer类
public static class IntSumReducer
extends Reducer&Text,IntWritable,Text,IntWritable& {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable&IntWritable& values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
result.set(sum);
context.write(key, result);
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));
FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
如果此时你run java aplication,呵呵，你的程序只会在eclipse中虚拟的一个云环境中运行，而不会跑上云端去运行哦。我们一帮人在这个问题上纠结了好长时间。如果你想在云端运行，需要在main方法中添加几行代码，代码附录如下：
//在你的文件地址前自动添加：hdfs://master:9000/
conf.set("fs.default.name", "hdfs://master:9000/");
conf.set("hadoop.job.user","xiaolu");
//指定jobtracker的ip和端口号，master在/etc/hosts中可以配置
conf.set("mapred.job.tracker","master:9001");
（注：如果你运行的不是master上也有的项目，比如自己实现的pagerank，那会报错如下：）
java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper
这时会报找不到Mapper类的错。呵呵，这个问题也卡了我们好长时间。我们分析：可能是没有将项目打包，导致云上没有mapreduce程序的缘故，我们尝试着将pagerank项目打成.jar文件，放在项目下，将main方法作出如下修改：
//将Configuration类换成JobConf类
JobConf conf = new JobConf();
conf.setJar("pagerank.jar");
这时运行java aplication ,呵呵，结果我们成功地将作业提交到了云端。（在浏览器中浏览：master:50030）方案三：采用eclipse的插件实现项目的提交
前提：在eclipse中成功地安装mapreduce插件。
不过需要提醒各位的是：hadoop-0.20.203.0版本自带的插件不够完整，需要作出如下修改：
1、将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。
2、然后，修改该包META-INF目录下的MANIFEST.MF，将classpath修改为以下内容：
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
（注：这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题，比如Map/Reduce Locations下添加一个Location不能弹出添加对话框，这是eclipse版本的问题，我建议大家采用eclipse的版本是：eclipse-java-indigo-SR1-linux-gtk.tar.gz。）
提交过程：
1、不用手动将项目打成jar包，run on Hadoop就OK了。呵呵~
浏览 21824
楼主写的真的很好，我自己也在研究hadoop么，可惜一个人力量太薄弱了。只有看网络才能学到知识啊。哈～同感哦
在进行方法2和方法3的时候提交的任务，在浏览器中访问master:50030有看到提交的任务的信息吗？我是没有看到监控信息的。如果没看到，可能你的操作出现了点问题，或者你可以在hadoop目录下找一找这个网页，具体的路径我不太记得了，找到后直接打开也可以看到的。
浏览: 708262 次
来自: 长沙
看完文章有几个体会：1.客户端建好连接后，得到一个channe ...
看完还是有些细节没整明白，要是有个现实案例就更棒了！具体到tr ...
ite.remove() 会有illegalStateExce ...
有2个问题请教下第一个问题：public void read( ...