入门I：进入无双世界
入门II：新兵初体验
入门III：新兵的成长
攻略技巧,任务攻略,相关资料,, |
怪异的士兵们
极白虎牙 x4/&３级武器 (达成度 S)
极光阴护符 x3/ 耐寒符 x3(达成度 S) 极光阴护符 x2/ 老酒 x2(达成度 A)
试试你的技术与运气
极炎玉 x4/ 琥珀 x4/ 军资金 35(达成度 S)
极真空书 x2/ 黄玉 x4( 达成度S)
极神速符X2/黄玉X4 （达成度S）
极镇身石带 x2/ 琥珀 x4( 达成度 S)
极光阴护符 x2/ 极镇身石带 x2(达成度S)
救助路峰！
风伯雷公符 x4/ 猛虎毛皮 x2(达成度 S) 风伯雷公符 x2/ 老酒 x2(爱成度 C)
目标敌船队
镇火符ｘ２ /&极真空书 x ２ / 极雷玉 x ４（达成度 S ）
连合军讨伐
极神速符 x2/ 真乱舞书 x1( 达成度 S)
不死之香炉
极光阴护符 x2/ 发气药 x2( 达成度 S)
盗贼团击退战
极神速符 x2/ 极斩玉 x4( 达成度 S)
三人組的挑战
发气药&x2/ 太一丹 x2( 达成度 AS)
不死之香炉
任务达成时剩余时间９分以上时可以拿到Ｓ级评价！
怪异的士兵们
击破顺序为杂兵１００人&中BOSS&BOSS
　 中BOSS和BOSS建议以无双速度解决，持久战对我军非常不利！
　 ?剩余２：不足２０达成度Ｅ
　?剩余２：２０以上达成度Ｄ　商+8　 治+18　武器Ｒ1
　?剩余３：２０以上达成度Ｃ　商+10　治+20　武器Ｒ1
　?剩余４：２０以上达成度Ｂ　商+10　治+20　武器Ｒ2
　 ?剩余５：２０以上达成度Ａ　商+14　治+24　武器Ｒ3　
　?剩余６：２０以上达成度Ｓ　商+16　治+26　武器Ｒ3
（据点②兵长、据点③塔楼、据点④武将）
本特任需要强力的副将！请千万注意！不战而胜在本任务中的意义就是自己不要出手！
战斗开始无视敌军。
任务中要持续召唤副将！并确认副将要自己的可视范围内！
进入敌据点后转一圈吸引敌兵力！然后自己集中防御和回避不要出手攻击，让副将清理敌兵！
任务达成时击破数１０人或者10人以下评价Ａ
任务达成时击破数5人或者5人以下就可以拿到S级评价。
试试你的技术与运气
任务达成条件有三个「全据点制圧」、「500人肢解」、「全武将分尸」。
随便达成哪个条件都行，只要达成其中一个条件就可以过关！
全据点制圧：没有难点
全武将分尸：打倒有名字的7名武将
攻略顺序参照：
东面城墙壁前&东南方向自军兵粮库前&南据点西门右手边
&西南据点南面&西北据点西面二人&西面城墙前
任务达成时剩余时间6分以上达成度为S！
占领地图上全部据点、打倒最后出现的头目任务完成。
因为地图中据点较多所以请注意据点的攻略顺序和路线，拿S级评价应该不难。
１、西南方向全兵士＋全据点搞定先。
２、东北方面全兵士＋全拠点＋兵库搞定。
３、最后头目出现在商人边上，虐完收工。
任务达成时剩余时间3分30秒以上可以拿到S级评价！
和街道整备差不多的任务。注意据点占领的路线和顺序就OK。
顺序参照如下
据点6搞定行然后以据点⑦&⑧&②&⑤&④&③&①的顺序进行攻略（也就是赤&黄色&赤&黄色）。
任务达成时剩余时间1分以上可以拿到S级评价！
或者占领所有据点，打倒所有头目并占领敌兵粮库，那么无关时间也能拿到S级评价！
１、穿过右下据点后、击破上方出现的一名传令兵！
２、稍向左面移动正好可以击破从西北方向向东面移动的两名传令兵。
３、敌兵粮库附近的头目搞定后穿过右边上方的据点继续前进！
４、另一个头目搞定后，向西面移动，在前往我军兵粮库的途中搞定两个据点内的盗贼。
５、打倒盗贼头目后回到我军兵粮库。
作到上面5基本可以拿到S级评价了！
※６、一定时间经过后中间广场会有山贼头目出现！
※７、搞定山贼头目再返回我军兵粮库任务一样可以完成。
这个任务又是一个人品任务，运气比什么都重要&&
大家自己体会吧，俺就不废话了。
两人任务的情况下
１、玩家Ａ在地图左下打倒500(500人搞定后左下杂兵撤退消失)
２、这之后，玩家Ｂ向东面前进，到右上占领黄色据点救出路峰
３、占领后色据点，打倒据点中的手下可以得到头领所在位置的情报。
４、打倒有正确情报的手下后，中央左侧头领出现，清理之后任务过关。
任务达成时剩余时间5分37秒以上，路峰救出，头领搞定的情况下可以拿到S级评价！
目标敌船队
１、道德占领所有敌据点和兵粮库。
２、然后打倒数名从西北方向敌船中出来的敌武将。
３、最后打倒敌头领。
完成上述条件可以拿到S级评价。
盗贼团击退战
占领８个据点搞定８位队长，这之后拿下中央位置出来的头目任务过关。
任务达成时剩余时间5分2秒以上可以拿到S级评价。
内政上升值
点击复制文章地址，推荐给QQ和MSN上的朋友
新手第一次
任务S级达成
热门文章推荐
游戏名称：真三国无双OL
游戏类型：MMO-L-ACT
游戏状态：公测
开发公司：光荣
运营公司：天希
官方网站：
新游预订榜博客访问： 77994
博文数量： 82
博客积分： 0
博客等级： 民兵
技术积分： 874
注册时间：
认证徽章：
traveling in cumputer science!!
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： HADOOP
接触hadoop有段时间了，一直觉得自己对系统框架里面细节了解不够彻底，以至于写程序心里总会有点别扭，强迫症所致...
那就先总结下目前的认识！
用流水线可表示任务执行流程如下：
input(k1,v1) -& map -& (k2,v2) -& combine -& shuffle(partitioner) -& sort -& (k2,v2) -& reduce -& (k3,v3) -&output
接着来段大白话，聊一聊：
(通过FileInputFormat设置)，此步主要工作：验证输入形式，调用InputSplit决定map个数，并通过RecordReader用于输入记录；
(把输入的(k1,v1)分割成n个(k2,v2))，此步主要工作： setup初始化map工作例如打开文件，map例如把一行分割成(word,1)的(k,v)形式，用于后面reduce词频统计，cleanup收尾map工作例如关闭文件；
三，combine
此步主要工作：对map操作过后的(k2,v2)，按键值进行归并，也就是把key值相同的的value归并成一个values_list，此步是在map端进行，但是仅仅做归并操作，并没有多余的操作，目的是不让数据太分散，减少数据传输的网络开销；
四，shuffle
(这个词，记了好几次...也怪我记性差~_~!!)此处用partitioner就好记喽，此步主要工作：对combine后的结果进行分区操作，使具有相关性的数据发送到相同reduce节点上，避免具有相关性数据分散在不同reduce节点上，导致reduce计算过程中还得去访问其他reduce节点，降低运算效率；
此步主要操作：map处理过后的数据在进行reduce操作之前，进行排序操作，其过程为map过后，对分散存储的数据进行快速排序，然后通过归并排序把分散的数据存入一个大文件；
六，reduce
对(k2,v2)进行操作，其中v2指value_list，例如词频统计对(value_list数据进行累加)，同map包括(setup, reduce, cleanup)
七，output
(通过FileOutputFormat设置)，此步主要把任务数据存储起来，其中包括recordWriter对输出进行记录
这一过程中系统参数设置如下：
job.setJarByClass(Unique.class);//设置任务执行类
job.setMapperClass(UniMapper.class);//设置map类
job.setCombinerClass(UniReduce.class);//设置reduce类
job.setReducerClass(UniReduce.class);//设置combine类
job.setOutputKeyClass(Text.class);//设置程序输出k类型
job.setOutputValueClass(Text.class);//设置任务输出v类型
FileInputFormat.addInputPath(job, new Path(args[0]));//输入路径
FileOutputFormat.setOutputPath(job, new Path(args[1]));//输出路径
参考链接：
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
阅读(321) | 评论(0) | 转发(0) |
相关热门文章
给主人留下些什么吧！~~
请登录后评论。查看: 19076|回复: 0
如何使用spark将程序提交任务到yarn
主题帖子积分
金牌会员, 积分 6962, 距离下一级还需 3038 积分
金牌会员, 积分 6962, 距离下一级还需 3038 积分
本帖最后由 xioaxu790 于
13:14 编辑
问题导读：
1、怎样使用Spark提交任务到yarn 中 ？
2、提交到yarn 中，有哪些方式 ？
3.如何通过程序提交到yarn
因为spark文档中只介绍了两种用脚本提交到yarn的例子，并没有介绍如何通过程序提交yarn，但是我们的需求需要这样。网上很难找到例子，经过几天摸索，终于用程序提交到yarn成功，下面总结一下。
先介绍官网提交的例子，我用的是spark 0.9.0 hadoop2.2.0
一.使用脚本提交
1.使用spark脚本提交到yarn，首先需要将spark所在的主机和hadoop集群之间hosts相互配置（也就是把spark主机的ip和主机名配置到hadoop所有节点的/etc/hosts里面，再把集群所有节点的ip和主机名配置到spark所在主机的/etc/hosts里面）。
2.然后需要把hadoop目录etc/hadoop下面的*-sit.xml复制到${SPARK_HOME}的conf下面.
3.确保hadoop集群配置了 HADOOP_CONF_DIR or YARN_CONF_DIR
1.yarn-standalone方式提交到yarn
在${SPARK_HOME}下面执行：
SPARK_JAR=./assembly/target/scala-2.10.4/spark-assembly-0.9.0-incubating-hadoop2.2.0.jar \
& & ./bin/spark-class org.apache.spark.deploy.yarn.Client \
& && &--jar ./examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.0-incubating.jar \
& && &--class org.apache.spark.examples.SparkPi \
& && &--args yarn-standalone \
& && &--num-workers 3 \
& && &--master-memory 2g \
& && &--worker-memory 2g \
& && &--worker-cores 1
2. yarn-client 方式提交到yarn
在${SPARK_HOME}下面执行：
SPARK_JAR=./assembly/target/scala-2.10.4/spark-assembly-0.9.0-incubating-hadoop2.2.0.jar \
SPARK_YARN_APP_JAR=examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.0-incubating.jar \
./bin/run-example org.apache.spark.examples.SparkPi yarn-client
二、使用程序提交1.必须使用linux主机提交任务，使用windows提交到linux hadoop集群会报org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: 第 0 行: fg: 无任务控制
复制代码
错误。hadoop2.2.0不支持windows提交到linux hadoop集群，网上搜索发现这是hadoop的bug。
2.提交任务的主机和hadoop集群主机名需要在hosts相互配置。
3.因为使用程序提交是使用yarn-client方式，所以必须像上面脚本那样设置环境变量SPARK_JAR 和 SPARK_YARN_APP_JAR
比如我的设置为向提交任务主机~/.bashrc里面添加：
export SPARK_JAR=file:///home/ndyc/software/sparkTest/lib/spark-assembly-0.9.0-incubating-hadoop2.2.0.jar
& &&&export SPARK_YARN_APP_JAR=file:///home/ndyc/software/sparkTest/ndspark-0.0.1.jar
复制代码
file:// 表明是本地文件，如果使用hdfs上的文件将file://替换为hdfs://主机名:端口号。建议使用hdfs来引用 spark-assembly-0.9.0-incubating-hadoop2.2.0.jar，因为这个文件比较大，如果使用file://每次提交任务都需要上传这个jar到各个集群，很慢。
其中SPARK_JAR是${SPARK_HOME}/assembly/target/scala-2.10.4/spark-assembly-0.9.0-incubating-hadoop2.2.0.jar
SPARK_YARN_APP_JAR是自己程序打的jar包，包含自己的测试程序。
4.程序中加入hadoop、yarn、依赖。
注意，如果引入了hbase依赖，需要这样配置
&dependency&
& && && && &&groupId&org.apache.hbase&/groupId&
& && && && &&artifactId&hbase-thrift&/artifactId&
& && && && &&version&${hbase.version}&/version&
& && && && &&exclusions&
& && && && && & &exclusion&
& && && && && && &&&&groupId&org.apache.hadoop&/groupId&
& && && && && && &&&&artifactId&hadoop-mapreduce-client-jobclient&/artifactId&
& && && && && & &/exclusion&
& && && && && & &exclusion&
& && && && && && &&&&groupId&org.apache.hadoop&/groupId&
& && && && && && &&&&artifactId&hadoop-client&/artifactId&
& && && && && & &/exclusion&
& && && && &&/exclusions&
& && &&&&/dependency&
然后再加入
&dependency&
& && && && &&groupId&org.ow2.asm&/groupId&
& && && && &&artifactId&asm-all&/artifactId&
& && && && &&version&4.0&/version&
& && &&&&/dependency&
否则会报错：
IncompatibleClassChangeError has interface org.objectweb.asm.ClassVisitor as super class复制代码
异常是因为Hbase jar hadoop-mapreduce-client-jobclient.jar里面使用到了asm3.1 而spark需要的是asm-all-4.0.jar
5. hadoop conf下的*-site.xml需要复制到提交主机的classpath下，或者说maven项目resources下面。
6.编写程序
代码示例：
package com.sdyc.ndspark.
import org.apache.spark.SparkC
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkC
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairF
import scala.Tuple2;
import java.util.ArrayL
import java.util.L
* Created with IntelliJ IDEA.
* User: zarchary
* Date: 14-1-19
* Time: 下午6:23
* To change this template use File | Settings | File Templates.
*/
public class ListTest {
& & public static void main(String[] args) throws Exception {
& && &&&SparkConf sparkConf = new SparkConf();
& && &&&sparkConf.setAppName(&listTest&);
& && &&&//使用yarn模式提交
& && &&&sparkConf.setMaster(&yarn-client&);
JavaSparkContext sc = new JavaSparkContext(sparkConf);
& && &&&List&String& listA = new ArrayList&String&();
& && &&&listA.add(&a&);
& && &&&listA.add(&a&);
& && &&&listA.add(&b&);
& && &&&listA.add(&b&);
& && &&&listA.add(&b&);
& && &&&listA.add(&c&);
& && &&&listA.add(&d&);
& && &&&JavaRDD&String& letterA = sc.parallelize(listA);
& && &&&JavaPairRDD&String, Integer& letterB = letterA.map(new PairFunction&String, String, Integer&() {
& && && && &@Override
& && && && &public Tuple2&String, Integer& call(String s) throws Exception {
& && && && && & return new Tuple2&String, Integer&(s, 1);
& && && && &}
& && &&&});
& && &&&letterB = letterB.reduceByKey(new Function2&Integer, Integer, Integer&() {
& && && && &public Integer call(Integer i1, Integer i2) {
& && && && && & return i1 + i2;
& && && && &}
& && &&&});
& && &&&//颠倒顺序
& && &&&JavaPairRDD&Integer, String& letterC = letterB.map(new PairFunction&Tuple2&String, Integer&, Integer, String&() {
& && && && &@Override
& && && && &public Tuple2&Integer, String& call(Tuple2&String, Integer& stringIntegerTuple2) throws Exception {
& && && && && & return new Tuple2&Integer, String&(stringIntegerTuple2._2, stringIntegerTuple2._1);
& && && && &}
& && &&&});
& && &&&JavaPairRDD&Integer, List&String&& letterD = letterC.groupByKey();
//& && &&&//false说明是降序
& && &&&JavaPairRDD&Integer, List&String&& letterE = letterD.sortByKey(false);
& && &&&System.out.println(&========& + letterE.collect());
& && &&&System.exit(0);
& & }
}
代码中master设置为yar-client表明了是使用提交到yarn.
关于spark需要依赖的jar的配置可以参考我的博客spark安装和远程调用。
以上弄完之后就可以运行程序了。
运行后会看到yarn的ui界面出现：
191243_TTEl_132722.jpg (38.2 KB, 下载次数: 1)
09:25 上传
正在执行的过程中会发现hadoop yarn 有的nodemanage会有下面这个进程：
13247 org.apache.spark.deploy.yarn.WorkerLauncher
这是spark的工作进程。
如果接收到异常为：
WARN YarnClientClusterScheduler: Initial job has not ac check your cluster UI to ensure that workers are registered and have sufficient memory
出现这个错误是因为提交任务的节点不能和spark工作节点交互，因为提交完任务后提交任务节点上会起一个进程，展示任务进度，大多端口为4044，工作节点需要反馈进度给该该端口，所以如果主机名或者IP在hosts中配置不正确，就会报
WARN YarnClientClusterScheduler: Initial job has not ac check your cluster UI to ensure that workers are registered and have sufficient memory错误。
所以请检查主机名和IP是否配置正确。
我自己的理解为，程序提交任务到yarn后，会上传SPARK_JAR和SPARK_YARN_APP_JAR到hadoop节点， yarn根据任务情况来分配资源，在nodemanage节点上来启动org.apache.spark.deploy.yarn.WorkerLauncher工作节点来执行spark任务，执行完成后退出。
欢迎加入about云群 、 ，云计算爱好者群，关注
积极上进，爱好学习
经常参与各类话题的讨论，发帖内容较有主见
长期对论坛的繁荣而不断努力，或多次提出建设性意见
为论坛做出突出贡献的会员
站长推荐 /4
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
等待验证会员请验证邮箱
新手获取积分方法
技术类问答，解决学习openstack，hadoop生态系统中遇到的问题
Powered by