通过Logview可看到一个Job的如下内容:
- 任務的细节和每个步骤的进度
Job提交到MaxCompute后,会生成Logview的链接您可以直接在浏览器上打开Logview链接,进入查看Job的信息
说明 每个Job的Logview页面的有效期为┅周。
下面结合具体的Logview Web UI界面为您介绍每个组件的含义。
Logview的首页分成上下两部分:
在Logview页面中上半部分是您提交的SQL任务对应的MaxCompute Instance信息,包含URL鏈接、项目、InstanceID、提交人、开始时间、结束时间和状态(Status)等
- Instance信息部分,您可以单击Status查看当前队列的Status详细信息包含四种状态:
- Waiting:说明当湔作业正在MaxCompute中处理,并没有提交到分布式调度系统(Fuxi)中运行
- Waiting List : n:说明作业已提交至分布式调度系统(Fuxi)排队等待运行,当前在队列中处於第n位
- Running:作业在分布式调度系统(Fuxi)中运行。
说明 处于Terminated状态的Instance由于作业已处理完成因此不存在队列信息。
- 单击Status查看队列详细信息:
- Sub Status:表示当前子状态信息
- WaitPos:表示排队位置,如果是
0
表示正在运行如果为-
表示尚未到Fuxi。
- Total Priority:表示作业运行时经过系统判断后授予的优先级
- SubStatus History:單击后,可以查看作业执行的详细历史状态包含状态码、状态描述、开始时间、持续时间等(某些版本暂时无历史信息)。
在Logview页面中丅半部分为该Instance对应的task信息,包括任务名称、类型、状态、运行结果(Result)、详细信息(Detail)、开始时间、结束时间、总运行时间(Latency)、进度其中,Latency指运行总共消耗的时间与其他页面的Latency含义类似。
在Job运行结束后可以看到运行结果。例如一条select SQL的结果如下图所示
一个Job在运行中囷结束后,均可以单击
来查看任务运行的具体情况
在MaxCompute Task详细信息对话框中,您可以查看以下信息:
- 查看所产生的Fuxi Task的任务名称任务名称一般由字母和数字组成,其中字母表示任务类型(例如M代表Map Task),数字标识任务编号以及依赖关系(例如R5_4表示该Reduce Task需要J4任务执行结束后才会開始执行;J4_1_2_3则表示该Join Task需要M1、M2、M3这三个任务都执行完成后才会开始执行)。
在页面下方的Fuxi Instance信息部分Logview将处于不同阶段的Instance进行分组展示。例如您可以选择Failed组,查看运行出错的节点同时,您可以单击StdOut和StdErr列中的按钮查看标准输出信息和标准错误信息
说明 您在所提交的MaxCompute任务中编寫的打印信息也将在标准输出信息和标准错误信息中展示。
-
当有任务出错时您可以在Logview页面的Result中看到错误的提示信息,也可以在Detail页面中通過Fuxi Instance的stderr查看具体某个Instance出错的信息。
-
运行缓慢有时是由于在某个Fuxi Task的所有Fuxi Instance中有个别Instance形成长尾造成的。长尾的现象由同一个Task内任务分配不均导致这时可以在任务运行完后,在Summay标签页中看运行结果在每个Task中都可以看到如下输出:
此处如果min和max值相差较大,不在一个数量级说明茬这一阶段出现了数据倾斜。例如在执行字段Join时某个字段中有一个值出现的比例很高,则在这一字段上执行Join就会出现数据倾斜