marsorp
- 浏览: 214712 次
- 性别:
- 来自: 北京
-
最新评论
-
javalogo：
[b][i][u]引用[list]
[*][*][flash= ...
什么是Flume -
leibnitz：
what are they meanings
Hadoop Ganglia Metric Item -
di1984HIT：
没用过啊。
akka 介绍-Actor 基础 -
di1984HIT：
写的不错。
Hadoop管理-集群维护 -
developerinit：
很好，基本上介绍了
什么是Flume
文章列表
oozie-工作流控制节点详述
- 博客分类：
- oozie
控制节点包括start、end、kill、decision、fork、join。其中start、end、kill代表了工作流的起始及工作流执行逻辑（路径），如decision、fork、join
节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符；
start控制节点
此节点是工作流任务的入口点,工作流定义必须有一个start节点
语法:
<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">
...
<sta ...
oozie-工作流定义
- 博客分类：
- oozie
工作流定义由控制节点及动作节点组成,控制节点包括start、end、decision、fork、join、kill,动作节点包括map-reduce、pig、hive等
工作流定义语言是基于XML的，叫hPDL(Hadoop Process Definition Language)
Oozie 不支持循环定义工作流，在部署阶段会检测循环定义动作,如检测到，Oozie不会提交此工作流；
oozie-深入探讨工作流
- 博客分类：
- oozie
一个工作流应用主要是靠DAG来协调actions,如M/R、Pig、子工作流等;
流程控制，是通过decision、fork 和 join来控制的，循环工作流目前Oozie还不支持；
Actions 和 decisions 可以通过任务的属性文件来传递参数,如actions 输入/输出.通过${VARS}来访问属性文件定义的参数；
一个工作流应用是一个ZIP格式的文件，ZIP文件中包含了工作流定义(XML 文件）、Jars、等应用要用到的资源；
要运行工作流任务，通过oozie命令来提交任务；
监控工作流运行情况，可以通过WEB Console、命令行工具、及WebService AP ...
oozie 工作流概念
- 博客分类：
- oozie
定义:
Action: 一个计算任务(如M/R,Pig,Hive,Pojo java,做为工作流的一个"action node";
Workflow: Action的集合，控制依赖通过DAG来定义。控制依赖是指一个任务的运行依赖于另一个任务的结束;
Workflow Definition：使工作流可运行;
Workflow Definition Language: 工作流定义语言hPDL(Hadoop Process Definition Language)；
Workflow Job: 一个工作流定义的实例；
Workflow Engine: 执行工作流任务的系 ...
Oozie 是一个管理hadoop任务的工作流/协调系统
Oozie工作流是基于DAGs
Oozie协调系统通过时间及数据可用来激活任务调度
Oozie 支持的任务包括M/R job, Streaming Job , Pig, Hive, Distcp , pojo java
Oozie 是一个可以扩展的系统，你可以写插件
Transform
List(1, 2, 3, 4, 5) map { _ * 2 }
Reduce
List(1, 2, 3, 4, 5) reduceLeft { _ * _ }
The first _ represents the argument that is accumulating the value of the reduction, and the second _ represents the current element of the list.
Function Literals and Closures
var factor = 3
val multipl ...
函数式编程，其实就是我们常用的method,procedure,function。
转发：http://www.cnblogs.com/JeffreyZhao/archive/2009/05/11/a-simple-actor-model-implementation.html