Oozie

[Hadoop]

Oozie

• Hadoopファミリーの１つ、ワークフローを設定できる

  OozieのJob状態確認

• Checking the Status of multiple Workflow Jobs

// ノードの外
$ oozie jobs -oozie http://localhost:8080/oozie -localtime -len 2 -filter status=RUNNING

// ノードの中
$ oozie jobs -localtime -len 2 -filter status=RUNNING

  Oozieのworkflow.xml

• Oozie Hive Action Extension
  • OozieでHiveをクライアントから動かすときのXMLスキーマ。超めんどくさい。

• "uri:oozie:workflow"
  • これはversion 0.5まであるようだ、ドラフト版のスキーマも載っているようでごちゃごちゃしている
  • Appendix A, Oozie XML-Schema

• "uri:oozie:workflow:0.1" のスキーマ

<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">
    ...
    <action name="[NODE-NAME]">
        <hive xmlns="uri:oozie:hive-action:0.2">
            <job-tracker>[JOB-TRACKER]</job-tracker>
            <name-node>[NAME-NODE]</name-node>
            <prepare>
               <delete path="[PATH]"/>
               ...
               <mkdir path="[PATH]"/>
               ...
            </prepare>
            <job-xml>[HIVE SETTINGS FILE]</job-xml>
            <configuration>
                <property>
                    <name>[PROPERTY-NAME]</name>
                    <value>[PROPERTY-VALUE]</value>
                </property>
                ...
            </configuration>
            <script>[HIVE-SCRIPT]</script>
            <param>[PARAM-VALUE]</param>
                ...
            <param>[PARAM-VALUE]</param>
            <file>[FILE-PATH]</file>
            ...
            <archive>[FILE-PATH]</archive>
            ...
        </hive>
        <ok to="[NODE-NAME]"/>
        <error to="[NODE-NAME]"/>
    </action>
    ...
</workflow-app>

• "uri:oozie:workflow:0.5" のサンプル
  • workflow.xml

// 検証
$ oozie validate workflow.xml

// 最小限のXML
<workflow-app name="hive-wf" xmlns="uri:oozie:workflow:0.5">
    <global/>
    <credentials/>
    <start to="hive-job"/>
    <end name="end"/>
</workflow-app>