如何在 Hue 3.10 中提交 Sqoop1 作业?

VS2017怎么提交作业?VS2017中做编程开发的时候,想要进行作业提交,该怎么提交呢?下面电脑你技术网我们就来看看VS提交作业的方法,需要的朋友可以参考下:

5、然后我们点击确定按钮。

Step1. 建立测试用数据库

创建 MySQL 的步骤这里不阐述,各个网站随便搜,注意 CentOS 7.2 默认是
MariaDB,请参考类似文档。

1.在喜马拉雅APP上找到你的节目点击分享,分享到我们的QQ群。

2、接下来我们点击这个DataLake按钮。

1、首先我们点击工具按钮下方的视图按钮

ylg娱乐官网,Step3. 启动工作流

点击 Submit 按钮,提交作业。

注意: target-dir 必须本身不存在,否则会报错。

5

1、打开软件后我们点击菜单栏的工具按钮。

以上就是VS2017使用作业视图的教程,希望大家喜欢

小结

本文介绍了如何在 Hue 3.10 中提交 Sqoop1 作业,以及如何避免常见问题。

ylg娱乐官网 1

5、此时我们点击确定按钮。

2、此时我们就可以看到作业视图

B. 合理配置 YARN 内存

如果对以下配置不进行合理配置(比如使用 Cloudera 的默认配置),会出现
issue:
https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-sqoop-action-in-CDH-5-2-Heart-beat-issue/td-p/22181,所以我们需要修改并且加大它们:

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
  </property>

这块不需要手动修改配置文件,可以在 Cloudera Manager Web Console ->
Cluster -> YARN -> Configuration 中设置。

修改完上述配置后,我们需要重启 YARN。

ylg娱乐官网 2

3、然后我们点击提交作业按钮。

VS2017中想要使用作业视图,该怎么使用呢?下面我们就来看看详细的教程。

Step2. 创建测试工作流

打开 Hue 的 Web 界面,进入 Workflows -> Editors ->
Workflows ,点击 Create 按钮。从上方的标签中选择 Sqoop1 拖入
Drop your action here 的位置,在 Sqoop command 中输入:

import  --connect jdbc:mysql://${MYSQL_HOSTNAME}:${MYSQL_PORT}/${DN_NAME} --table ${TABLE_NAME} --target-dir hdfs://${NAMENODE_HOSTNAME}:${NAMENODE_PORT}/${PATH_TARGET} -m 1 --username ${USERNAME} --password ${PASSWORD}

命令中的变量请自行替换。完成后保存,点击 Save 按钮 。

2.在QQ群中再点开这个链接,再点击有上角的分享按钮,看到下面有“复制链接”,点击即可复制链接。

以上就是VS提交作业的方法,希望大家喜欢

4、接下来我们就可以点击浏览按钮

准备工作

有两块需要注意,一个是 Mysql Connector Jar 需要在 Oozie / Sqoop
的对应库目录下存在,一个是 Yarn
相关的内存资源配置,否则提交任务后会一直进行 heartbeat。

ylg娱乐官网 3

发表评论

电子邮件地址不会被公开。 必填项已用*标注