乐奇 Rokid 开放社区 flink on yarn启动session 指定队列

flink on yarn启动session 指定队列

Flink on Yarn启动Session指定队列教程

一、整体流程

下面是启动Flink on Yarn Session并指定队列的步骤:

步骤描述
1准备Flink程序jar包和配置文件
2启动Yarn集群
3提交Flink on Yarn Session

二、步骤说明

步骤一:准备Flink程序jar包和配置文件

首先,你需要将你的Flink程序打包成一个jar包,同时准备好配置文件 flink-conf.yaml。确保配置文件中包含以下内容:

yarn.application.name: flink-session
yarn.queue: your_queue_name
  • 1.
  • 2.
步骤二:启动Yarn集群

如果你还没有启动Yarn集群,可以按照以下步骤启动:

  1. 启动HDFS:
start-dfs.sh
  • 1.
  1. 启动Yarn:
start-yarn.sh
  • 1.
步骤三:提交Flink on Yarn Session

最后,使用以下命令提交Flink on Yarn Session:

./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -qu your_queue_name -s
  • 1.

其中,参数解释如下:

  • -n 2: 指定TaskManager的数量为2
  • -jm 1024m: 指定JobManager的内存为1024MB
  • -tm 1024m: 指定TaskManager的内存为1024MB
  • -qu your_queue_name: 指定队列名称为 your_queue_name
  • -s: 启动Session模式

三、类图

FlinkProgram FlinkYarnSession Yarn

经过以上步骤,你就成功启动了一个Flink on Yarn Session并指定了队列。希望这篇教程对你有所帮助!

原创作者: u_16175447 转载于: https://blog.51cto.com/u_16175447/11281968

更多推荐

  • 浏览量 542
  • 收藏 0
  • 0

所有评论(0)

查看更多评论 
已为社区贡献2条内容