Re: 如何把自己新增的定制化connector deploy snapshot版本到私服仓库
你好, 不需要将所有的依赖都改为snapshot,仅需要将我们项目内的版本加上 snapshot 后缀。 可以在项目中统一替换版本号 1.x.x -> 1.x.x-SNAPSHOT,或者使用 mvn versions:set -DnewVersion=1.x.x-SNAPSHOT 设置。 > 2023年8月2日 下午2:25,jinzhuguang 写道: > > 非常感谢你的提醒,我现在用maven工具修改了所有的版本号为snapshot,但是flink-connectors(connectors的父模块)也变成snapshot,打包的时候仓库里找不到他了,而且也没法想flink-runtime这些包手动改下版本好,这种该怎么办 > >> 2023年7月27日 11:05,Jiabao Sun 写道: >> >> 你好, >> >> 通常在 pom 中引入 maven-deploy-plugin,并且通过 声明私服地址,使用 mvn >> clean deploy 命令部署到nexus私服。 >> 部署到 SNAPSHOT 仓库需要项目版本号包含 -SNAPSHOT 后缀,可以在IDE中全局替换,也可以使用 >> versions-maven-plugin 统一设置。 >> >> >> >> >> >> org.apache.maven.plugins >> maven-deploy-plugin >> 2.8.2 >> >>${maven.deploy.skip} >> >> >> >> >> >> >> >> private-snapshots >> >> https://xxx.xxx.xxx/nexus/content/repositories/snapshots/ >> >> >> private-releases >> https://xxx.xxx.xxx/nexus/content/repositories/releases/ >> >> >> >> >> >>> 2023年7月27日 上午10:48,jinzhuguang 写道: >>> >>> 我是基于flink 1.16.0开发的,由于版本号没有snapshot,现在又无法发布release版本的,我该怎么办?
Re: 如何把自己新增的定制化connector deploy snapshot版本到私服仓库
非常感谢你的提醒,我现在用maven工具修改了所有的版本号为snapshot,但是flink-connectors(connectors的父模块)也变成snapshot,打包的时候仓库里找不到他了,而且也没法想flink-runtime这些包手动改下版本好,这种该怎么办 > 2023年7月27日 11:05,Jiabao Sun 写道: > > 你好, > > 通常在 pom 中引入 maven-deploy-plugin,并且通过 声明私服地址,使用 mvn > clean deploy 命令部署到nexus私服。 > 部署到 SNAPSHOT 仓库需要项目版本号包含 -SNAPSHOT 后缀,可以在IDE中全局替换,也可以使用 versions-maven-plugin > 统一设置。 > > > > > > org.apache.maven.plugins > maven-deploy-plugin > 2.8.2 > > ${maven.deploy.skip} > > > > > > > >private-snapshots > > https://xxx.xxx.xxx/nexus/content/repositories/snapshots/ > > >private-releases >https://xxx.xxx.xxx/nexus/content/repositories/releases/ > > > > > >> 2023年7月27日 上午10:48,jinzhuguang 写道: >> >> 我是基于flink 1.16.0开发的,由于版本号没有snapshot,现在又无法发布release版本的,我该怎么办?
Re: flink sql作业状态跨存储系统迁移问题
Hi, 我理解可以有两种方式: 1. 设定从某个存储集群上恢复并向另一个存储集群上快照,即设置[1]为 HDFS地址,[2] 为后面的对象存储地址 2. 还是在HDFS集群上启停作业,设置 savepoint 目录[3]到对象存储 关于 state processor api,目前 sql 作业确实操作起来比较困难,只能从日志里获取 uid 等信息,以及理解 sql 实际产生的状态才能使用; [1] https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/config/#execution-savepoint-path [2] https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/config/#state-checkpoints-dir [3] https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/config/#state-savepoints-dir On Sat, Jul 29, 2023 at 11:09 AM casel.chen wrote: > 我们要将当前在Hadoop Yarn上运行的flink > sql作业迁移到K8S上,状态存储介质要从HDFS更换到对象存储,以便作业能够从之前保存点恢复,升级对用户无感。 > 又因为flink作业状态文件内容中包含有绝对路径,所以不能通过物理直接复制文件的办法实现。 > > > 查了一下官网flink state processor api目前读取状态需要传参uid和flink状态类型,但问题是flink > sql作业的uid是自动生成的,状态类型我们也无法得知,请问有没有遍历目录下保存的所有状态并将其另存到另一个文件系统目录下的API ? 感觉state > processor api更适合stream api写的作业,sql作业几乎无法处理。是这样么? -- Best, Hangxiang.
flink1.17.1版本 flink on yarn 提交无法获取配置文件
/opt/flink/flink-1.17.1/bin/flink run-application -t yarn-application -yjm 1024m -ytm 1024m ./xx-1.0.jar ./config.properties以上提交命令制定的配置文件,为什么在容器内找配置文件?file /home/yarn/nm/usercache/root/appcache/application_1690773368385_0092/container_e183_1690773368385_0092_01_01/./config.properties does not exist
退订
*退订*
Flink ML
您好 我想知道是否有代码示例,可以在Flink程序中加载预先训练好的编码模型(用python编写)