这种情况下有两种方式可以处理
1> 注册表-使用join方式直接拼接成大宽表写入
2> 每个任务-直接写入下游数据 ，每个任务只更新自己的字段即可(因为主键相同)
在 2023-03-02 20:59:59，"casel.chen" 写道：
>flink sql jdbc connector是否支持多流拼接？
>业务上存在基于主键打宽场景，即多个流有相同的主键字段，除此之前其他字段没有重叠，现在想打成一张大宽表写入mysql/oracle这些关系数据库。
>每条流更新大宽表的一部分字段。
在使用pyflink提交任务时，部署模式onyarn
1 在不使用Map等算子下如下参数 能够提交成功 并且运行
.flink run -ynm pytest -m yarn-cluster -pyclientexec ***/python3 -pyexec
***/python3 -pyarch *** /python3.6.8.zip -py demo.py
2 在使用到map算子时 提交没有问题，但是运行报错，报错日志如下：
.flink run -ynm pytest -m yarn-cluster -pyclientexec
pi.python.shaded.py4j.commands.CallCommand.execute(CallCommand.java:79)
at
org.apache.flink.api.python.shaded.py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
在 2020-09-03 16:15:30，"Dian Fu" 写道：
>有更完整的log吗？
>
>> 在 2020年9月
使用hivecatalog连接 抱一下错误
flink py4j.protocol.Py4JJavaError: An error occurred while calling
o10.registerCatalog. : java.lang.NullPointerException
再启动服务的时候 需要指定checkpoint回复地址，你这里只是指定了做checkpint地址
在 2020-09-03 16:03:41，"sun" <1392427...@qq.com> 写道：
>你好，我有2个问题
>
>1：每次重启服务，checkpoint的目录中chk- 总是从chk-1开始，chk-2 ,没有从上次的编号开始
>
>2：重启服务后，没有从checkpoint中恢复state的数据
>
>下面是我的配置，我是在本地调试的，单机
>
>
>
>final StreamExecutionEnvironment
ok 我过两天试一下 最近有点忙 过两天测试一下1.11 到时候结果同步给大家 ，另外之前测试jdk使用jdk1.8.0_231 也是不行的
会报同样的错误
在 2020-07-13 20:06:01，"Congxian Qiu" 写道：
>Hi 程龙
>
>如果可以的话，也麻烦使用 1.11.0 测试下看问题是否还存在。
>
>Best,
>Congxian
>
>
>程龙 <13162790...@163.com> 于2020年7月13日周一 上午10:
> 1.
>> > >
>> 我验证了一下，如果开启了日志收集，那tm的日志是会保存的，但是你整个application结束前可能看不到，有一个trick的方法，首先在jm日志中找到tm分配到了哪个NodeManager上，通过拼接url的方式来获取container的日志
>> > > 2. 你是否需要调整一下重启策略[1]? 如果开启了ck，默认情况下就会一直尝试重启job
>> > >
>> > > [1]
>> > >
>> http
请问一下两个问题
1 flink on yarn的时候 taskmanager 挂掉的时候 上面的日志会被删除掉 无法查看 ，除了使用es收集日志的这种方案，
还有没有可以使taskmanager 挂掉，相关日志仍然可以保留。
2 flink on yarn模式 当由于错误导致taskmanager 挂掉，但是jobmanager 却一直存在， 有没有好的方式或者策略 ，
可以是当task失败 达到重试次数之后 taskmanager挂掉，jobmanager也挂掉
>>
>>
>> --
>> Best, yuchuan
>>
>>
>>
>> 在 2020-07-06 14:04:58，"Congxian Qiu" 写道：
>> >@陈凯 感谢你分享的这个方法，比较好奇这两个的区别是什么？修改后的 patch 在 closure 中一开始 copy 了一份
>> >CheckpointMeta，也就是说 845 - 867 行之间，之前的 checkpointMeta 会变为 null
都是分配不到资源(slot)的错误，应该还是checkpoint 为空导致的,不知道为啥为空
在 2020-07-01 20:51:34，"JasonLee" <17610775...@163.com> 写道：
>你到具体的tm上找到相关的operator看看是不是有异常信息
>
>
>| |
>JasonLee
>|
>|
>邮箱：17610775...@163.com
>|
>
>Signature is customized by Netease Mai
flink1.10上 程序运行几个小时后就会报不能执行checkpoint 空指针异常 具体如下：
java.lang.Exception: Could not perform checkpoint 3201 for operator Filter ->
Map (2/8).
at
org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpointOnBarrier(StreamTask.java:816)
at
1 首先transient 是对修饰的变量不进行序列化
2 你使用transient的目的需要明确 使用来干啥的
3 状态都是可以读取并且使用的 不进行序列化
在 2020-06-24 11:37:09，"kcz" <573693...@qq.com> 写道：
>请教大佬一个代码问题，当在open初始化一些mysql的client或者
>初始化state时候，用了transient是不是会对代码有优化作用，这里不是太理解。
可以自己改一下源码中的消费者 判断偏移量 ，如果是原先的正常启动 如果不是则不进行启动
在 2020-06-22 20:09:11，"莫失莫忘" 写道：
>如题，可以要求flink失败重启时 必须正常从checkpoint恢复，否则就重启失败吗？
可以试试自定义listener
在 2020-06-24 09:12:05，"faaron zheng" 写道：
>Flink 1.10中是否有接口或方法获取批任务执行进度，百分比？ faaron zheng 邮箱：faaronzh...@gmail.com 签名由
>网易邮箱大师 定制
java.net.URLClassLoader}.
>
>
>--classpath这个参数需要提前将jar部署在各个节点上或者使用NFS，确认jar是存在的吗
>
>
>Best,
>Yang
>
>程龙 <13162790...@163.com> 于2020年6月22日周一 上午11:43写道：
>
>> 2020-06-22 10:16:34,379 INFO
>> org.apache.flink.runtime.executiongraph.Executio
嗯 确认都能访问 使用http的方式
在 2020-06-23 10:04:55，"Weixubin" <18925434...@163.com> 写道：
>和版本应该没什么关系。如果是多节点部署的情况下，-C 所指定的URL 需要各个节点都能访问得到。 确认下该URL能被所有节点访问到吗
> Best,
> Bin
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>At 2020-06-22 11:4
一般都会的
在 2020-06-22 10:52:17，"wangxiangyan" 写道：
>hi，大家的在线任务会在晚上重跑一次做校正吗？
需要自己实现比如幂等操作 比如通过表示为操作
在 2020-06-22 10:04:43，"Benchao Li" 写道：
>看起来现在只有Kafka实现了TwoPhaseCommitSinkFunction，所以目前应该也只有Kafka支持exactly once。
>
>不过像Mysql、ES这种，可以根据主键来更新的，只要能做到at least once应该就可以了。
>
>忝忝向仧 <153488...@qq.com> 于2020年6月21日周日 下午11:27写道：
>
>> Hi,all:
>>
>>
>>
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Sink: Unnamed
(6/6) (5dd98ec92e0d5e53597cb7520643c7f5) switched from SCHEDULED to DEPLOYING.
2020-06-22 10:16:34,379 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph- Deploying
是用代码提交的jobmanager 是可以加载的 就是启动taskmanager 这个目录就没有创建， 界面如下 ，错误日志就是我下面贴出来的那个
在 2020-05-30 19:16:57，"462329521" <462329...@qq.com> 写道：
>你的提交命令是什么呢看样子是加载不到配置文件
>
>
>-- 原始邮件 --
>发件人: "程龙"<13162790...@163.com;
&
2020-05-30 19:07:31,418 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
-
2020-05-30 19:07:31,418 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
- Registered UNIX signal
下面的代码是你本地运行的是吗 如果是本地需要最简单的方式 就是把hdfs-site.xml 和core-site.xml 配置文件放到资源目录下
在 2020-05-29 15:06:21，"了不起的盖茨比" <573693...@qq.com> 写道：
>请教大家一个问题 ，
>hadoop服务TestHACluster，可是我用api访问时候，填写了path
>hdfs://TestHACluster/user/flink/test
>就会去访问TestHACluster:8020， 但是我是没有那个端口的，针对这种情况怎么处理下。
这不是flink的问题，之前遇到过相关问题 hbase region分裂的时候 会出现此类问题 你可以看看日志是否hbase region当时正在分裂，
在 2020-05-28 16:57:35，"air23" 写道：
2020-05-28 16:54:23,867 INFO
org.apache.hadoop.hbase.client.AsyncRequestFutureImpl - id=2,
table=GC_SCHEM:mon1, attempt=7/16, failureCount=427ops, last
可以先在之前对于long类型的字段转换成Timestmap 类型 再生成watermark
在 2020-05-28 17:00:53，"Benchao Li" 写道：
>Hi，
>
>没太看明白你的问题是什么。目前的确是只支持Timestmap(3)作为事件时间列。
>之所以还不支持long作为事件时间列，主要考虑的是时区问题。但是这个社区也在考虑，可以参考[1]
>
>[1] https://issues.apache.org/jira/browse/FLINK-16938
>
>guaishushu1...@163.com
24 matches
Mail list logo
