如何添加source保障程序状态不丢
请问下，我们程序在运行后需要添加一个kafka source（和老的协议一致，后面加工逻辑一样），程序开启了checkpoint，如何保障之前程序的状态不丢啊
回复: flink sql建表异常问题
补充下抛错异常
Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could
not find a suitable table factory for
'org.apache.flink.table.delegation.ExecutorFactory' in
the classpath.
Reason: No factory implements
'org.apache.flink.table.delegation.ExecutorFactory'.
The following properties are requested:
class-name=org.apache.flink.table.planner.delegation.BlinkExecutorFactory
streaming-mode=true
The following factories have been considered:
org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory
at
org.apache.flink.table.factories.TableFactoryService.filterByFactoryClass(TableFactoryService.java:215)
at
org.apache.flink.table.factories.TableFactoryService.filter(TableFactoryService.java:176)
at
org.apache.flink.table.factories.TableFactoryService.findAllInternal(TableFactoryService.java:164)
at
org.apache.flink.table.factories.TableFactoryService.findAll(TableFactoryService.java:121)
at
org.apache.flink.table.factories.ComponentFactoryService.find(ComponentFactoryService.java:50)
at
org.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.lookupExecutor(StreamTableEnvironmentImpl.java:185)
... 97 more
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in
[jar:file:/opt/soft/flink-1.13.0/lib/log4j-slf4j-impl-2.12.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in
[jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an
explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
org.apache.flink.table.factories.TableSinkFactory
pom部分文件
org.apache.flink
flink-table-planner-blink_${scala.binary.version}
${flink.version}
org.apache.flink
flink-table-api-java-bridge_${scala.binary.version}
${flink.version}
org.apache.flink
flink-table-api-scala-bridge_${scala.binary.version}
${flink.version}
provided
您好
我将flink
sql建表程序提交到k8s执行时抛出如下异常，网上提示需要引入flink-table-planner-blink等依赖，但实际pom文件中已经引入，请问这个该如何解决，附部分pom文件，flink版本为1.13。谢谢。
Re: flink on native k8s调度控制
你这个需求是taint和toleration[1]可以解决的，目前native K8s是支持的[2] kubernetes.jobmanager.tolerations kubernetes.taskmanager.tolerations [1]. https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/ [2]. https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#kubernetes-jobmanager-tolerations Best, Yang casel.chen 于2021年11月15日周一 下午6:25写道： > flink作业跑在一个k8s集群，该集群下面有若干个节点，想将某些节点给部门A使用，其他节点给部门B使用。请问flink有配置控制k8s调度吗？ > 1. 给节点打上标签 > 2. 作业提交的时候设置调度标签值
flink sql建表异常问题
您好 我将flink sql建表程序提交到k8s执行时抛出如下异常，网上提示需要引入flink-table-planner-blink等依赖，但实际pom文件中已经引入，请问这个该如何解决，附部分pom文件，flink版本为1.13。谢谢。
Re: FlinkSQL写hive orc表开启compact，任务异常重启，compact不生效？
还有基于检查点启动，首先数据完整性最终实际没问题对吧。 yidan zhao 于2021年11月17日周三 上午10:22写道： > 出错原因是因为机器不稳定，tm超时等。 > 话说这种有什么判别方法用于定期清理吗。 > > Caizhi Weng 于2021年11月17日周三 上午9:50写道： > >> Hi！ >> >> 因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 . >> 开头的，表示当前不可见。只有 >> checkpoint >> 之后才会重命名为可见文件。因此如果任务频繁出现错误，这些不可见文件就会留在目录里，导致文件数增加。建议首先把任务为什么频繁出错查出来。 >> >> yidan zhao 于2021年11月16日周二 下午5:36写道： >> >> > >> > >> 如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。 >> > >> >
Re: FlinkSQL写hive orc表开启compact，任务异常重启，compact不生效？
出错原因是因为机器不稳定，tm超时等。 话说这种有什么判别方法用于定期清理吗。 Caizhi Weng 于2021年11月17日周三 上午9:50写道： > Hi！ > > 因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 . 开头的，表示当前不可见。只有 > checkpoint > 之后才会重命名为可见文件。因此如果任务频繁出现错误，这些不可见文件就会留在目录里，导致文件数增加。建议首先把任务为什么频繁出错查出来。 > > yidan zhao 于2021年11月16日周二 下午5:36写道： > > > > > > 如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。 > > >
Re: Flink没有Operator级别的数据量Metrics
看不到Task里Operator之间传输的数据量 zhisheng 于2021年11月4日周四 下午4:56写道： > > webui 有 operator 级别的，仔细看看 > > Ada Luna 于2021年10月26日周二 下午4:08写道： > > > Web-UI中的就是Flink原生正常的Metrics，都是Task级别 > > > > xiazhl 于2021年10月26日周二 下午2:31写道： > > > > > > web-ui里面有metrics > > > > > > > > > > > > > > > -- 原始邮件 -- > > > 发件人: > > "user-zh" > > < > > gfen...@gmail.com>; > > > 发送时间: 2021年10月26日(星期二) 中午1:55 > > > 收件人: "user-zh" > > > > > 主题: Flink没有Operator级别的数据量Metrics > > > > > > > > > > > > > > Flink只能看到Task级别的流入流出数据量，而没有Operator级别的。这个是出于性能考量吗？未来会加入一个开关，可以看到Operator级别的，方便debug吗？ > >
Re: Flink jdbc Connector 特殊类型问题
这指定不是个Bug。Flink SQL 类型是有限的。有限的类型囊括不了JDBC的数据源各种数据源的类型。 Shengkai Fang 于2021年11月16日周二 下午12:38写道： > > 如果是个 bug，建议在社区开个 issue 跟踪下这个问题。 > > Shengkai Fang 于2021年11月16日周二 下午12:37写道： > > > 能分享下具体是什么错误类型吗？ > > > > 我看了下代码，感觉不太好支持。具体的序列化器是由 > > `AbstractJdbcRowConverter`#createExternalConverter 决定的。 > > 根据你的描述，当前的序列化器不够通用导致了这个问题，可能需要改动下源码才能支持。 > > > > Best, > > Shengkai > > > > Ada Luna 于2021年11月12日周五 上午11:25写道： > > > >> Oracle中有VARCHAR 和 CLOB > >> 如果我在Flink SQL JDBC Sink中配置STRING那么只能写VARCHAR 写CLOB会报错。 > >> 我想扩展FlinkSQL DDL的类型有什么办法吗。是用RAW类型还是有其他更好办法。 > >> Oracle中VARCHAR和CLOB是两种不同的String，我需要在Sink写出的时候根据DDL的类型，调用不同的转换方法 > >> > >> Ada Luna 于2021年11月12日周五 上午11:23写道： > >> > > >> > Oracle中有VARCHAR 和 CLOB > >> > 如果我在Flink SQL JDBC Sink中配置STRING那么只能写VARCHAR 写CLOB会报错。 > >> > >
Re: FlinkSQL写hive orc表开启compact，任务异常重启，compact不生效？
Hi！ 因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 . 开头的，表示当前不可见。只有 checkpoint 之后才会重命名为可见文件。因此如果任务频繁出现错误，这些不可见文件就会留在目录里，导致文件数增加。建议首先把任务为什么频繁出错查出来。 yidan zhao 于2021年11月16日周二 下午5:36写道： > > 如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。 >
FlinkSQL写hive orc表开启compact，任务异常重启，compact不生效？
如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。
Re: flinksql 写 hive ，orc格式，应该支持下压缩。
我看了下，默认不带.zlib之类的后缀，我加了也看不出来到底有没有压缩。 其次，orc.compression官方介绍默认是zlib，貌似默认就有开启压缩？ RS 于2021年11月15日周一 上午9:55写道： > 官网里面有介绍这个，你是要这个吧 > > https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/ > > > Orc format also supports table properties from Table properties. For > example, you can configure orc.compress=SNAPPY to enable snappy compression. > > > 在 2021-11-11 12:37:31，"yidan zhao" 写道： > >如题，有支持压缩的方法吗当前，看文档没找到应该。 >
