flink版本：1.11
1.首先第一个问题是在1.11的官方文档connectors的jdbc页面上有这样一句话
Notice that scan.partition.lower-bound and scan.partition.upper-bound are just
used to decide the partition stride, not for filtering the rows in table.
这与我观看的源码的结果是不一致的，scan.partition.lower-bound and scan.partition.upper-bound
这两个参数会导致数据
问题我自己已经解决。
> 在 2020年12月17日，下午9:00，丁浩浩 <18579099...@163.com> 写道：
>
> flink版本：1.11.1
> udaf函数代码来自于阿里云官网文档
>
> 以下是代码
> public class TestSql {
>public static void main(String[] args) throws Exception {
>
flink版本：1.11.1
udaf函数代码来自于阿里云官网文档
以下是代码
public class TestSql {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tableEnv = FlinkUt
我有一张大表有上亿条数据，但是在扫描过程中发生错误。提示超过最大执行时间，这个应该如何解决。
2020-11-18 17:07:43,658 INFO io.debezium.connector.mysql.SnapshotReader
[] - Step 7: - 10403 of 131508640 rows scanned from table
'test.right_info' after 01:00:00.952
2020-11-18 17:07:44,131 INFO io.debezium.connector.mysql.S
也有提及：
>>>>
>>>> 解决办法：在 flink-conf.yaml 配置 failed checkpoint 容忍次数，以及失败重启策略，如下：
>>>>
>>>> execution.checkpointing.interval: 10min # checkpoint间隔时间
>>>> execution.checkpointing.tolerable-failed-checkpoints: 100 # checkpoint
>>>&g
把 not exists 替换成其他方案，比如 udf，维表 join。
>
> Best,
> Jark
>
> On Mon, 16 Nov 2020 at 10:05, 丁浩浩 <18579099...@163.com> wrote:
>
>> select
>>ri.sub_clazz_number,
>>prcrs.rounds,
>>count(*) as num
>> from
>>subclazz gs
&g
我想在where条件下用不等号报错，难道flink sql不等号不是!=这个吗？
[ERROR] Could not execute SQL statement. Reason:
org.apache.calcite.runtime.CalciteException: Bang equal '!=' is not allowed
under the current SQL conformance level
SYSTEM TIME AS OF）？
> 需要明确下，到底是什么节点慢了。
>
> On Fri, 13 Nov 2020 at 19:02, 丁浩浩 <18579099...@163.com> wrote:
>
>> 我用flink cdc 对mysql的表进行关联查询，发现flink只能两张表关联之后再跟下一张表关联，导致最后落库的延迟非常大。
>> 有没有比较好的优化方案能缓解这样的问题？
我用flink cdc 对mysql的表进行关联查询，发现flink只能两张表关联之后再跟下一张表关联，导致最后落库的延迟非常大。
有没有比较好的优化方案能缓解这样的问题？
当我mysql字段时datetime并且字段值是-00-00
00:00:00时，会被转成1970-01-01T00:00，如果我应该如何操作才能保证跟原数值保持一致？
输出的结果：
2> (true,1,zhangsan,18,1970-01-01T00:00)
3> (true,2,lisi,20,2020-11-11T14:17:46)
4> (true,3,wangwu,99,1970-01-01T00:00)
1> (true,4,zhaoliu,77,1970-01-01T00:00)
日志信息：
2020-11-11 14:30:37,418 - 19755 WARN
当我使用flink cdc 对多张表进行关联查询时其中的一张表总是会有锁超时的情况，导致任务无法正常启动，
请问这种情况应该如何处理？
org.apache.kafka.connect.errors.ConnectException: Lock wait timeout exceeded;
try restarting transaction Error code: 1205; SQLSTATE: 40001.
at
io.debezium.connector.mysql.AbstractReader.wrap(AbstractReader.java:230)
感谢大佬！！！
> 在 2020年11月10日，下午8:22，hailongwang <18868816...@163.com> 写道：
>
> Hi,
>
>
> 需要将 null cast 成某个具体的值，比如：
> if(type=1,2,cast(null as int))
>
>
> Best,
> Hailong
> 在 2020-11-10 19:14:44，"丁浩浩" <18579099...@163.com> 写道：
>> Sele
Select
id,
name,
if(type=1,2,null)
From
user ;
当我执行上面的sql的时候提示我
[ERROR] Could not execute SQL statement. Reason:
org.apache.calcite.sql.validate.SqlValidatorException: Illegal use of ‘NULL’
是无法将null展示吗？
当mysql表字段修改之后，再用flink cdc接入，当使用到这个表的时候会提示字段不存在。
Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL
validation failed. From line 53, column 15 to line 53, column 20: Column
'rounds' not found in table 'prcrs'
at
org.apache.flink.table.planner.calcite.FlinkPlann
就比如我要用flink cdc 接入mysql表，一般都是直接将mysql表的DDL稍加修改然后在flink sql中创建，一般都不会考虑到
类型转换的问题就直接沿用mysql中的类型，当然sql也是一样的。同样的sql在满足语法正确性的情况下，mysql中能跑，而flinksql中无法跑，
当然可以通过显示类型转化来完成，但是能提供自动转化会更好的提供易用性。
> 在 2020年11月10日，下午2:51，Danny Chan 写道：
>
> 暂时还没有 你们是什么场景需要用到隐式类型
>
> 丁浩浩 <18579099...@163.com&
t; 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
>>
>>
>> Best,
>> Hailong Wang
>>
>> 在 2020-11-10 10:41:47，"丁浩浩" <18579099...@163.com> 写道：
>>> 我使用flink sql cdc取连接 mysql表的时候，当我的mysql表type这个字段类型是tinyint类型时 使用type
>> in（1,2,3,4,5）会报
我使用flink sql cdc取连接 mysql表的时候，当我的mysql表type这个字段类型是tinyint类型时 使用type
in（1,2,3,4,5）会报以下的错误，只有当我把字段类型改成int的时候才能使用in，这是符合预期的吗，当字段类型不匹配的时候 flink
sql不会自动转换类型吗？
[ERROR] Could not execute SQL statement. Reason:
org.codehaus.commons.compiler.CompileException: Line 6, Column 88: No
applicable constructor
这个任务通过读取mysql CDC 然后关联之后写入到mysql中，每次提交任务都会报错，但是会正确提交的集群上去，并且成功执行。
我想问问是什么原因？
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: No operators d
> hi
>
> 我建议可以从两方面排查一下：
>
> 1、检查 checkpoint 的大小，是不是很大？
>
> 2、检查作业是否反压？反压的情况下 checkpoint 一般很难成功，这种情况可以先解决反压的问题。
>
> Best
> zhisheng
>
> 丁浩浩 <18579099...@163.com> 于2020年11月2日周一 下午4:08写道：
>
>> 我刚调研flink sql cdc功能，我有一个这样的需求，就是三张CDC的表做left join关联
我刚调研flink sql cdc功能，我有一个这样的需求，就是三张CDC的表做left join关联，由于三张表都会变化，所以使用cdc来做。
前两张表数据每张大概20万条数据，最后一张表只有几十条数据，我是讲三张表关联之后做成宽表写入的mysql中。
每次数据写到10万条左右任务失败，查看了一下日志，是checkpoint超时造成的。状态后端用的rocksDB。我想问
数据量也不是很大，为什么checkpoint会超时呢，也就是10分钟没有完成checkpoint？
source应该是没有输入指标吧
> 在 2020年10月13日，下午5:39，hailongwang <18868816...@163.com> 写道：
>
> Hi chenxuying,
>
>
> 如果你的算子都是 chain 成一个 operator 的话，那么是没有的。因为 Source 没有 输出指标，Sink 没有输出指标，所以
> chain在一起是话就没有了。
> 如果你想要看的话，可以并发设置成不一样，或者显示的调用 disableChain。
>
>
> Best，
> Hailong Wang
>
>
> 在 2020-10-13 16:22:41
如果你的算子全都串在一个节点里面的话，是看不到输入输出的。
> 在 2020年10月13日，下午5:22，chenxuying 写道：
>
> 集群是local Standalone模式,任务可以正常的运行, sink是print,能在Stdout看到数据输出,
> 但是在任务详情页面没有Bytes Received, Records Received, Bytes Sent , Records Sent等实时数据
> 都是0
我想要获取到flink webUI上面的DAG图，有什么办法能够获取到吗？
如题，我需要设置flink提交到yarn的job name应该怎么设置呢？
24 matches
Mail list logo
