flink run -py new_jdbc_source.py
Traceback (most recent call last):
File "new_jdbc_source.py", line 66, in
st_env.execute_sql("select * from feature_bar_sink").print()
File
"/Users/derek.bao/dev-utils/flink-1.11.2/opt/python/pyflink.zip/pyflink/table/table_environment.py",
line 543, in
嗯嗯 好的 谢谢大家 ，应该就是这个问题了，merge到分支验证下
On Fri, Jan 22, 2021 at 11:35 AM Shengkai Fang wrote:
> hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。
>
> [1] https://github.com/apache/flink/pull/13800
>
> Land 于2021年1月22日周五 上午11:28写道：
>
> > 可能是没有下推到MySQL执行。
> > 问题和我遇到的类似：
> >
请教个问题，使用flink sql 去拉取mysql数据，mysql源表有千万级别数据量，使用了 select * from sourcTable
limit 10；
即使是limit几条数据也会导致内存暴增。这里的limit是从mysql原表执行后 直接在flink taskmanager进行limit取数据吗？
看了下源码BigInteger 转都会有问题，没有匹配的这种类型：
public boolean isNullAt(int pos) {
return this.fields[pos] == null;
}
@Override
public boolean getBoolean(int pos) {
return (boolean) this.fields[pos];
}
@Override
public byte getByte(int pos) {
return (byte) this.fields[pos];
}
@Override
public short
目前现状：公司flink任务都是跑在flin1.7当中，通过公司开发的流计算平台进行提交到flink yarn集群，flink on yarn
基于flink
session进行部署，运行任务有接近500个流式任务，许多都是有状态应用，现在如果想把flink集群升级到1.11或者1.12，如何平滑的进行版本升级，而不影响现有的任务？
请教个问题 hive读取复杂类型，mysql支持，有什么方法把数据当初字符串去存储到 mysql中:
org.apache.flink.table.api.ValidationException: Field types of query
result and registered TableSink
default_catalog.default_database.0_es_hive_094679318_tmp do not match.
Query schema: [id: INT, name: VARCHAR(2147483647), hobby: ARRAY,
add: MAP]
