ERROR log：
.
Job has been submitted with JobID 91ac323d4d5338418883240680192f34
Traceback (most recent call last):
File "", line 1, in
File
"/tmp/dee3edf4-08ff-4c2c-87aa-fef573fae884pyflink.zip/pyflink/table/table_environment.py",
line 907, in execute
File
hi:
你可以自定义一个trigger [1]
第二个场景是可以的，第一种场景我没有遇到过这种场景，你可以试试。
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html
flink小猪 <18579099...@163.com> 于2020年3月27日周五 上午11:29写道：
> 我有两个需求
> 1.如果我需要开一个一分钟的窗口，但是我希望能够每5分钟输出一次结果（输出每分钟的聚合结果，即输出5行聚合结果），该怎么办？
>
Hi,
- 是否是计算规模的问题？
集群大小合适吗？并发合适吗？
- 是否是Plan不优的问题？
Hive的表有做Analysis吗？
CC: user
Best,
Jingsong Lee
On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <2521929...@qq.com> wrote:
>
>
感谢大佬回复。
根据邮件里面的提示下我尝试了如下操作：
@udf(input_types=DataTypes.STRING(), result_type=DataTypes.STRING())
def str_add(str_name):
return '1'
table_env.register_function("str_add", str_add)
table_env.sql_update("insert into flink_sinktable_ad_test_1 \
select \
并发是200和400两种，集群有270多个节点，不过可用的vcores是6600多，内存是17T左右，看了执行图q43这个存在数据倾斜的的问题，失败的节点存在数据量偏大的情况
---原始邮件---
发件人: "Jingsong Li"
我有两个需求
1.如果我需要开一个一分钟的窗口，但是我希望能够每5分钟输出一次结果（输出每分钟的聚合结果，即输出5行聚合结果），该怎么办？
2.如果我需要开一个一个小时的窗口，但是我希望能够每5分钟输出一次结果（窗口数据还没全部到达，先输出当前已经聚合的结果），该怎么办？
Hi:
观察flink_taskmanager_Status_Shuffle_Netty_AvailableMemorySegments的值发现这个值很大，也就是说NetworkBufferPool还很充裕，可我的任务还是发生了背压告警。
请问各位大佬这是为什么呢？
比较明显的一个问题是UDF定义有些问题是你的sink表定义了一个STRING类型的字段，但是你SQL里面是SELECT了udf的结果，所以我想你的UDF应该也返回一个STRING，也就是result_type=DataTypes.STRING()，同时确保你udf真的返回的是一个字符串，不是json的Object。
Best,
Jincheng
WuPangang 于2020年3月26日周四 下午5:24写道：
> Data as below:
>
>
单机版 下载 tgz 解压，lib 目录下有好几个 jar， 比如 flink-table-blink_2.12-1.10.0.jar
这个 jar 是从哪里 build 出来的呢？
我 clone github 上的源代码，mvn clean package
我以为 flink-table/flink-table-planner-blink 目录下build 出的
flink-table-planner-blink_2.11-1.10.0.jar 跟发布 tgz 里的
flink-table-blink_2.12-1.10.0.jar 是对应的
看你错误日志运行的示例使用了PyUDFDemoConnector，也就是参考的博客[1],
在写这个博客时候1.10还没有发布，在发布之后接口有变化，所以PyUDFDemoConnector有个问题，我前两天进行了更新。你可以更新一下JAR。
另外你发的问题很久之前，发布1.10之前已经fix了[2]，所以你更新一下connector在测试一下看看。有问题继续沟通。
Best,
Jincheng
[1]
你好！
我想订阅用户邮件列表，关注及解答用户问题，谢谢！！
第一行错误信息是没有安装 bash ？
xu1990xaut 于2020年3月26日周四 下午12:12写道：
> 孙老师，我按照您视频里的方法把flink包安装好了。 但是运行您提供得demo时出现下面这个错误。 我在网上找了好久还是没解决。
> 望老师再指点指点。
>
>
>
>
>
> 在 2020-03-25 15:47:49，"jincheng sun" 写道：
>
> 哦，PyFlink目前不支持windows。
>
> Best,
> Jincheng
> -
> Twitter:
Hi 张宇
看起来是TypeMappingUtils中校验字段物理类型和逻辑类型的bug。
开了一个issue： https://issues.apache.org/jira/browse/FLINK-16800
*Best Regards,*
*Zhenghua Gao*
On Fri, Mar 20, 2020 at 5:28 PM 宇张 wrote:
> hi，
> 了解了，我重新整理一下：
> streamTableEnv
> .connect(
> new Kafka()
>
还有一种方式是sql gateway 支持 --jar 和 --library 指定用户的jar，这种方式不需要用户将jar放到flink的lib下
godfrey he 于2020年3月25日周三 下午6:24写道：
> hi 赵峰,
>
> 你出现的这个问题，是在classpath中找不到Kafka相关TableFactory，按照zhenghua说的方式可以解决。但是现在Flink
> JDBC Driver只支持Batch模式，而Kafka table source目前只支持stream模式。
>
> Best,
> Godfrey
>
> Zhenghua Gao
flink-table-uber-blink 应该是这个module，它负责打出 blink planner 的胖包(uber jar)
Best,
Kurt
On Thu, Mar 26, 2020 at 5:54 PM wangl...@geekplus.com.cn <
wangl...@geekplus.com.cn> wrote:
>
> 单机版 下载 tgz 解压，lib 目录下有好几个 jar， 比如 flink-table-blink_2.12-1.10.0.jar
> 这个 jar 是从哪里 build 出来的呢？
>
> 我 clone github
flink-table-uber-blink 下
mvn clean install -DskipTests -Dscala-2.12 -DskipTests
不清楚这个 -Dscala-2.12 怎样起作用的，但这样是可以直接替换掉服务器上的 jar 并正常 work的
谢谢，
王磊
wangl...@geekplus.com.cn
Sender: Kurt Young
Send Time: 2020-03-26 18:15
Receiver: user-zh
cc: jihongchao
Subject: Re: flink 安装包的几个 jar 是怎么 build
大家好，本文为 Flink Weekly 的第十期，由张成整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。
社区开发进展
[release] 关于发布 Flink 1.10.1 的讨论正在火热进行，最新消息请参考 Yu Li 发起的讨论。
[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-10-1-td38689.html
[Checkpoint] Arvid Heise 发起 FLIP-76
目前 flink 支持 Scala 2.11 和 Scala 2.12， 默认情况下，通过 mvn package 打包出来的是包含 Scala
2.11 的包，例如 flink-table-blink_*2.11*-1.10.0.jar。
可以通过 -Dscala-2.12 指定 Scala 的版本是 2.12， 打出来的包是 flink-table-blink_*2.12*
-1.10.0.jar 这样的。
Best，
Godfrey
wangl...@geekplus.com.cn 于2020年3月26日周四 下午6:34写道：
>
>
统一对 Flink 项目源码进行编译打包，你会在 flink-dist 这个模块下面的 target 目录下面看到相关 Flink
命令行的一些东西，同时在lib 包下面，
会有一些 Flink Jar 包
Best wishes,
沈磊
godfrey he 于2020年3月26日周四 下午8:51写道：
> 目前 flink 支持 Scala 2.11 和 Scala 2.12， 默认情况下，通过 mvn package 打包出来的是包含 Scala
> 2.11 的包，例如 flink-table-blink_*2.11*-1.10.0.jar。
> 可以通过
Hi 社区的小伙伴，
我现在有个关于 Flink 1.10 RocksDBStateBackend 状态清理机制的问题，在 1.10中，RocksDB 默认使用 in
background 方式进行状态清理，使用 compaction filter 方式。正如官方文档所说：
> RocksDB compaction filter will query current timestamp, used to check
> expiration, from Flink every time after processing certain number of state
>
20 matches
Mail list logo
