好的,感谢
--
发件人：godfrey he
发送时间：2020年6月2日(星期二) 12:32
收件人：user-zh
抄 送：夏帅
主 题：Re: Flink1.11-release编译部署后sql-client的bug
Hi， 夏帅
感谢反馈问题，我建了一个issue https://issues.apache.org/jira/browse/FLINK-18055，应该今天就可以fix
Best,
Godfrey
Leonard Xu
Hi， 夏帅
感谢反馈问题，我建了一个issue https://issues.apache.org/jira/browse/FLINK-18055
，应该今天就可以fix
Best,
Godfrey
Leonard Xu 于2020年6月2日周二 下午12:13写道：
> Hi， 夏帅
>
> 感谢反馈，这应该是个bug，我 这边本地也复现了，我先看下哈
>
> 祝好，
> Leonard Xu
>
> > 在 2020年6月2日，11:57，夏帅 写道：
> >
> > 是我编译的问题么,在window下编译的
>
>
Hi， 夏帅
感谢反馈，这应该是个bug，我 这边本地也复现了，我先看下哈
祝好，
Leonard Xu
> 在 2020年6月2日，11:57，夏帅 写道：
>
> 是我编译的问题么,在window下编译的
大家好,有人编译部署过flink-1.11-release么,为什么我使用sql-client时设置了catalog
但是并不生效,顺带自动补全也不太好使
是我编译的问题么,在window下编译的
编译步骤见链接
https://jxeditor.github.io/2020/06/01/Flink1.11.0%E7%BC%96%E8%AF%91/
$ mvn -version
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe;
2018-06-18T02:33:14+08:00)
Flink SQL> show
我们一般遇到这种情况，大都是JobManager Full GC导致的。你可以检查下你的JM的内存使用情况
star <3149768...@qq.com> 于2020年6月2日周二 上午10:03写道：
> 您好，
>
> Flink1.9 yarn session模式 经常Ask timed out
>
>
> 在执行flink list shell命令的时候连接不上 报
> akka.pattern.AskTimeoutException: Ask timed out on
> [Actor[akka://flink/user/dispatcher#180439734]]
??
Flink1.9 yarn session Ask timed out
??flink list shell?? ??
akka.pattern.AskTimeoutException: Ask timed out on
[Actor[akka://flink/user/dispatcher#180439734]] after [1 ms]. Message of
type [org.apache.flink.runtime.rpc.messages.LocalFencedMessage]. A
把 Time.milliseconds(10L) 改成 Time.seconds(10L)
后，其实是改变了时间窗口的大小，这会使以前在同一个窗口的数据现在被分在了两个窗口里，而聚合的时候是按照窗口进行聚合的，所以结果变了。
在 2020-06-01 22:41:14，"xue...@outlook.com" 写道：
>如果说window的10毫秒的状态ValueState被超时逐出了，可以理解。但不带window的聚合操作是否意味着所有的key的
Hi
sum的实现是aggregatefunction，每次输出只会输出当前窗口的聚合结果，结果不同可能是因为上游时间戳提取是按照ingestion提取的把1 10
11分配到了两个窗口中1一个窗口，10和11一个窗口
Best
Yichao Yang
发自我的iPhone
-- 原始邮件 --
发件人: xue...@outlook.com https://go.microsoft.com/fwlink/?LinkId=550986应用
发件人:
如果说window的10毫秒的状态ValueState被超时逐出了，可以理解。但不带window的聚合操作是否意味着所有的key的
ValueState都存在与StateBackend中，是否会无限制增长，超过集群的一些限制，比如内存、slot等会怎么样。
即使ValueState在window中被逐出，但代码中未明确指定TimeService和逐出器。
如果假设相同的key在被处理时在时空上间隔足够远，不带windows和带windows的输出结果是否还会不同？
发送自 Windows 10
如果不使用window，那么输出会按照ValueState的存量的key的ValueState聚合
输出
```
+++:2> (k1,1)
+++:1> (k3,10)
+++:2> (k1,11)
+++:8> (k2,2)
+++:2> (k1,22)
+++:8> (k2,22)
```
发送自
客气客气，互相交流学习
Best,
Xingbo
jack 于2020年6月1日周一 下午9:07写道：
> 非常感谢解惑，刚开始使用pyflink，不是很熟悉，还请多多指教
>
>
>
>
>
>
> 在 2020-06-01 20:50:53，"Xingbo Huang" 写道：
>
> Hi,
> 其实这个是CSV connector的一个可选的
> quote_character参数的效果，默认值是"，所以你每个字段都会这样外面包一层，你可以配置一下这个参数为\0，就可以得到你要的效果了。
> st_env.connect(
> Kafka()
Flink 1.10，windows 10 flink api验证
代码如下
```
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import
目前StreamTableEnvironment和TableEnvironment在DAG优化方面的行为自1.11开始都是一样的了，建议都使用StatementSet来支持多insert。TableEnvironment以后还会进一步的简化和整合。
Best,
Godfrey
wind.fly@outlook.com 于2020年5月28日周四 下午5:45写道：
> Hi,
>
>
非常感谢解惑，刚开始使用pyflink，不是很熟悉，还请多多指教
在 2020-06-01 20:50:53，"Xingbo Huang" 写道：
Hi,
其实这个是CSV
connector的一个可选的quote_character参数的效果，默认值是"，所以你每个字段都会这样外面包一层，你可以配置一下这个参数为\0，就可以得到你要的效果了。
st_env.connect(
Kafka()
.version("0.11")
.topic("logSink")
Hi,
其实这个是CSV connector的一个可选的
quote_character参数的效果，默认值是"，所以你每个字段都会这样外面包一层，你可以配置一下这个参数为\0，就可以得到你要的效果了。
st_env.connect(
Kafka()
.version("0.11")
.topic("logSink")
.start_from_earliest()
.property("zookeeper.connect", "localhost:2181")
邮件里你上传的图片没有显示；
你的配置文件里没有设置 checkpoint 相关的配置，你可以参照 Flink 官网的这里设置一下，也可以在代码里手动设置。
在 2020-06-01 16:46:11，"sun" <1392427...@qq.com> 写道：
用bin/flink run -n -c com.toonyoo.bi.flink.Application
jar/ty-bi-flink-1.0-SNAPSHOT.jar --topic member启动topic
为什么checkpoint都是0啊，我的配置文件在下面。
#
请教各位，我这边使用pyflink 消费kafka json字符串数据发送到kafka， 把kafka消息按照一个字段来处理，
数据输入：
{"topic": "logSource", "message": "x=1,y=1,z=1"}
发送到kafka里面的数据结果如下：
"{""topic"": ""logSource"", ""message"": ""x=1,y=1,z=1""}"
又被双引号包了一层， 我的udf函数中使用的是 json模块进行处理，请各位帮我看一下怎么样转成正常的json串。
您理解的是对的，我测试了下，好像pyflink的udf函数不太支持python的可变参数
在 2020-06-01 14:47:21，"Dian Fu" 写道：
>你传的第二个参数是string，这样试一下？
>select("drop_fields(message, array('x'))")
>
>不太确定我是否理解了你的问题（如果上面不行的话，建议你发一下exception）
>
>> 在 2020年6月1日，下午1:59，jack 写道：
>>
>>
>>
>>
>>
>>
>>
>> 是的，对应参数没有填写正确，感谢；
>>
Hi
这个错误“could only be replicated to 0 nodes instead of minReplication
(=1)”是HDFS不稳定导致的，无法将数据进行duplicate与Flink本身并无关系。
祝好
唐云
From: yanggang_it_job
Sent: Monday, June 1, 2020 15:30
To: user-zh@flink.apache.org
Subject: checkpoint失败讨论
??bin/flink run -n -c com.toonyoo.bi.flink.Application
jar/ty-bi-flink-1.0-SNAPSHOT.jar --topic membertopic
??checkpoint0
# high-availability.zookeeper.client.acl: open
#==
# Fault
Hi,all:
本人当前用的flink版本1.10，通过yarn-session发布job，通过jobs/job/stop api 停止任务会报Unable to load
requested file，问一下在yarn-session模式下没有这个api吗？
Best,
Junbao Zhang
Hi Kyle，
这个功能已经在1.11中merge进来了。1.11最近就会发布，到时候可以尝试下1.11
Kyle Zhang 于2020年6月1日周一 下午3:25写道：
> Hi，
> 最近在使用tEnv.sqlUpdate("create view ….的时候报错，Unsupported query: create
> view。稍微看了一下，master上的SqlToOperationConverter.convert里是有“validated instanceof
>
最近多个以rocksdb作为状态后端，hdfs作为远程文件系统的任务，频繁报错，这个报错有以下特征
1、报错之前这些任务都平稳运行，突然在某一天报错
2、当发现此类错误的时候，多个任务也会因相同的报错而导致checkpoint失败
报错信息如下
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File
Hi，
最近在使用tEnv.sqlUpdate("create view ….的时候报错，Unsupported query: create
view。稍微看了一下，master上的SqlToOperationConverter.convert里是有“validated instanceof
SqlCreateView”，这个判断的，1.10的分支上还没有，感觉这个功能应该挺常见的吧，Flink SQL CLI上也是支持create
view的，还没合并是有什么考虑么。
??pom??provided??jar??
----
??:"tison"https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/debugging_classloading.html
使用FileInputFormat
递归读取hdfs文件，并添加过滤器。程序执行没有报错但是很快就执行完成也没有读取到数据，本地测试可以过滤并读取到数据，yarn集群上执行出现上述情况。
代码：
//初始化任务参数
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
FileInputFormat fileInputFormat = new TextInputFormat(new
Path("hdfs://arc/success_fid_flow"));
你传的第二个参数是string，这样试一下？
select("drop_fields(message, array('x'))")
不太确定我是否理解了你的问题（如果上面不行的话，建议你发一下exception）
> 在 2020年6月1日，下午1:59，jack 写道：
>
>
>
>
>
>
>
> 是的，对应参数没有填写正确，感谢；
> 另外请教，udf函数是不是目前不支持python的可变参数，我使用可变参数依然会报错参数不对的问题。
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-06-01 11:01:34，"Dian
??jenkinsflink
??jenkensflink
29 matches
Mail list logo
