邮箱变更，退订！
根据你的需求描述，用Flink Table API和SQL是可以解决的！
发件人： Weixubin
发送时间： 2020-06-24 12:09
收件人： user-zh
主题： Re:Re: FlinkSQL 是否支持类似临时中间表的概念
感谢你提供了子查询的思路，不过经过试验后有点可惜，这似乎还是满足不了我们的需求。
我们的场景是从阿里云SLS读取消息。每条消息有一个字段是request_uri。
第一个数据处理过程就是将 request_uri 解析为多个属性（多列），存成一行，作为一条记录。
第二个数据处理过程就是将每条记录里的
多个值组合在一起，当一个复合值使用！
发件人： 魏旭斌
发送时间： 2020-06-19 15:01
收件人： user-zh
主题： 关于拓展 Tuple元组的问题
目前Flink 提供了Tuple1 ~ Tuple25，在实际开发中不能满足我们的需求，我们希望能有更大的元组，比如构建一个Tuple50。
请问有什么解决的方案？ 谢谢
可以通过异步的方式(RichAsyncFunction)进行维表关联操作，异步多线程方式进行维表读取！
发件人： Jim Chen
发送时间： 2020-06-19 10:34
收件人： user-zh
主题： Re: 对于维表频繁更新，状态越来越大的场景如何保证数据的准确性
请问下，在flink sql1.10中， localcache+异步IO，这个方案，是直接写sql关联维表就行了吗？flink
sql会自动在底层做优化工作吗？如果要自己手动实现的话，有没有什么demo呢？谢谢
Jark Wu 于2020年6月17日周三 上午12:11写道：
>
Caused by: java.sql.SQLException: Access denied for user ''@'localhost' (using
password: NO)
得指定下有操作mysql这个表的权限账号了！
发件人： Zhou Zach
发送时间： 2020-06-10 16:32
收件人： Flink user-zh mailing list
主题： sink mysql 失败
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in
0??6??1010:43 <932460...@qq.com ??
hi, ?? ??joinmysql
sourcemysql
------nbsp;????nbsp;--
??:nbsp;"wangweigu...@stevegame.cn"
1.10 useBlinkPlanneruseOldPlanner
??
Exception in thread "main" org.apache.flink.table.api.TableException: Cannot
generate a valid execution plan for the given query:
LogicalProject(num=[$0])
LogicalJoin(condition=[AND(>($0, $1), <($0,
觉得对于下线产生的历史数据，用批处理应该更好一点，可以避免数据量过大造成的问题！
发件人： wangxiangyan
发送时间： 2020-06-09 17:26
收件人： user-zh
主题： Re:延迟事件处理
这是一个需要实时展示统计指标的系统，数据来源于检测器，检测器安装在客户那边，可能有下线的状态，或者数据延迟到达，不确定下线的时间，某个检测器下线之后在第二天上线会有一批昨天的数据，会发生延迟的数据处理
--Original--
From:
Utils.connect(NetUtils.java:494)
> at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:609)
> at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:707)
> at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:370)
&g
hdfs-site.xml ??
core-site.xml??IDEA??resourcesconfnamespace
kcz
?? 2020-06-02 19:20
user-zh
?? flink-1.10 hdfs
??
String path =
这个邮件好像图片都看不到啊，你们能看到不？
发件人： 程龙
发送时间： 2020-05-30 19:20
收件人： user-zh
主题： Re:re:提交flink代码 无法创建taskmanager flink web界面一致停留在created状态 ，日志报错如下
是用代码提交的jobmanager 是可以加载的 就是启动taskmanager 这个目录就没有创建， 界面如下 ，错误日志就是我下面贴出来的那个
在 2020-05-30 19:16:57，"462329521" <462329...@qq.com> 写道：
cdh??hdfs8020??
hdfs://TestHACluster/user/flink/test
hdfs://TestHACluster:8020/user/flink/test
flinkTestHAClusterNamespace??hdfsHA??hive-site.xml??hdfs-site.xml
你的代码：w_ts as TO_TIMESTAMP(FROM_UNIXTIME(rowtime/1000),'-MM-dd HH:mm:ss')
这里里面的 FROM_UNIXTIME 函数就是接受BIGINT参数，返回 VARCHAR类型的日期值，默认日期格式：-MM-dd
HH:mm:ss
然后通过TO_TIMESTAMP函数转换成TIMESTAMP类型，是timestamp(3)类型，这个只能用blink planner
这个报错：>>> Caused by: org.apache.flink.runtime.JobException: Recovery is
suppressed
>>> by NoRestartBackoffTimeStrategy
应该是没有读取到flink conf下面的flink-conf.yaml配置文件，里面有个task失败重启配置参数！
发件人： air23
发送时间： 2020-05-29 14:34
收件人： user-zh
主题： Re:Re: flink1.10 on yarn 问题
代码就是flink自带的例子。
public class
确实，你只要配置好CDH的HADOOP_CONF环境变量，同时下载开源的Hadoop版本（和CDH版本相同）放到flink lib下，就可以访问CDH
yarn，提交作业！
目前我这边是CDH 5.16.1，Flink 1.10，提交Flink on yarn是没问题，任务运行也没问题，还可以使用Flink on hive！
flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
发件人： 111
发送时间： 2020-05-28 09:13
收件人： user-zh@flink.apache.org
参考下这篇文章，里面有好多维度关联场景案例讲解！
https://ververica.cn/developers/flink-datastream-associated-dimension-table-practice/
发件人： tingli ke
发送时间： 2020-04-15 11:22
收件人： user-zh
主题： Re: JDBCLookupFunction被缓存导致数据的不及时性
是否有其他的方式来对mysql维表数据进行实时join
13122260...@163.com <13122260...@163.com> 于2020年4月15日周三
/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行
wangweigu...@stevegame.cn 于2020年4月13日周一
下午3:09写道：
>
> 感谢flink道友解答，谢谢！
>
>
> 目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-
应该是你设置的 -ytm 和 -yjm内存大小比yarn container最小容器内存都小吧！
yarn最小容器内存的参数： yarn.scheduler.minimum-allocation-mb
容器内存增量： yarn.scheduler.increment-allocation-mb
发件人： guanyq
发送时间： 2020-04-14 14:05
收件人： user-zh
主题： Re:Re: 关于flink 提交job参数不生效的问题
./bin/flink run -m yarn-cluster \-ynm TestDataProcess \-ytm 666
：
org.apache.flink
flink-connector-kafka_${scala.binary.version}
${flink.version}
From: "wangweigu...@stevegame.cn"
Reply-To: "user-zh@flink.apache.org"
Date: Monday, April 13, 2020 at 2:32 PM
To: user-zh
Subject: Flink
1.10读取kafka数据，
到java.lang.NoClassDefFoundError:
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
你应该还缺少flink-connector-elasticsearch-base_2.11-1.10.0.jar
--原始邮件--
发件人: "wangweigu...@stevegame.cn"http://www.stevengame.com/
！
史蒂夫软件（深圳）有限公司
技术部 王卫光
wangweigu...@stevegame.cn
地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
手机/Mob：13128970998
http://www.stevengame.com/
21 matches
Mail list logo
