kcz
573693...@qq.com
ConfigOptions.key("pipeline.global-job-parameters").mapType().defaultValue(parameterTool.toMap())
----
??:
"user-zh"
??pipeline.global-job-parameters
??ConfigOption ??new??
??
----
??:
&quo
select concat('1','2'),CURRENT_DATE();
No match found for function signature CURRENT_DATE()??
concat??
github.com/apache/flink/pull/16745
Best regards,
Yuxia
- -
??: "kcz" <573693...@qq.com.INVALID
??: "user-zh"
flink-1.14.4
hive-3.1.0
??flinkhive??hivehive??owner??kerberosowner??
owner
??
flink-1.14.0chk(500ms??)
source??kafka??- (1min??windowcount) - sink(mysql)
??kafka1??kafka
select??sumsumtypeMySQLMySQL
(id,type,value)
SQL??
CREATE TABLE kafka_table (
vin STRING,
speed DOUBLE,
brake DOUBLE,
hard_to
??globalWindowtriggertimes.public
class PathMonitorJob {
private static final String PATH = "path";
private static double THRESHOLD;
public static void main(String[] args) throws Exception
times??+20??StreamExecutionEnvironment
env = StreamExecutionEnvironment.getExecutionEnvironment();
KafkaSource
hive3.1.0
ddl:
create table test_hive(
id int comment 'test comment'
) PARTITIONED BY (dt STRING) STORED AS orc TBLPROPERTIES (
'partition.time-extractor.kind'='custom',
'partition.time-extractor.timestamp-pattern'='$dt',
soryy ??
----
??:
&quo
??INDEX??INDEX++
??valuearray
CREATE TABLE KafkaTable (
datas array
SQL1.12.0??watermark??
CREATE TABLE KafkaTable (
test array
er-zh"
https://issues.apache.org/jira/browse/FLINK-19449
kcz <573693...@qq.com.invalid ??2021??9??22?? 11:41??
behavior,next_bv
??
{
nbsp;nbsp;"user_id":nbsp;1,
nbsp;nbsp;"
behavior,next_bv
??
{
"user_id":1,
"item_id":1,
"behavior":"pv1"
}
{
"user_id":1,
"item_id":1,
"behavior":"pv2"
}
CREATE TABLE KafkaTable (
`user_id` BIGINT,
`item_id` BIGINT,
`behavior` STRING,
大佬们，帮看一下，为什么那里会出现类型转换异常了。
-- 原始邮件 --
发件人: kcz <573693...@qq.com
发送时间: 2021年7月1日 22:49
收件人: user-zh
:1.13.1 :
Caused by: java.lang.ClassCastException:
org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.TextNode
cannot be cast to
org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.ObjectNode
at
大佬们 帮看下这个是为什么提示那个错误
--
Sent from: http://apache-flink.147419.n8.nabble.com/
sql??
CREATE TABLE user_behavior (
user_id BIGINT,
item_id BIGINT,
category_id BIGINT,
behavior STRING,
ts STRING
) WITH (
'connector' = 'kafka',
'topic' = 'user_behavior',
'scan.startup.mode' = 'latest-offset',
'properties.bootstrap.servers' = 'localhost:9092',
'format' =
我的理解，flink是一个任务执行引擎，你需要的功能应该是任务调度器吧，比如airflow等。
-- Original --
From: Waldeinsamkeit. <1214316...@qq.com
Date: Tue,Jan 5,2021 11:13 AM
To: user-zh
是使用时候没有匹配参数个数问题，已经解决。
-- 原始邮件 --
发件人: kcz <573693...@qq.com
发送时间: 2020年12月26日 15:24
收件人: user-zh
使用了
createTemporarySystemFunctiom来注册udf，使用时候no.match.found.for.function，目前是手机，不太方便粘贴更多信息。
这里我当时也想要弄一下，不过失败了我。最后用了calcite来弄，你这块具体是如何去弄的？
-- 原始邮件 --
发件人: 马阳阳
因为列会有默认值，也有真实的，我想取到真实的那个列，这个功能如何实现一下。想到了窗口函数，发现不能进行过滤，还有一种骚操作是求max min。之后if来操作。
??if ??
这个功能非常好的，因为第三方数据总是搞事情，动不动就加字段，改名字的。
-- 原始邮件 --
发件人: Benchao Li https://issues.apache.org/jira/browse/FLINK-18002
酷酷的浑蛋
??ES5??pretty
good??
----
??:
"user-zh"
后，再打一个 es5 的sql jar 就好了。
祝好
Leonard
[1] https://github.com/apache/flink/pull/12184
<https://github.com/apache/flink/pull/12184gt;
gt; 在 2020年8月14日，10:14，kcz <573693...@qq.comgt; 写道：
gt;
gt; 查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。
gt;
gt;
gt;
gt; --
gt; Sent from: http://apa
ES5??sql??ES5
sinK??connect??
----
??:
&quo
后，再打一个 es5 的sql jar 就好了。
祝好
Leonard
[1] https://github.com/apache/flink/pull/12184
<https://github.com/apache/flink/pull/12184;
在 2020年8月14日，10:14，kcz <573693...@qq.com 写道：
查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
可以再解释一下吗？还是没有看太懂是哪里出错，以及为什么那样就可以解决问题。
-- 原始邮件 --
发件人: Tianwang Li
----
??:
"user-zh"
嗯嗯 yeah。ui上看不到数据进来，应该会进souce算子的把，我只有map sleep了。可是也没有看到背压。 我不断产生数据100w以上了。
-- 原始邮件 --
发件人: shizk233
我想看下背压的指标数据，我往kafka发送了100w数据，但是source我也没有看到数据被消费，是我哪里模拟错了吗
public static void main(String[] args) throws Exception{
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(2000L, CheckpointingMode.EXACTLY_ONCE);
sorry,idea??log4j??process-time ??
process time??log??
----
??:
hive
package com.hive;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.TimeCharacteristic;
import
哇 这个方式很取巧了 好机智 我之前就是一直索引取值 学习一下
-- 原始邮件 --
发件人: Jark Wu
ive-dialect
在 2020年7月21日，22:57，kcz <573693...@qq.com 写道：
一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的
-- 原始邮件 --
发件人: JasonLee <17610775...@163.com
<mailto:17610775...@163.comgt;
发送时间: 2020年7月21日 20:39
收件人: user-zh ma
一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的
-- 原始邮件 --
发件人: JasonLee <17610775...@163.com
发送时间: 2020年7月21日 20:39
收件人: user-zh
hive-1.2.1
chk
??chkchk??kafkahive??
String hiveSql = "CREATE TABLE stream_tmp.fs_table (\n" +
" host STRING,\n" +
" url STRING," +
" public_date STRING" +
") partitioned by
idea
??hivepom
hive-exec flink-connector-hive_2.11
:
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
env.enableCheckpointing(60*1000, CheckpointingMode.EXACTLY_ONCE);
//
er-zh"
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/filesystem.html#rolling-policy
Best,
Jingsong
On Fri, Jul 17, 2020 at 4:25 PM kcz <573693...@qq.com wrote:
https://ci.apache.org/projects/flink/flink
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/filesystem.html#full-example
??parquet??json??chk??in-progress
parquet??success
??parquet??error??
java.lang.NoClassDefFoundError: org/apache/parquet/hadoop/ParquetWriter$Builder
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:760)
at
??bug??
classloader.resolve-order: parent-first
??bug??parquet
----
??:
&quo
standalone
lib jar??
flink-connector-hive_2.11-1.11.0.jar
flink-json-1.11.0.jar
flink-sql-connector-kafka_2.12-1.11.0.jar
log4j-api-2.12.1.jar
flink-csv-1.11.0.jar
flink-parquet_2.11-1.11.0.jar
flink-table_2.11-1.11.0.jar
log4j-core-2.12.1.jar
谢谢 我一直用的是 streamEnv去设置config 今天看到table也可以，如果我用stream去设置 也是可以的吧
-- 原始邮件 --
发件人: Leonard Xu
??streameEnv.setStateBackend(new FsStateBackend(checkpointPath));
DDL
tableEnv.getConfig().getConfiguration().set(
ExecutionCheckpointingOptions.CHECKPOINTING_MODE,
CheckpointingMode.EXACTLY_ONCE);
tableEnv.getConfig().getConfiguration().set(
windowflink??
----
??:"Congxian Qiu"https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/state/state.html#%E7%8A%B6%E6%80%81%E6%9C%89%E6%95%88%E6%9C%9F-ttl
[2]
设置一个窗口时间，如果有需要取最新的，可以再做一下处理。
-- 原始邮件 --
发件人: admin <17626017...@163.com
发送时间: 2020年7月3日 18:01
收件人: user-zh
tks
----
??:"Benchao Li"
flink-1.10.1 blink_planner
if
Cannot apply 'IF' to arguments of type 'IF(
??state
----
??:""<13162790...@163.com;
:2020??6??24??(??) 1:36
??:"user-zh"
??open??mysql??client
??state??transient??
??
----
??:""https://developer.aliyun.com/live/2894?accounttraceid=07deb589f50c4c1abbcbed103e534316qnxq
04:17:00??
Kurt Young
tks
----
??:"Kurt Young"
Table
你这个表达，实时kafka的一条记录，你要最新的那个是吧，你最新的判断标准是什么？根据什么特性来，表达清楚一点哇。
-- 原始邮件 --
发件人: 小学生 <201782...@qq.com
发送时间: 2020年6月10日 18:15
收件人: user-zh
tks
----
??:"Yichao Yang"<1048262...@qq.com;
:2020??6??10??(??) 11:32
??:"user-zh"https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html
amp;gt;
amp;gt;
amp;gt;
sql
operatorID??ID
----
??:"??"https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html
?S
sorry??
----
??:"1048262223"<1048262...@qq.com;
:2020??6??9??(??) 5:07
??:"user-zh"
join??open
??
map ??tks??
----
??:"1048262223"<1048262...@qq.com;
:2020??6??9??(??) 4:51
??:"user-zh"
udfudf
----
??:"Benchao Li"
我大概get到你要说的需求，select那些其实是明细数据？但是没有跟聚合的数据拆开，所以才出现这种情况吧？
-- 原始邮件 --
发件人: Leonard Xu https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/query_configuration.html#idle-state-retention-time
cts/flink/flink-docs-release-1.10/dev/connectors/streamfile_sink.html#rolling-policy
Best
Sun.Zhu
| |
Sun.Zhu
|
|
17626017...@163.com
|
签名由网易邮箱大师定制
在2020年06月2日 19:20，kcz<573693...@qq.com 写道：
代码如下：
String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/";
StreamExecutio
??
String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/";
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
FileInputFormat fileInputFormat = new TextInputFormat(new Path(path));
fileInputFormat.setNestedFileEnumeration(true);
?? ??
----
??:"Benchao Li"
73 matches
Mail list logo
