Re: flink1.11 流式读取hive怎么设置 process_time 和event_time?

下午9:42，me 写道： > > flink1.11 可以使用在使用select语句时，显式的指定是流式读取，流式的读出出来之后如果想使用实时计算中的特性窗口函数然后指定时间语义 > 事件时间和处理时间，但是flink sql需要显示的定义数据中的时间字段才能识别为 event_time，求问这个怎么去设置。

flink1.11 流式读取hive怎么设置 process_time 和event_time?

flink1.11 可以使用在使用select语句时，显式的指定是流式读取，流式的读出出来之后如果想使用实时计算中的特性窗口函数然后指定时间语义 事件时间和处理时间，但是flink sql需要显示的定义数据中的时间字段才能识别为 event_time，求问这个怎么去设置。

Re: flink1.11时间函数

补充下哈， 可能是function这个词翻译后理解问题，功能没有确定性/不确定性这一说法，那个文档里的function都应理解为函数，note里讲的是函数的返回值是确定性的还是不确定性。 祝好 Leonard > 在 2020年8月29日，18:22，Dream-底限 写道： > > 哦哦，好吧，我昨天用NOW的时候直接报错告诉我这是个bug，让我提交issue，我以为这种标示的都是函数功能有问题的 > > Benchao Li 于2020年8月28日周五 下午8:01写道： > >> 不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。 >>

Re: flink1.11时间函数

哦哦，好吧，我昨天用NOW的时候直接报错告诉我这是个bug，让我提交issue，我以为这种标示的都是函数功能有问题的 Benchao Li 于2020年8月28日周五 下午8:01写道： > 不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。 > 对应的是确定性函数，比如concat就是确定性函数，只要输入是一样的，它的返回值就永远都是一样的。 > 这个函数是否是确定性的，会影响plan的过程，比如是否可以做express reduce，是否可以复用表达式结果等。 > > Dream-底限 于2020年8月28日周五 下午2:50写道： > > > hi > > >

Re: flink1.11时间函数

不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。 对应的是确定性函数，比如concat就是确定性函数，只要输入是一样的，它的返回值就永远都是一样的。 这个函数是否是确定性的，会影响plan的过程，比如是否可以做express reduce，是否可以复用表达式结果等。 Dream-底限 于2020年8月28日周五 下午2:50写道： > hi > > UNIX_TIMESTAMP（） > > NOW() > > 我这面想使用flink的时间戳函数，但是看官方文档对这两个函数描述后面加了一个此功能不确定，这个此功能不确定指的是这两个时间函数不能用吗 > --

flink1.11连接mysql问题

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 52,445,041 milliseconds ago. The last packet sent successfully to the server was 52,445,045 milliseconds ago. is longer than the server configured value of'wait_timeout'. You

flink1.11时间函数

hi UNIX_TIMESTAMP（） NOW() 我这面想使用flink的时间戳函数，但是看官方文档对这两个函数描述后面加了一个此功能不确定，这个此功能不确定指的是这两个时间函数不能用吗

Re: flink1.11????kafka????

??Number of locked synchronizers = 1 - java.util.concurrent.locks.ReentrantLock$FairSync@f89de92 ??

Re: flink1.11读取kafka问题

hi 首先是确认一下kafka是否有数据写入,其次把所有的operator都看下是否有反压的情况 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11????kafka????

0??

Re: flink1.11读取kafka问题

Hi 是不是下游(sink mysql)反压了导致上游不再消费了，可以通过看看webui的指标[1]确定下。 祝好 Leonard [1]https://ci.apache.org/projects/flink/flink-docs-master/zh/monitoring/back_pressure.html > 在 2020年8月28日，09:22，小学生 <201782...@qq.com>

flink1.11????kafka????

??Linux??kafkamysql??mysql1flinkkafka7??8??

RE: flink1.11 kafka sql connector

默认应该是 Kafka 的自动提交，开了Checkpoint 就 Checkpoint 提交 -Original Message- From: user-zh-return-6960-wxchunjhyy=163@flink.apache.org On Behalf Of Dream-底限 Sent: Wednesday, August 26, 2020 10:42 AM To: user-zh@flink.apache.org Subject: flink1.11 kafka sql connector hi 我正在使用DDL语句创建kafka数据源，但是

回复： flink1.11 sql问题

json数组，没办法固定写一个，现在我只想把value当做字符串获取到，难道没有办法吗 在2020年08月25日 15:34，taochanglian 写道： flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 在 2020/8/25 14:59, 酷酷的浑蛋 写道: 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json

flink1.11 kafka sql connector

hi 我正在使用DDL语句创建kafka数据源，但是查看文档时候发现没有报漏参数指定消费者组的offset是否提交，请问这个默认情况下offset会不会提交到kafka分区

Re: flink1.11单机执行slot出错

是单机运行 standalone 模式吗？感觉像是 TM 没起来。 jps 以下看看 TM 起来了没有，如果没起来的话找下 TM 日志看看具体原因是什么。 Thank you~ Xintong Song On Wed, Aug 26, 2020 at 9:25 AM 小学生 <201782...@qq.com> wrote: > 麻烦请教一个问题，在单机的Linux下运行，任务报这个错误，怎么解决呢？ > java.util.concurrent.CompletionException: >

flink1.11????????slot????

??Linux java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: No pooled slot available and request to ResourceManager for new slot failed

回复：flink1.11 sql问题

这个功能非常好的，因为第三方数据总是搞事情，动不动就加字段，改名字的。 -- 原始邮件 -- 发件人: Benchao Li https://issues.apache.org/jira/browse/FLINK-18002 酷酷的浑蛋

Re: flink1.11 sql问题

还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ > > > > > 在2020年08月25日 14:05，酷酷的浑蛋 写道： > 我知道了 > > > > > 在2020年08月25日 13:58，酷酷的浑蛋 写道： > > > > > flink1.11 > > 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？ > > -- Best, Benchao Li

回复： flink1.11 sql问题

，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

回复： flink1.11 sql问题

，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

Re: flink1.11 sql问题

有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ > > > > > 在2020年08月25日 14:05，酷酷的浑蛋 写道： > 我知道了 > > > > > 在2020年08月25日 13:58，酷酷的浑蛋 写道： > > > > > flink1.11 > 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？ >

Re: flink1.11 sql问题

有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ > > > > > 在2020年08月25日 14:05，酷酷的浑蛋 写道： > 我知道了 > > > > > 在2020年08月25日 13:58，酷酷的浑蛋 写道： > > > > > flink1.11 > 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？ >

回复： flink1.11 sql问题

酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

回复：flink1.11 sql问题

还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

回复：flink1.11 sql问题

我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

flink1.11 sql问题

flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

Re: flink1.11 sql api使用per job模式提交后，客户端退出

().getContextClassLoader()).get(); lijufeng2016 <920347...@qq.com> 于2020年8月25日周二 上午9:34写道： > flink1.11 sql api使用per > job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 sql api使用per job模式提交后，客户端退出

flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 sql api使用per job模式提交后，客户端退出

flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 cdc使用

好的，感谢 china_tao 于2020年8月24日周一 下午12:21写道： > 支持。 > insert into mysqlresult select k.vin,k.msgtime,d.brand_name from (SELECT > vin,max(msgtime) as msgtime,max(pts) as pts from kafkaSourceTable group by > TUMBLE(rowtime, INTERVAL '10' SECOND),vin) AS k left join msyqlDimTable > FOR > SYSTEM_TIME

Re: flink1.11 cdc使用

支持。 insert into mysqlresult select k.vin,k.msgtime,d.brand_name from (SELECT vin,max(msgtime) as msgtime,max(pts) as pts from kafkaSourceTable group by TUMBLE(rowtime, INTERVAL '10' SECOND),vin) AS k left join msyqlDimTable FOR SYSTEM_TIME AS OF k.pts AS d ON k.vin = d.vin

flink1.11 cdc使用

hi 我这面想使用flinkcdc做实时etl，我看可以做到维表（时态表）关联，现在想问一下能在cdc功能中用聚合算子嘛，全局groupby或窗口函数

Re: flink1.11启动问题

这样报错看着是Yarn NM的报错，你每次启动都是这样吗，还是偶然一次的 如果是偶然一次的，那这个报错应该是Flink stopContainer的时候Yarn NM正好重启了 Best, Yang 酷酷的浑蛋 于2020年8月20日周四 上午10:59写道： > > > flink1.11启动后报这个错，然后任务就自己挂了，没有其它错误

flink1.11启动问题

flink1.11启动后报这个错，然后任务就自己挂了，没有其它错误，也没有报我代码错 org.apache.hadoop.yarn.exceptions.YarnException:Containercontainer_1590424616102_807478_01_02isnothandledbythisNodeManager atsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)~[?:1.8.0_191

Re: Flink1.11 hive catalog使用

我感觉像是因为你use了hive catalog的原因，因此是默认从这个catalog中搜索。 可不可以直接select * from catalog.db.table 这样试一试呢？ Rui Li 于2020年8月19日周三 下午5:11写道： > 我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。 > > On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 wrote: > > > hi > > 先设置hiveCatalog及默认数据库，然后use hivecatalog > >

Re: Flink1.11 hive catalog使用

我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。 On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 wrote: > hi > 先设置hiveCatalog及默认数据库，然后use hivecatalog > 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test > 这个时候就报错说hivecatalog的默认数据库内无这张表 > > Rui Li 于2020年8月19日周三 下午3:49写道： > > >

Re: Flink1.11 hive catalog使用

hi 先设置hiveCatalog及默认数据库，然后use hivecatalog 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test 这个时候就报错说hivecatalog的默认数据库内无这张表 Rui Li 于2020年8月19日周三 下午3:49写道： > 是怎么用的啊，我去试试 > > On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote: > > > hi > >

Re: Flink1.11 hive catalog使用

是怎么用的啊，我去试试 On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote: > hi > 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪 > >或者用create temporary table的方式应该也可以。 > > Rui Li 于2020年8月19日周三 上午11:11写道： > > > 可以把kafka的表保存在内置的in-memory > catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create > >

Re: Flink1.11 hive catalog使用

hi 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪 >或者用create temporary table的方式应该也可以。 Rui Li 于2020年8月19日周三 上午11:11写道： > 可以把kafka的表保存在内置的in-memory catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create > temporary table的方式应该也可以。 > > On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 wrote: > >

Re: Flink1.11 hive catalog使用

可以把kafka的表保存在内置的in-memory catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create temporary table的方式应该也可以。 On Wed, Aug 19, 2020 at 10:53 AM Dream-底限 wrote: > hi > 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source > table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source >

Flink1.11 hive catalog使用

hi 我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪

Re: flink1.11任务资源分批

目前 flink 是不支持运行时扩缩容的。 如果要做的话，只能是从外部根据 metrics 判断反压，然后停掉之前的作业，修改并发后再重新提交作业，从之前的 checkpoint 恢复。 目前社区正在准备一项 declarative resource management 的工作，让 flink 作业的并发度自动适配可用资源。这项工作完成后，可以通过从外部调整可用资源数量来调整作业的并发度。 Thank you~ Xintong Song On Mon, Aug 17, 2020 at 11:34 AM Dream-底限 wrote: > hi、 >

Re: flink1.11 mysql 分页查询

Hi 可以跟下这个issue[1], 在1.12会支持用于自定义query Best Leonard https://issues.apache.org/jira/browse/FLINK-17826 > 在 2020年8月18日，09:50，china_tao 写道： > > 那肯定不行啊，我mysql表里面内容很多。FlinkSQL有没有直接分页查询的方法么？望赐教。类似于spark > dataframe中的dbtable，万分感谢 > > > > -- >

Re: flink1.11 mysql 分页查询

那肯定不行啊，我mysql表里面内容很多。FlinkSQL有没有直接分页查询的方法么？望赐教。类似于spark dataframe中的dbtable，万分感谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 mysql 分页查询

Hi > 在 2020年8月17日，20:46，china_tao 写道： > > 您好，请教一个问题，flink sql 读取mysql如何分页查询。 > 在spark中，dataframe可以通过dbtable，传入分页查询的语句。 > val resultDF = session.read.format("jdbc") > .option("url",jdbcUrl) > .option("dbtable" , selectSql ) > .option("user",user) > .options(writeOpts) >

flink1.11 mysql 分页查询

您好，请教一个问题，flink sql 读取mysql如何分页查询。在spark中，dataframe可以通过dbtable，传入分页查询的语句。val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts)

flink1.11 mysql 分页查询

您好，请教一个问题，flink sql 读取mysql如何分页查询。 在spark中，dataframe可以通过dbtable，传入分页查询的语句。 val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts) .option("password",password).load()

flink1.11 mysql 分页查询

您好，请教一个问题，flink sql 读取mysql如何分页查询。 在spark中，dataframe可以通过dbtable，传入分页查询的语句。 val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts) .option("password",password).load()

flink1.11任务资源分批

hi、 请问如果想要flink任务自动扩缩容有什么办法吗，反压的时候自动加资源，然后在自动缩。

Re: flink1.11????

Re: flink1.11错误

Hi, 我网上查了一下，这个似乎是你Python环境的问题，你可以看看这个和你是不是类似的 https://blog.csdn.net/m0_38024592/article/details/88410878 Best, Xingbo 小学生 <201782...@qq.com> 于2020年8月13日周四 上午11:05写道： > 各位大佬，使用pyflink自定义udf，运行中出现这个错误，这个怎么解决呢 > Caused by: java.io.IOException: Failed to execute the command: python -c > import

flink1.11????

??pyflink??udf Caused by: java.io.IOException: Failed to execute the command: python -c import pyflink;import os;print(os.path.join(os.path.abspath(os.path.dirname(pyflink.__file__)), 'bin')) output: Could not find platform independent

?????? flink1.11 es connector

??QQ??QQ ---- ??: "user-zh"

Re: flink1.11 sql使用问题

您好： 我使用的场景是连接postgreps catalog，直接对postgrep的表进行操作，但是只能有最简单的count操作，其它sql操作都无法实现，感谢！ 原始邮件 发件人: Shengkai Fang 收件人: user-zh 发送时间: 2020年8月11日(周二) 22:54 主题: Re: flink1.11 sql使用问题 能展示下完整的例子吗？ 我用的时候没有这种情况。 魏烽 mailto:weif...@nequal.com>>于2020年8月11日 周二下午10:27写道： > 各位大佬好： > > 在使用fl

Re: flink1.11 sql使用问题

能展示下完整的例子吗？ 我用的时候没有这种情况。 魏烽 于2020年8月11日 周二下午10:27写道： > 各位大佬好： > > 在使用flink1.11 sql客户端的时候，只能只用最基本的count，group by、order > by、join等都无法实现，请问这个是什么原因呢，感谢！ > > > Flink SQL> select count(t2.superid) from cdp_profile_union t1 inner join > cdp_crowd_10002 t2 on t1.superid=t2

flink1.11 sql使用问题

各位大佬好： 在使用flink1.11 sql客户端的时候，只能只用最基本的count，group by、order by、join等都无法实现，请问这个是什么原因呢，感谢！ Flink SQL> select count(t2.superid) from cdp_profile_union t1 inner join cdp_crowd_10002 t2 on t1.superid=t2.superid; [ERROR] Could not execute SQL statement. Rea

Re: flink1.11 es connector

表，能cover大部分报表需求 > > > 祝好 > 崔黄飞 > > > --原始邮件-- > 发件人: > "user-zh" > < > imj...@gmail.com; > 发送时间:2020年8月

?????? flink1.11 es connector

Hi, ??es ??flink es?? ??DSLcover?? ?? ---- ??:

Re: flink1.11 es connector

对 ES 研究不是很深入。 个人觉得是一个实用的场景。 On Fri, 7 Aug 2020 at 09:50, Dream-底限 wrote: > hi、 > 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度） > > Jark Wu 于2020年8月7日周五 上午12:34写道： > > > 目前社区由一个 issue 在跟进 es source ，可以关注一下： > > https://issues.apache.org/jira/browse/FLINK-16713 > >

Re: 关于Flink1.11 CSV Format的一些疑问

感谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于Flink1.11 CSV Format的一些疑问

hi, 对于第一个问题，文档[1]中已经有较为详细的解释，你可以仔细阅读下文档关于partition files的解释。 对于第二个问题，现在的csv格式的确不支持这个选项，可以考虑见个jira作为improvment. [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/filesystem.html WeiXubin <18925434...@163.com> 于2020年8月8日周六 上午11:40写道： > Hi，我在Flink1.11版本，使用f

关于Flink1.11 CSV Format的一些疑问

Hi，我在Flink1.11版本，使用filesystem connector的时候，读取csv文件并输出到另外一个csv文件遇到了些问题，问题如下： 问题1：sink 的path指定具体输出文件名，但是输出的结果是 文件夹形式 问题2：在flink1.11的文档中没有找到csv的 ignore-first-line 忽略第一行这个配置 测试数据 11101322000220200517145507667060666706;9 11101412000220200515163257249700624970;9 11101412010220200514163709315410631541;9

Re: 回复：flink1.11 DDL定义kafka source报错

你好： 你使用的是Flink 1.11版本，但是你的建表语句还是用的老版本，建议更换新版本的建表语句后再试一下 参考如下： https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html chengyanan1...@foxmail.com 发件人： 阿华田 发送时间： 2020-08-07 14:03 收件人： user-zh@flink.apache.org 主题： 回复：flink1.11 DDL定义kafka

Re: flink1.11 DDL定义kafka source报错

你好 ： 图片是看不到的，建议直接粘贴文本再发送一次 chengyanan1...@foxmail.com 发件人： 阿华田 发送时间： 2020-08-07 13:49 收件人： user-zh 主题： flink1.11 DDL定义kafka source报错 代码如下 阿华田 a15733178...@163.com 签名由 网易邮箱大师 定制

回复：flink1.11 DDL定义kafka source报错

错误信息： Exception in thread "main" java.lang.IllegalStateException: No operators defined in streaming topology. Cannot generate StreamGraph. at org.apache.flink.table.planner.utils.ExecutorUtils.generateStreamGraph(ExecutorUtils.java:47) at

flink1.11 DDL定义kafka source报错

代码如下 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Re: flink1.11 es connector

hi、 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度） Jark Wu 于2020年8月7日周五 上午12:34写道： > 目前社区由一个 issue 在跟进 es source ，可以关注一下： > https://issues.apache.org/jira/browse/FLINK-16713 > 你想要的时态表查询，是想当成维表查询吗（lookup）？ > > Best, > Jark > > On Thu, 6 Aug 2020 at 11:20, Dream-底限

Re: flink1.11 es connector

目前社区由一个 issue 在跟进 es source ，可以关注一下： https://issues.apache.org/jira/browse/FLINK-16713 你想要的时态表查询，是想当成维表查询吗（lookup）？ Best, Jark On Thu, 6 Aug 2020 at 11:20, Dream-底限 wrote: > hi > >

flink1.11 es connector

hi 我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）

Re: flink1.11 可以使用processtime开窗，但是无法使用eventtime开窗

你指定时间语义是EventTime了吗 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); > 2020年7月29日 上午9:56，111 写道： > > > > > > > > 您好，请教一个问题，谢谢： > 很简单的json， > {"num":100,"ts":1595949526874,"vin":""} > {"num":200,"ts":1595949528874,"vin":""} >

回复: flink1.11 sql 发布到yarn session时找不到hbase相关的类

Hi，Xintong： 是把相关的jar配到hadoop_classpath然后再export吗？ Best, Junbao Zhang 发件人: Xintong Song 发送时间: 2020年7月30日 10:28 收件人: user-zh 主题: Re: flink1.11 sql 发布到yarn session时找不到hbase相关的类 export HADOOP_CLASSPATH 就可以了 Thank you~ Xintong Song On Wed, Jul 29, 2020 at 6:43

Re: flink1.11 sql 发布到yarn session时找不到hbase相关的类

export HADOOP_CLASSPATH 就可以了 Thank you~ Xintong Song On Wed, Jul 29, 2020 at 6:43 PM wind.fly@outlook.com < wind.fly@outlook.com> wrote: > Hi,all： > 最近在升级flink1.11，sql中用到hbase connctor，发布到yarn-session时，报如下异常： > 2020-07-29 11:49:55 > org.apache.hadoop.hbase.DoN

flink1.11 sql 发布到yarn session时找不到hbase相关的类

Hi,all： 最近在升级flink1.11，sql中用到hbase connctor，发布到yarn-session时，报如下异常： 2020-07-29 11:49:55 org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer

flink1.11 可以使用processtime开窗，但是无法使用eventtime开窗

您好，请教一个问题，谢谢： 很简单的json， {"num":100,"ts":1595949526874,"vin":""} {"num":200,"ts":1595949528874,"vin":""} {"num":200,"ts":1595949530880,"vin":""} {"num":300,"ts":1595949532883,"vin":""} {"num":100,"ts":1595949534888,"vin":""} {"num":300,"ts":1595949536892,"vin":""}

????: flink1.11??????????????????mysql????????

mysql chengyanan1...@foxmail.com ?? ?? 2020-07-24 18:18 user-zh ?? flink1.11??mysql flink1.11kafkamysqlkafka

Re:Re: flink1.11查询结果每秒入库到mysql数量很少

你看下INERT SQL的执行时长，看下是不是MySQL那边的瓶颈？比如写入的数据较大，索引创建比较慢等其他问题？ 或者你手动模拟执行下SQL写数据对比下速度？ 在 2020-07-25 10:20:35，"小学生" <201782...@qq.com> 写道： >您好，谢谢您的解答，但是我测试了按您这个方式添加以后，每秒入mysql数据量变成了8条左右，提升还达不到需要。

Re: flink1.11??????????????????mysql????????

mysql8??

Re: flink1.11查询结果每秒入库到mysql数量很少

Hi, 你可以尝试改写url，加上rewritebatchedstatements=true，如下： jdbc:mysql://198.2.2.71:3306/bda?useSSL=false=true MySQL Jdbc驱动在默认情况下会无视executeBatch()语句，把期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，直接造成较低的性能。把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。 祝好 weixubin -- Sent from:

flink1.11??????????????????mysql????????

flink1.11kafkamysqlkafka300??/??mysql??6?? from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic

Re: flink1.11日志上报

这个可以用配置文件实现，利用kafka appender将日志打到kafka中，然后自己去消费kafka处理即可，1.11中支持log4j2了，建议使用log4j2 Dream-底限 于2020年7月24日周五 上午10:50写道： > hi、 > > 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪 >

回复：flink1.11日志上报

应该没有api,官网推荐的也是log appder这种方式。用这种方式采集的日志是比较全的 ---原始邮件--- 发件人: "Dream-底限"

Re: flink1.11日志上报

"user-zh" > < > zhan...@akulaku.com; > 发送时间:2020年7月24日(星期五) 上午10:49 > 收件人:"user-zh" > 主题:flink1.11日志上报 > > > > hi、 > > 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

??????flink1.11????????

?? logback??appder( flink

flink1.11日志上报

hi、 我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪

Re: flink1.11 tablefunction

hi 这貌似确实是一个bug，先用子查询打开后程序就可以运行正常了 Benchao Li 于2020年7月23日周四 下午12:52写道： > 现在有一个work around，就是你可以用子查询先把row展开，比如： > select ... > from ( > select data.rule_results as rule_results, ... > ) cross join unnest(rule_results) as t(...) > > Benchao Li 于2020年7月23日周四 下午12:44写道： > > >

Re: flink1.11 web ui没有DAG

Hi 你的图片我这边显示不出来，能否把图片放到某个图床，然后把链接发过来呢？这样大家能更好的查看图片 Best, Congxian 小学生 <201782...@qq.com> 于2020年7月22日周三 下午3:49写道： > > > >

Re: flink1.11 tablefunction

现在有一个work around，就是你可以用子查询先把row展开，比如： select ... from ( select data.rule_results as rule_results, ... ) cross join unnest(rule_results) as t(...) Benchao Li 于2020年7月23日周四 下午12:44写道： > 我感觉这可能是calcite的bug，CC Danny老师 > > Dream-底限 于2020年7月22日周三 下午5:46写道： > >> hi 、Benchao Li >>

Re: flink1.11 tablefunction

我感觉这可能是calcite的bug，CC Danny老师 Dream-底限 于2020年7月22日周三 下午5:46写道： > hi 、Benchao Li > 我尝试了将数组打散的方式，但是报了一个莫名其妙的错误，可以帮忙看看嘛 > > tableEnv.executeSql("CREATE TABLE parser_data_test (\n" + > " data ROW STRING,path STRING,country_id INT,create_time BIGINT," + > "spent_time

Re: flink1.11 sql

支持的，也是需要配合HiveCatalog一起使用，你在hive那边创建的函数在flink里就能调用了 On Wed, Jul 22, 2020 at 12:14 PM Dream-底限 wrote: > hi > flink支持配置hive方言，那么flink可以直接使用hive内自定义的udf、udtf函数吗 > -- Best regards! Rui Li

Re: flink1.11启动问题

Signature is customized by Netease Mail Master > > 在2020年07月22日 12:44，酷酷的浑蛋 写道： > 现在是为什么啊？启动任务自动占用所有core？core数量一直在增加，直到达到队列最大值，然后就卡住了，这flink1.11啥情况啊？ > > >

回复：flink1.11启动问题

用的什么模式？启动任务的命令发出来看一下吧 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年07月22日 12:44，酷酷的浑蛋 写道： 现在是为什么啊？启动任务自动占用所有core？core数量一直在增加，直到达到队列最大值，然后就卡住了，这flink1.11啥情况啊？

Re: flink1.11 tablefunction

hi 、Benchao Li 我尝试了将数组打散的方式，但是报了一个莫名其妙的错误，可以帮忙看看嘛 tableEnv.executeSql("CREATE TABLE parser_data_test (\n" + " data ROW,rule_results ARRAY>>,\n" + " createTime BIGINT,\n" + " tindex INT\n" + ") WITH (\n" + " 'connector' = 'kafka-0.11',\n" + "

Re: 回复：flink1.11启动问题

看一下yarn-containers-vcores这个参数： https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#yarn-containers-vcores 结合自己的集群，适当调低这个参数 chengyanan1...@foxmail.com 发件人： JasonLee 发送时间： 2020-07-22 12:58 收件人： user-zh 主题： 回复：flink1.11启动问题 Hi 报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了

Re: flink1.11 web ui????DAG

回复：flink1.11启动问题

nature is customized by Netease Mail Master 在2020年07月22日 12:44，酷酷的浑蛋 写道： 现在是为什么啊？启动任务自动占用所有core？core数量一直在增加，直到达到队列最大值，然后就卡住了，这flink1.11啥情况啊？

Re: flink1.11 tablefunction

Hi， 如果只是想打平array，Flink有个内置的方法，可以参考[1]的”Expanding arrays into a relation“部分 [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#joins Jark Wu 于2020年7月22日周三 上午11:17写道： > Hi, > > Row[] 作为 eval 参数，目前还不支持。社区已经有一个 issue 在跟进支持这个功能： >

Re: flink1.11 web ui没有DAG

Hi 这边说的 UI 上不显示数据接受和发送的条数，能否截图发一下，这样大家能更好的理解这个问题。另外 flink 作业有数据输入和处理吗？ Best, Congxian 小学生 <201782...@qq.com> 于2020年7月22日周三 上午10:47写道： > 本地linux下单机版安装的，提交flink代码运行后，正常运行，有日志，但是为啥UI上面却不显示数据接收和发送的条数，求大佬解答

Re: flink1.11任务启动

Hi 你可以把的启动命令贴一下，然后说一下你期望的行为是什么，现在看到的行为是什么。 Best, Congxian 酷酷的浑蛋 于2020年7月22日周三 下午12:43写道： > 现在启动任务（yarn）怎么指定-ys 和-p 都不管用了？ 自动就分配好多core？ > 默认启动个任务给我启动了100个core？100个container？我擦，啥情况啊，现在指定什么参数才生效啊？我默认配置也没有配置过多少个core啊，默认不是1个吗

回复：flink1.11启动问题

Hi 报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了 1.11我这边提交任务都是正常的 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年07月21日 16:36，酷酷的浑蛋 写道： 服了啊，这个flink1.11启动怎么净是问题啊 我1.7，1.8，1.9 都没有问题，到11就不行 ./bin/flink run -m yarn-cluster -yqu root.rt_constant -ys 2

<    1   2   3   >