String不行，取出来的值是null
Original Message
Sender: silence
Recipient: user-zh
Date: Monday, Dec 7, 2020 14:26
Subject: Re: FlinkSQL如何定义JsonObject数据的字段类型
可以用string -- Sent from: http://apache-flink.147419.n8.nabble.com/
??set table.sql-dialect=hive; ??hive
HiveModule?? flink -sql
-client ?? HiveModule
----
??:
这个问题我们也遇到过，目前这个issue在跟进，https://issues.apache.org/jira/browse/FLINK-12130
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??ab ??flink sql??
flink1.10.1
可以用string
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi, 各位大佬
我的上游是一个 Kafka Topic， 里边把一个 MySQL DB 所有的 Binlog 打进去了。我的
Flink任务的在处理的时候，消费一次，然后 filter out 出来 表A 和 表B，表A是 order事件 ，表B 是 order item
信息，所以 我用:
SELECT *
FROM A
LEFT OUT JOIN B
ON order_id
Where A.event_time > B.event_time + 30 s
A.event_time > B.event_time - 30 s
我测了下，A 和 BI
Hi,
flink version: 1.11.2
api: flink-sql
场景：使用flink sql定义了一张kafka的source表，kafka中数据为json格式的字符串。
其中context是json的一个键，其值为jsonObject，数据示例如下：
{
“id”: 1,
"context”: {
…
(这里的数据为jsonObject，具体schema不确定，
由各个业务方自行确定，可能嵌套，也可能不嵌套，完全不可控)
}
}
建表语句为：
CREATE TABLE json_source (
id bigint,
context
)
Hello，
我试了一下用batch和streaming的方式写hive-2.1.1的orc表，batch模式没发现啥问题。在streaming模式下，如果把table.exec.hive.fallback-mapred-writer设为false时，会有依赖冲突，这是个已知问题，把这个参数设为true（默认值）应该可以避免。
另外我这边Hadoop的环境是2.7的，你的Hadoop是3.x么？
On Fri, Dec 4, 2020 at 9:27 PM Rui Li wrote:
> Hi，
>
>
Hi,
你指的是 `yarn.provided.lib.dirs` 吗？
这个地方设计的时候确实是只考虑到了 hdfs，没有考虑 http 文件。
我刚刚也和熟悉 hadoop 的朋友确认了一下，从 yarn 的层面上应该也是支持 http 文件的，所以 flink 最好也是能支持 http 文件。
由于整个 feature 在设计的时候都没有考虑到 http 文件的问题，不确定修复了正则匹配的问题后是否还会有其他问题。
我开了 FLINK-20505 来跟踪 provided lib 支持 http 文件的整体进度。
这个我也不太清楚，没有做过对应的是测试。
@吴磊 想到一个问题，如果 process 中使用了 agg state，keyBy(userId % 10) 后会有问题吧？使用 mapState 做
agg 操作？
在2020年12月6日 20:30，赵一旦 写道：
所以说，ckpt的性能/时间和key的数量有关对吗？即使总体数据量不变，key少些，每个key的状态变大，会降低ckpt时间？
按照你们的分析来看？？
bradyMk 于2020年12月4日周五 下午7:23写道：
对对对，可以取hashCode，我短路了，谢谢哈~
-
Best Wishes
--
在保证数据量不变的情况下，我并没有测试10亿个key的性能，但我测试了只有8个key的性能，发现背压严重；现在用了100个key，消费正常；所以，我认为，ckpt的性能/时间和key的数量还是有关的
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
先kinit执行把认证注入，再执行停止命令
> 在 2020年12月7日，11:35，"amen...@163.com" 写道：
>
> hi everyone,
>
> 使用./bin/flink stop -yid application_xxx_xxx
> xx命令停止yarn任务时，可否将kerberos认证信息带过去？
> 例如说，-Dsecurity.kerberos.login.keytab 及
> -Dsecurity.kerberos.login.principal这样（这二者试过不行 ）
>
> btw,
hi everyone,
使用./bin/flink stop -yid application_xxx_xxx
xx命令停止yarn任务时，可否将kerberos认证信息带过去？
例如说，-Dsecurity.kerberos.login.keytab 及
-Dsecurity.kerberos.login.principal这样（这二者试过不行 ）
btw, 代码形式的stop和命令行的stop命令使用效率是一致的吗？thanks.
best,
amenhub
hi~谢谢解答；
但我的状态用的是RocksDB，实质上不应该是存的磁盘么？为什么会一直占用tm的内存呢？
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
一般UnknownHostException的报错就是因为HDFS client没有解析到正确的hdfs-site.xml配置，
导致把nameservice当成hostname来解析了，你可以看JobManager以及TaskManager的log，
查看里面打出来的classpath有没有hadoop conf的目录
Best,
Yang
smallwong 于2020年12月7日周一 上午10:04写道：
> 环境：Flink1.11.2, CDH5.13.3(Hive1.1.0)
> 已使用的方法:
大概率是网络不通，可以检查一下白名单设置
Best,
Yangze Guo
On Mon, Dec 7, 2020 at 10:28 AM Jark Wu wrote:
>
> 这个估计和网络和部署有关，建议咨询下华为云的技术支持。
>
> On Sun, 6 Dec 2020 at 20:40, 赵一旦 wrote:
>
> > 连接不上，你的华为云确认和redis服务器连通吗？
> >
> > 追梦的废柴 于2020年12月6日周日 下午8:35写道：
> >
> > > 各位：
> > > 晚上好！
> > >
这个估计和网络和部署有关，建议咨询下华为云的技术支持。
On Sun, 6 Dec 2020 at 20:40, 赵一旦 wrote:
> 连接不上，你的华为云确认和redis服务器连通吗？
>
> 追梦的废柴 于2020年12月6日周日 下午8:35写道：
>
> > 各位：
> > 晚上好！
> > 现在我所在的项目组在调研Flink框架，有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
> >
> >
>
收到，期待~
--
Sent from: http://apache-flink.147419.n8.nabble.com/
环境：Flink1.11.2, CDH5.13.3(Hive1.1.0)
已使用的方法: flink-conf.yaml中设置env.yarn.conf.dir，另外也检测集群配置，hdfs-site.xml没问题，但都无效
异常：
Caused by: java.net.UnknownHostException: nameservice
at
org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:406)
~[hadoop-common.jar:?]
at
hi all， 最近在1.11上使用io.extra-file加载外部http文件出现一点小问题
由于http的文件在FileSystem.getFileStatus去拿状态时会走HttpFileSystem的类的getFileStatus方法，该方法返回的FileStatus中length为-1。
在client端校验通过后，在decodeYarnLocalResourceDescriptor的时候会碰到问题。
异常如下：
2020-12-04 17:01:28.955 ERROR org.apache.flink.yarn.YarnResourceManager - Could
中间状态用完了最好是clear掉。不然一直会占用tm的内存的呢
-邮件原件-
发件人: bradyMk [mailto:zhbm...@126.com]
发送时间: 2020年12月5日 星期六 17:29
收件人: user-zh@flink.apache.org
主题: flink使用RocksDB增量checkpoints，程序运行一段时间报出：超出物理内存
大家好~
最近刚刚尝试使用flink 1.9.1 的RocksDB做增量checkpoints；
在程序种设置：
val backend = new
Hi,
你是需要对维表里面的某些字段进行计算过滤等吗，可以参考：https://github.com/apache/flink/blob/53a4b4407816c2780fed2f8995affbebc1f58c3c/flink-table/flink-table-planner-blink/src/test/scala/org/apache/flink/table/planner/runtime/stream/sql/LookupJoinITCase.scala#L162
Best,
Hailong
在 2020-12-05 14:11:26，"leiyanrui"
连接不上，你的华为云确认和redis服务器连通吗？
追梦的废柴 于2020年12月6日周日 下午8:35写道：
> 各位：
> 晚上好！
> 现在我所在的项目组在调研Flink框架，有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
>
> 我们在pom文件中引入了flink-redis的connector，然后按照官方的RedisSink案例，在本地开发的时候可以正常写入到某台服务器上的Redis中，
> 但是当我把程序打成Jar包之后，部署到服务器（华为云MRS）上使用flink
>
各位：
晚上好！
现在我所在的项目组在调研Flink框架，有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
我们在pom文件中引入了flink-redis的connector，然后按照官方的RedisSink案例，在本地开发的时候可以正常写入到某台服务器上的Redis中，
但是当我把程序打成Jar包之后，部署到服务器（华为云MRS）上使用flink run提交到yarn之后总是在报错，无法写入到Redis中，各位知道是为什么吗？
问题已经卡了我两天了，一点进展都没有，有劳各位帮忙解答一下，Thank you！
报错如下：
所以说，ckpt的性能/时间和key的数量有关对吗？即使总体数据量不变，key少些，每个key的状态变大，会降低ckpt时间？
按照你们的分析来看？？
bradyMk 于2020年12月4日周五 下午7:23写道：
> 对对对，可以取hashCode，我短路了，谢谢哈~
>
>
>
> -
> Best Wishes
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
25 matches
Mail list logo
