项目里有部分需要进行状态共享的需求，多个flink 任务之间
如题，tikv本身基于rocksdb 是否有可能扩展成为分布式 backend
--
Sent from: http://apache-flink.147419.n8.nabble.com/
最近想试一下flink on yarn，yarn是公司之前就有的，但之前只运行过spark，现在想试一下flink。
但是不少报错，现在到如下情况了。
23:09:11.181 [main] ERROR com.xxx.Application - Main Method catched
exception: {}
org.apache.flink.client.deployment.ClusterDeploymentException: Could not
deploy Yarn job cluster.
at
flink1.11用不了flink-sql-gateway,不知道还会不会更新
18579099...@163.com
了解了！谢谢！
Yun Tang 于2020年8月21日周五 下午4:00写道：
> Hi
>
> 其实你的问题就是MapState中的value本身是java的map结构，也就是对应MapStateDescriptor里面的valueSerializer是否需要区分显示声明成HashMap类型，这个取决于你的value
> serializer实现，如果你用的是Flink内置的MapSerializer[1]，没必要声明成HashMap类型。
>
>
> [1]
>
Hello all,
iterative stream job
checkpoint??checkpoint
state
k??org.apache.flink.util.FlinkRuntimeException:
Exceeded checkpoint tolerable failure threshold.??
??
不要用aliyun maven repo，另外你这是1.10-SNAPSHOT 不是1.10的release版本
魏烽 于2020年8月21日周五 下午8:44写道：
> 各位好：
>
>
>
Hi forideal，
我在本地试了一下，没有复现你说的这个情况。
我看代码也没有这个逻辑，如果是没有分配到partition，应该是会阻塞住，而不是finish。
你这个测试用的是社区的版本么？还是有什么特殊的改动？
forideal 于2020年8月21日周五 下午11:43写道：
> Hi 赵一旦,
> 基础信息：使用 watermark for 语法设置watermark，Flink SQL，Blink planner，Flink 1.10.0
> 我最近做了一个实验，将Flink SQL 的并发设置为 kafka topic partition 的 2 倍，同时设置
是说写数据用的是flink的FileSystem connector，然后读数据是用hive自己去读的？具体错误的stacktrace贴一下看看呢
On Fri, Aug 21, 2020 at 3:05 PM wrote:
> flink table
> sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.，而且新版的是org.apache.orc.。
>
> 发自我的iPhone
>
> > 在
如题，没找到accumulator类型数据，metric之类找到了，但是accumulator类没找到。
在内网，弄不出来。数组业界，在OrcFile$WriterVersion.from(OrcFile.java:145)
目前升级hive到2.3能正常用了，因为从hive2.3开始有独立的orc-core jar了。但是我们用的是CDH，这样子管理不太方便。
发自我的iPhone
> 在 2020年8月21日，16:18，Rui Li 写道：
>
> 是说写数据用的是flink的FileSystem connector，然后读数据是用hive自己去读的？具体错误的stacktrace贴一下看看呢
>
>> On Fri, Aug 21, 2020 at 3:05 PM
hi
我这面想使用flinkcdc做实时etl，我看可以做到维表（时态表）关联，现在想问一下能在cdc功能中用聚合算子嘛，全局groupby或窗口函数
Hi,
能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题
On Fri, Aug 21, 2020 at 1:41 PM wrote:
> 试过了，一样的，本质也是通过写文件。
>
> 发自我的iPhone
>
> > 在 2020年8月21日，13:35，Jingsong Li 写道：
> >
> > 是的
> >
> >> On Fri, Aug 21, 2020 at 1:30 PM wrote:
> >>
> >> flink hive表的方式是什么意思？hive streaming吗？
> >>
Hi
其实你的问题就是MapState中的value本身是java的map结构，也就是对应MapStateDescriptor里面的valueSerializer是否需要区分显示声明成HashMap类型，这个取决于你的value
serializer实现，如果你用的是Flink内置的MapSerializer[1]，没必要声明成HashMap类型。
[1]
从代码上看，-yt 后的都会文件夹内容都会上传到HDFS
=> 1.7版本： 只有一个-yt参数生效，并且-yt后只能跟文件夹。例如-yt /tmp/xx （实测）
=> 1.8到1.11版本： 可以有多个-yt参数，并且-yt后只能跟文件夹 例如-yt /tmp/xx1 -yt /tmp/xx2
（实测）
=> 1.11版本以后（master分支）： 可以有多个-yt参数。-yt后可以跟文件或文件夹
-
guaishushu1...@163.com wrote
> 大佬们知道 flink
flink table
sql把mysql的表数据写到hdfs的路径上，存成orc。hive创建外部表，查询报错。最根本原因是hive2.1是把orc的相关类打包一起的，包名举例，org.apache.hive.orc.，而且新版的是org.apache.orc.。
发自我的iPhone
> 在 2020年8月21日，14:37，Rui Li 写道：
>
> Hi,
>
> 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题
>
>> On Fri, Aug 21, 2020 at 1:41
15 matches
Mail list logo
