hi、
请问下面这两种输出流实现的时候，怎么确定选用实现upsert还是retract，因为看这两个api描述功能是差不多的，并且代码实现只是upsert多了两个方法，具体完成的功能貌似可以是一样的，这要怎么作出选择：
public interface RetractStreamTableSink
extends StreamTableSink
hi、
好的，https://issues.apache.org/jira/browse/FLINK-19871
Jark Wu 于2020年10月29日周四 下午12:06写道：
> 目前还不支持，可以去社区开个 issue，看能不能赶上1.12
>
> Best,
> Jark
>
>
> On Thu, 29 Oct 2020 at 11:26, Dream-底限 wrote:
>
> > hi、
> > 我看了一下官方提供的kafka sink，对于数据发送方式为两种：对于第二种情况，有办法保证对于指定
hi、
是的，类型部分不匹配，类型改完之后程序运行正常了，感谢
hailongwang <18868816...@163.com> 于2020年10月20日周二 下午4:13写道：
> Hi,
> 我看其中一个 condition 是 `t1.uid = t2.refer_id`
> 其中 uid 是 bigint 类型，refer_id 是 varchar 类型。
> 你再确认下？
>
>
> Best,
> Hailong Wang
>
>
>
>
> At 2020-10-20
OIN ON 条件上类型不一致引起的，可以分享下你完整的程序看下。
> Best，
> Hailong Wang
>
> 在 2020-10-19 09:50:33，"Dream-底限" 写道：
> >hi、我这面正在将flinktable转换为datastream，现在抛出如下异常，貌似是个bug。。。
> >
> >table.printSchema();
> >streamTableEnv.toRetractStream(table,
>
> >Types.ROW
hi、我这面正在将flinktable转换为datastream，现在抛出如下异常，貌似是个bug。。。
table.printSchema();
streamTableEnv.toRetractStream(table,
Types.ROW(TypeConversions.fromDataTypeToLegacyInfo(table.getSchema().getFieldDataTypes(.print();
root
|-- register_id: BIGINT
|-- asi_uid: BIGINT
|-- person_uuid: BIGINT
|--
hi、
我现在使用flink sql完成如下sql语句，但是程序无法运行，请问这个功能要怎么实现：
select null as person_uuid from tablename
抛出异常：
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: SQL validation failed. From line 1, column 47 to line 1,
column 50: Illegal use of 'NULL'
at
hi、
我想到是一个实现方案是在flink端ddl建立lookup表的时候，一张flink表对应上面说的那个外部子查询虚拟表，相当于flink建了一个视图吧
Dream-底限 于2020年10月14日周三 下午2:23写道：
> hi、
>
> 》》你说的点查sql子表可以节省开销，不是很理解，是指同一个key关联多张维表，然后查询外部系统时一个key带出多个表的数据吗？这个应该和目前flink的实现机制不太一致。
> 是的，可以理解为用一个key查询一个视图，这个视图来自于多表关联；在不做视图的情况下，直接点查外部系统的子查询，在flink端依然是原查询样
下午8:50写道：
> Hi,
> 我理解网络开销更多来自于当前的lookup实现每次都需要访问外部系统，如果能做一些cache机制，这样能省掉较多的开销。
>
> 你说的点查sql子表可以节省开销，不是很理解，是指同一个key关联多张维表，然后查询外部系统时一个key带出多个表的数据吗？这个应该和目前flink的实现机制不太一致。
>
>
> > 在 2020年10月13日，10:03，Dream-底限 写道：
> >
> > hi、
> >
> 现在流表查询外部维表的时候，在有多张维表的情况下会
ozhen 于2020年10月12日周一 下午6:08写道：
>
> >
> > 可以发下 "分配完applicationid后，容器经常异常退出" 产生的错误日志吗？
> >
> > 或者排查下flink客户端中的错误日志，以及yarn-historyserver里的日志。
> >
> >
> >
> > Dream-底限 wrote
> > > hi
> > > 我正在使用flink1.11.1 on
>
hi、
现在流表查询外部维表的时候，在有多张维表的情况下会多次查询外部系统，这就导致多次网络请求回传，社区后续会不会支持时态表子查询，就是根据指定的key查询外部系统的时候不再是一次查询一个指定的表，可以点查一个sql子表，这样网络io会小一些
hi、可以去hadoop的一个节点直接打镜像哈，打镜像的时候把需要的hadoop依赖包、flink一起打包到docker里面，然后配置一下环境变量就可以用了；如果你的docker部署节点有hadoop或flink也可以直接外挂；目前我们使用的是第一种
Yang Wang 于2020年10月12日周一 上午10:23写道：
> 只需要base社区的镜像，然后再加上一层（拷贝flink-shaded-hadoop），commit到docker
> image，然后push到docker registry就可以了
>
> 例如Dockerfile可以如下
> FROM
BIGINT,
> "base_info"."verify_code" varchar,
> "status_info"."battery_power" BIGINT,
> "status_info"."device_status" BIGINT,
> "time_characteristics"."create_time" varchar
> );
> 在这样操作之后，phoenix获取
> 2020年10月10日 下午4:11，Dream-底限 写道：
> >
> > hi、phoenix要映射现有hbase表，改一下phoenix建标语句应该可以解决
> >
> > TonyChen 于2020年10月10日周六 下午4:03写道：
> >
> >> 查了下
> >>
> >> hbase(main):011:0> get 'ods_iot_gasdevice', '2900'
> >> COLUMN
hi、phoenix要映射现有hbase表，改一下phoenix建标语句应该可以解决
TonyChen 于2020年10月10日周六 下午4:03写道：
> 查了下
>
> hbase(main):011:0> get 'ods_iot_gasdevice', '2900'
> COLUMN CELL
> base_info:device_idtimestamp=1602314819543,
> value=\x00\x00\x0BT
> base_info:verify_code
可以直接用yarnclient直接提交，flinkonyarn也是yarnclient提交的吧，不过感觉自己实现一遍挺麻烦的，我们最后也选的是process的方式
xiao cai 于2020年9月29日周二 下午5:54写道：
> 这个我们有尝试，遇到了classpath的问题，导致包冲突，无法启动进程，你们有遇到过相关的情况吗？
>
>
> 原始邮件
> 发件人: todd
> 收件人: user-zh
> 发送时间: 2020年9月29日(周二) 17:36
> 主题: Re: 怎么样在Flink中使用java代码提交job到yarn
>
>
>
hi、
我想问一下就是多个流关联输出的时间点是所有维度全部关联上了才输出吗，比如abcd四个流，abc关联上了但这时d的数据还没有到，这个是不触发输出的吧
Michael Ran 于2020年9月27日周日 下午2:38写道：
> 会有相互等待，或者先后不一致的情况，要业务自己衡量等待时间
> 在 2020-09-27 12:09:23，"Dream-底限" 写道：
> >hi
>
> >我们这面想用flink在实时数仓上面做些事情，进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案：第一种是流表lo
hi
我们这面想用flink在实时数仓上面做些事情，进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案：第一种是流表lookup时态表，但时态表更新可能会延迟导致查询结果不准确，并且io可能过大；第二种是双流关联，但是如果说有五张表进行join的话，除了状态太大还有其他问题吗，或者说有多流相互等待的问题吗
hi
我正在使用flink1.11.1 on
yarn以分离模式运行任务，但在任务提交的时候，任务在分配完applicationid后，容器经常异常退出，先前以为是yarn环境问题，但是在两个集群测都有遇到这种情况，请问这是一个已知的bug吗
hi、
我正在做基于检查点的任务自动恢复，请问有没有什么方法来检查检查点是否是一个完整有效的检查点，因为有的时候检查点会失败，所以有没有api层面的校验方式
;
> > 问题大概懂了，坐等Flink大佬回复
> >
> > Dream-底限 于2020年9月1日周二 下午4:43写道：
> >
> > > hi
> > > 就是json数组如果是这种：[1,2,3]，我可以直接array解析
> > >
> > >
> >
> 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array > > int,b string,c bool
hi
就是json数组如果是这种：[1,2,3]，我可以直接array解析
如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array>,flink做ddl翻译解析json的时候会把row这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到数据
zilong xiao 于2020年9月1日周二 下午4:04写道：
> 基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？
>
> Dream-底限 于2020年
hi、
我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况
zilong xiao 于2020年9月1日周二 上午11:47写道：
> like this: ARRAY>>
>
> Dream-底限 于2020年9月1日周二 上午11:40写道：
>
> > hi
> >
> >
> 我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array
hi
我正在解析json数组，在解析的时候遇到一个问题，当解析的json数组元素为同一类型的时候，我可以使用ddl的array进行存储，但是当json数组元素为不同类型的时候，我没办法做ddl映射，我查看JsonRowSchemaConverter解析json
array的时候，对于不同类型的数组元素解析后可以用row存储，但请问我在ddl时候要怎么做，因为在DDL用row表示数组会抛出异常
private static TypeInformation convertArray(String location,
JsonNode node, JsonNode root) {
//
哦哦，好吧，我昨天用NOW的时候直接报错告诉我这是个bug，让我提交issue，我以为这种标示的都是函数功能有问题的
Benchao Li 于2020年8月28日周五 下午8:01写道：
> 不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。
> 对应的是确定性函数，比如concat就是确定性函数，只要输入是一样的，它的返回值就永远都是一样的。
> 这个函数是否是确定性的，会影响plan的过程，比如是否可以做express reduce，是否可以复用表达式结果等。
>
> Dream-底限 于2020年8月28日周五 下午2
hi、
我这面使用flink时间函数转换为长整型的时候只能做到秒，除了自定义udf有办法做到转换到毫秒精度吗
hi、
哪位大佬可以把flink官方文档中的函数部分完善一下啊，函数下面配个应用方式可好，看文档我都不知道下面函数是怎么用的，有的可以直接用有的sql解析不通过，还得一个一个测。。。
Temporal functionsDescription
DATE string
Returns a SQL date parsed from *string* in form of "-MM-dd".
TIME string
Returns a SQL time parsed from *string* in form of "HH:mm:ss".
TIMESTAMP string
hi
UNIX_TIMESTAMP（）
NOW()
我这面想使用flink的时间戳函数，但是看官方文档对这两个函数描述后面加了一个此功能不确定，这个此功能不确定指的是这两个时间函数不能用吗
我先前遇到的是,两个流在同一个窗口上求某个字段的count比例,比如求上一个小时购买对访问求比
Danny Chan 于2020年8月27日周四 下午2:48写道：
> 大家好 ~
>
> 这里做一个 window-join[1] 的需求调研, window-join 是 Flink DataStream 上已经有的 feature.
> 目标是决策是否要在 SQL 上支持该特性, 例如, tumbling window join 语法可能长这样:
>
> ```sql
> select ... window_start, window_end
> from TABLE(
>
hi
我正在使用DDL语句创建kafka数据源，但是查看文档时候发现没有报漏参数指定消费者组的offset是否提交，请问这个默认情况下offset会不会提交到kafka分区
好的，感谢
china_tao 于2020年8月24日周一 下午12:21写道：
> 支持。
> insert into mysqlresult select k.vin,k.msgtime,d.brand_name from (SELECT
> vin,max(msgtime) as msgtime,max(pts) as pts from kafkaSourceTable group by
> TUMBLE(rowtime, INTERVAL '10' SECOND),vin) AS k left join msyqlDimTable
> FOR
> SYSTEM_TIME
hi
我这面想使用flinkcdc做实时etl，我看可以做到维表（时态表）关联，现在想问一下能在cdc功能中用聚合算子嘛，全局groupby或窗口函数
是的给傻瓜用户用的，开发人员大多不喜欢用
赵一旦 于2020年8月19日周三 下午5:34写道：
> 做个任务管理界面，然后点点点，到后台，然后后台通过java程序提交任务，这样吗？高端。
>
> Dream-底限 于2020年8月19日周三 下午5:22写道：
>
> > 想springboot服务化对外报漏接口请求
> >
> > 赵一旦 于2020年8月19日周三 下午5:18写道：
> >
> > > 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？
hi
可以在转换为table之前把map的eventtime字段提取出来注册
★猛★ 于2020年8月19日周三 下午5:23写道：
> hi,
>
>
> 咨询一下，我有个table里边有个map字段，我想用map里的某个字段作为eventtime，有没有办法实现？
想springboot服务化对外报漏接口请求
赵一旦 于2020年8月19日周三 下午5:18写道：
> 直接写个脚本提交不可以吗，为什么一定要通过java提交呢？
>
> Dream-底限 于2020年8月19日周三 下午4:41写道：
>
> > 好的，感谢
> >
> > Jeff Zhang 于2020年8月19日周三 下午4:31写道：
> >
> > > Zeppelin 最近在做这样的API来提交Flink Job，这里有个例子可以参考下
> > &g
论，钉钉群号：32803524
>
>
>
> Dream-底限 于2020年8月19日周三 下午4:27写道：
>
> > hi、
> > 请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
> >
> >
> 我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
> >
> >
hi、
请问你说的是自己拼接cli字符串，然后通过java调用子进程执行的这种方式吗
我先前也是这么做的，但感觉比较怪异，这种方式有一个问题是貌似没办法直接返回applicationId，要从日志里面筛选好像，再就是没办法判断提交是否成功，貌似也是从日志来做，请问这个applicationId在提交的时候除了从日志筛选有其他的获取方式吗
wxpcc 于2020年8月19日周三 下午4:09写道：
> 大概可以用，YarnClusterDescriptor
>
> 命令行方式封装提交对于后续升级更加方便一些，个人建议
>
>
>
> --
> Sent from:
hi
先设置hiveCatalog及默认数据库，然后use hivecatalog
接下来建表的时候create temporary table test(...)，使用的时候：select ... from test
这个时候就报错说hivecatalog的默认数据库内无这张表
Rui Li 于2020年8月19日周三 下午3:49写道：
> 是怎么用的啊，我去试试
>
> On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote:
>
> > hi
> > 我先前用这种方式创建的表，在sql中
hi、
我这面想通过java程序使用perJob模式提交一个flink
jar任务到yarn集群，我看了一下flink-client和flink-yarn包，感觉是可以做到的，但又有点儿无从入手的感觉，请问flink可以做到吗，具体调用哪个类哪
个人估计恐怕得年底，貌似九月冻结吧，然后测试修复什么的就差不多阳历年了。。。
赵一旦 于2020年8月19日周三 上午11:16写道：
> 如题，有大概时间嘛。
>
hi
我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
>或者用create temporary table的方式应该也可以。
Rui Li 于2020年8月19日周三 上午11:11写道：
> 可以把kafka的表保存在内置的in-memory catalog里，名字应该是default_catalog，这样就不会持久化了。或者用create
> temporary table的方式应该也可以。
>
> On Wed, Aug 19, 2020 at 10:53 AM
hi
我这面在使用hivecatalog将kafka数据落地到hive，但现在有一个问题是，我不想保存kafka source
table元数据（默认自动保存），通过创建视图或临时表的方式启动flink任务，这时候直接通过kafka source
table表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
hi、
请问如果想要flink任务自动扩缩容有什么办法吗，反压的时候自动加资源，然后在自动缩。
flink暴漏的lookup
是支持设置缓存记录条数和缓存时间的吧，把时间和条数设置的小一点或者直接禁用缓存，如果流表数据量不大的话可以不用异步访问，数据量大的话异步访问不加缓存维表存储引擎可能压力过大
Jim Chen 于2020年8月13日周四 上午11:53写道：
> 请问下，如果使用了localcache+asyncIO的方式，缓存一致性，有什么解决的思路吗？维表的状态是频繁更新的
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
10日(星期一) 中午12:36
> 收件人:"user-zh"
> 主题:Re: flink1.11 es connector
>
>
>
> 对 ES 研究不是很深入。 个人觉得是一个实用的场景。
>
> On Fri, 7 Aug 2020 at 09:50, Dream-底限
> hi、
>
> 是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
>
> Jark Wu
>
hi、
FlinkOnYarn集群部署是推荐使用yarn-session模式所有任务共用一个，还是推荐使用preJob模式每个任务起一个小集群
hi、
是的，大佬感觉用es做维表靠谱吗，这样就不用维护hbase二级索引了（或者用es存hbase二级索引，hbase存数据，但还是要用es充当一个维度）
Jark Wu 于2020年8月7日周五 上午12:34写道：
> 目前社区由一个 issue 在跟进 es source ，可以关注一下：
> https://issues.apache.org/jira/browse/FLINK-16713
> 你想要的时态表查询，是想当成维表查询吗（lookup）？
>
> Best,
> Jark
>
> On Thu, 6 Aug
hi
我们这面想用es做时态表查询，但是flink没有报漏es源连接器，需要自己实现一个，请问大家对es做时态表这件事感觉靠谱吗（ps：之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦，但hbase也是一个调研方案）
hi 鱼子酱、
我当初这样用的时候状态也不清理（子查询+时间窗口+union），后来把时间窗口改成全局group函数，union改成订阅topic列表后，设置状态过期时间状态才清理。。。
后来看资料有的说分区数据不均衡导致水印不推进的话可能导致这种状态不清理的问题，但是我感觉不是水印导致的，水印导致的窗口应该不触发计算吧，感觉这里面有些bug，需要专业人士定位一下
鱼子酱 <384939...@qq.com> 于2020年7月29日周三 上午9:53写道：
> 您好：
>
> 我按照您说的试了看了一下watermark，
> 发现可以 正常更新，相关的计算结果也没发现问题。
>
午10:30写道：
> 目前是不支持的。这个需求有点太业务特定了。flink 不可能为了一个错误日志去抽象、对接各种存储系统。
> 一种方案是社区可以考虑支持下打印到日志里，然后用户可以通过自定义插件 log appender 写入外部存储。
>
> Best,
> Jark
>
> On Tue, 21 Jul 2020 at 18:53, Dream-底限 wrote:
>
> > hi
> > json.ignore-parse-errors那只配置这个就好了， 其实我想把解析失败的数据存储到外部系统，而不是
hi Cayden chen、
也就是说你们日志上报的实现方式是实现自定义appder来实现是吧，这确实是一个不错的方式；
我先前看spark可以实现对应的listener用来实现日志上报，查看了一下flink
api貌似也有对应listen，具体是实现哪一个还不知道，现在我们还处在一个功能整理阶段
Cayden chen <1193216...@qq.com> 于2020年7月24日周五 上午10:53写道：
> 我们的获取逻辑是通过自定义 logback的appder( flink
>
hi、
我这面想实现一个日志上报的功能，就是flink任务启动后，让flink主动将当前任务日志打到外部存储系统，想问一下flink有对应的接口吗，具体要实现哪一个类哪
> 原始邮件
> 发件人: Dream-底限
> 收件人: user-zh
> 发送时间: 2020年7月23日(周四) 14:57
> 主题: Re: flink row 类型
>
>
> hi、xiao cai 可以说一下思路吗，我没太懂 》》可以考虑把字段索引值保存下来再获取 Dream-底限 <
> zhan...@akulaku.com> 于2020年7月23日周四 下午2:56写道： > hi、Jingsong Li >
> 我查看了对应的api，并运行了demo测试，通过CallContext
;
> > 我感觉这可能是calcite的bug，CC Danny老师
> >
> > Dream-底限 于2020年7月22日周三 下午5:46写道：
> >
> >> hi 、Benchao Li
> >> 我尝试了将数组打散的方式，但是报了一个莫名其妙的错误，可以帮忙看看嘛
> >>
> >> tableEnv.executeSql("CREATE TABLE parser_data_test (\n" +
> >>
hi、xiao cai
可以说一下思路吗，我没太懂
》》可以考虑把字段索引值保存下来再获取
Dream-底限 于2020年7月23日周四 下午2:56写道：
> hi、Jingsong Li
> 我查看了对应的api，并运行了demo测试，通过CallContext我可以拿到对应的字段类型，但是无法拿到对应的字段名称
>
> >>在TypeInference中有input的type，这个type应该是包含字段信息的。
>
> xiao cai 于2020年7月23日周四 下午2:19写道：
>
>> 可以考虑把字
hi、Jingsong Li
我查看了对应的api，并运行了demo测试，通过CallContext我可以拿到对应的字段类型，但是无法拿到对应的字段名称
>>在TypeInference中有input的type，这个type应该是包含字段信息的。
xiao cai 于2020年7月23日周四 下午2:19写道：
> 可以考虑把字段索引值保存下来再获取
>
>
> 原始邮件
> 发件人: Dream-底限
> 收件人: user-zh
> 发送时间: 2020年7月23日(周四) 14:08
> 主题: Re: flink
hi
是的，我们的数据场景比较尴尬，那我想其他方式实现一下
Benchao Li 于2020年7月23日周四 下午12:55写道：
> 这个应该是做不到的。name只是SQL plan过程的东西，在运行时它就没有什么实际意义了。
> 你是想在udf里面获取row里面每个字段的名字是吧？如果是的话，我理解现在应该是做不到的。
>
> Dream-底限 于2020年7月22日周三 下午7:22写道：
>
> > hi、
> > 我这面定义row数据，类型为ROW，可以通过
> > row.getField(i)获取到对应
hi、
我这面定义row数据，类型为ROW，可以通过
row.getField(i)获取到对应的值，但是我想获取对应的row_name名称要怎么操作，貌似没有报漏获取名称的接口
rule_key 转换为rule_key1,rulekey2
1
2
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#joins
>
> Jark Wu 于2020年7月22日周三 上午11:17写道：
>
> > Hi,
> >
> > Row[] 作为 eval 参数，目前还不支持。社区已经有一个 issue 在跟进支持这个功能：
> > https://issues.apache.org/jira/browse/FLINK-17
hi
flink支持配置hive方言，那么flink可以直接使用hive内自定义的udf、udtf函数吗
hi、
我这面实现了一个tablefunction想打撒数据，但是现在我运行官方demo样式的demo都无法成功，请问下面是什么原因：
@FunctionHint(output = @DataTypeHint("ROW"))
public static class FlatRowFunction extends TableFunction {
private static final long serialVersionUID = 1L;
public void eval(String rows) {
for (String row :
ause.ex(Resources.java:457)
at org.apache.calcite.runtime.Resources$ExInst.ex(Resources.java:550)
... 56 more
godfrey he 于2020年7月21日周二 下午7:41写道：
> 可以，定义清楚 getResultType 和 getParameterTypes, 可以参考[1]
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/functions/udfs.html#i
hi
我这面在定义一个表函数，通过继承TableFunction完成操作，但是eval方法中的参数类型都是java基本类型（至少看到的demo都是如此），想问一下eval方法中可以传flink
内部类型吗，比如说我想在eval()方法中传递Row类型要怎么操作，eval(Row row)
不能同时为ture，语义上就是互斥的。
>
> Best
> Leonard Xu
> > 在 2020年7月21日，16:08，Dream-底限 写道：
> >
> >
> json数据，在创建表的时候发现json数据解析的时候有下面两项，这两项如果开启那么解析失败的数据是会被丢掉吗，有没有方式可以把解析失败的数据打到外部存储
>
>
blob/release-1.11.0/flink-connectors/flink-connector-hive/pom.xml
>
> On Fri, Jul 17, 2020 at 5:32 PM Dream-底限 wrote:
>
> > hi
> > 我用的是用户定义依赖，没有用捆绑依赖包，捆绑依赖包还要自己下载一次。
> >
> > Dream-底限 于2020年7月17日周五 下午5:24写道：
> >
> > > 1.9和1.10时候排除一些传递依赖后在idea和打uber jar在
hi
我这面在使用sql api解析kafka
json数据，在创建表的时候发现json数据解析的时候有下面两项，这两项如果开启那么解析失败的数据是会被丢掉吗，有没有方式可以把解析失败的数据打到外部存储
json.ignore-parse-errors
son.fail-on-missing-field
128MB 滚动，Checkpoint 滚动。
>
> Best,
> Jingsong
>
> On Mon, Jul 20, 2020 at 5:15 PM Dream-底限 wrote:
>
> > hi
> > 好的，想问一下stream写hive表的时候：
> > 1、一定要在flink内部先建立hive表吗？
> > 2、如果直接写hive内（hue建表）已经建好的hive表可以吗，文件会有滚动策略吗
> >
> > Rui Li 于2020年7月20日周一 下午4
hi、
请问这个问题最后怎么解决了，数据能滚动写入hive了嘛，我这面开启了checkpoint之后hive也是没数据
李佳宸 于2020年7月16日周四 下午10:39写道：
> 好的，谢谢～～～
>
> JasonLee <17610775...@163.com> 于2020年7月16日周四 下午8:22写道：
>
> > hi
> > 需要开启checkpoint
> >
> >
> > | |
> > JasonLee
> > |
> > |
> > 邮箱：17610775...@163.com
> > |
> >
> > Signature is customized by
hi
好的，想问一下stream写hive表的时候：
1、一定要在flink内部先建立hive表吗？
2、如果直接写hive内（hue建表）已经建好的hive表可以吗，文件会有滚动策略吗
Rui Li 于2020年7月20日周一 下午4:44写道：
> tableEnv.executeSql就已经提交作业了，不需要再执行execute了哈
>
> On Mon, Jul 20, 2020 at 4:29 PM Dream-底限 wrote:
>
> > hi，我这面请一个一个kafka到hive的程序，但程序无法运行，
hi，我这面请一个一个kafka到hive的程序，但程序无法运行，请问什么原因：
异常：
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: No operators defined in streaming topology. Cannot
generate StreamGraph.
at
hi
我用的是用户定义依赖，没有用捆绑依赖包，捆绑依赖包还要自己下载一次。
Dream-底限 于2020年7月17日周五 下午5:24写道：
> 1.9和1.10时候排除一些传递依赖后在idea和打uber jar在集群环境都可以运行，不排除传递依赖的话在idea运行不了；
> 1.11现在只在本地测哪，不排除传递依赖idea运行不了，集群环境还没弄，但是我感觉在idea直接run这个功能好多人都需要，文档是不是可以改进一下
>
> Jingsong Li 于2020年7月17日周五 下午5:16写道：
>
>> 用bund
hi：
大佬们，下面连接hive的依赖包的哪个传递依赖导致的jar包冲突，我从1.9到1.11每次在maven按照官方文档引包都会出现依赖冲突1.9刚发布的时候对下面的引包有做依赖排除，后来文档改了
// Flink's Hive connector.Contains flink-hadoop-compatibility and flink-orc jars
flink-connector-hive_2.11-1.11.0.jar
// Hive dependencies
hive-exec-2.3.4.jar
hi：
请问flink如何将数据写入到权限认证的es集群哪，没找到配置用户名密码的地方，哪位大佬帮忙解答一下
.9，二者均不支持。
>
>
> [1] https://issues.apache.org/jira/browse/FLINK-5763
>
> 祝好
> 唐云
>
> ____
> From: Dream-底限
> Sent: Tuesday, July 14, 2020 11:07
> To: user-zh@flink.apache.org
> Subject: flink1.9状态及作业迁移
>
> hi：
>
> flink1.9的检查点或保存
hi：
flink1.9的检查点或保存点中会保留hadoop集群的nameservice数据吗？现在想将一个集群的flink作业迁移到另一个集群，但两个集群的nameservice名称不一样，迁移会有问题吗？如果有问题的话对应状态保存的nameservice可以修改吗？或者说迁移的时候还有哪些其他需要注意的问题？
需要配上，表示窗口状态允许保留多久，即 window
> allowLateness 。
>
> 具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。
>
> Best,
> Jark
>
> On Mon, 13 Jul 2020 at 11:31, Dream-底限 wrote:
>
> > hi、
> > 大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
> > api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
> >
>
hi、
大佬们、我们这面主要基于blink sql完成转换计算，但是可能会有延迟数据，现在想把延迟数据通过侧输出保存下来，在table/sql
api中要怎么操作比较合理一点？或者有没有其他处理延迟数据的方式？
好的
On Tue, Jul 7, 2020 at 5:30 PM Leonard Xu wrote:
> 嗯，这个在FLIP-107里会支持，目前没法拿到这些meta数据，可以关注下FLIP-107的进展。
>
> Best,
> Leonard Xu
>
> > 在 2020年7月7日，17:26，Dream-底限 写道：
> >
> > hi
> > 是的，想以下面这种方式获取
> >
> > CREATE TABLE MyUserTable (key string,top
g+table+columns+from+different+parts+of+source+records
> >
>
> > 在 2020年7月7日，17:12，Dream-底限 写道：
> >
> > kafka元数据
>
>
hi、
flink table/sql api中，有办法获取kafka元数据吗？
tableEnvironment.sqlUpdate(CREATE TABLE MyUserTable (...) WITH
('connector.type' = 'kafka','connector.version' = '0.11' ,...))
好的，感谢
On Thu, Jul 2, 2020 at 12:37 PM jianxu wrote:
> 你可以看下这个项目https://github.com/todd5167/clusters-submiter，改造下应该满足你的需求。
> 在 2020-07-02 12:09:05，"Dream-底限" 写道：
> >hi
>
> >请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具
>
hi
请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具
81 matches
Mail list logo
