Re: 求问Hive DDL TBLPROPERTIES不生效

你好, 1：我设置的时候就是 使用的 partition-time 同时 设定checkpoint间隔为60s。但是我发现watermark一直没有生成或者更新，导致我的数据一直无法commit。想知道 为什么watermark无法生成。当时使用process-time是没问题的。 2：因为写hive的话会有小文件的问题。所以我使用file sink来设置合并文件和控制文件大小。但是写文件是无法写hive metastore。所以hive查不出数据。 想知道有什么方法解决hive小文件问题，难道只能T+1做小文件合并吗。 -- Sent from:

????????

??flinkJobmasterJob graph?? execution

Re: GenericRowData与BinaryRowData的转换

GenericRowData和BinaryRowData都是RowData这个接口的具体实现。 所以你只需要针对RowData进行编程即可，不能假设它使用哪个具体实现。 关于你的问题，在算子之间数据计算和转换的时候，会有很多地方构造出来BinaryRowData， 比如典型的就是序列化的时候都会按照BinaryRowData来序列化。 Luna Wong 于2021年4月8日周四 下午7:36写道： > 我看Kafka Connector源码生成的是GenericRowData，到Jdbc >

读取两个没有关联关系的文件，使用Flink不知道怎么表达

HI, 先读取文件A，每读取一行数据后, 拿这条数据去另外一个文件B中查找与之匹配的行（有匹配规则），请问这种场景使用Flink 怎么表达？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

退订

退订

Re: 求问Hive DDL TBLPROPERTIES不生效

你好， sink.partition-commit.trigger设置成process-time的话是不按照分区值来提取timestamp的，设置成partition-time才可以，但请注意partition-time需要通过watermark来触发。更详细的信息可以参考文档： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/filesystem.html#sink-partition-commit-trigger

GenericRowData与BinaryRowData的转换

我看Kafka Connector源码生成的是GenericRowData，到Jdbc Sink类型编程BinaryRowData了。Runtime层把GenericRowData转换BinaryRowData的规则是什么？

求问Hive DDL TBLPROPERTIES不生效

SET table.sql-dialect=hive; CREATE TABLE hive_catalog.test_db.test_insert_tb ( id BIGINT, type INT, user_id BIGINT, title STRING, ts TIMESTAMP ) PARTITIONED BY (add_date STRING, add_hour STRING) STORED AS orc TBLPROPERTIES ( 'sink.partition-commit.trigger' = 'process-time',

SinkFunction与OutputFormat选择哪个？

自定义Connector时，RichSinkFunction和RichOutputFormat可以选择一个进行实现，那么作为开发者应该如何选择呢？

flink cdc读取Maxwell格式的binlog，如何获取表名等元信息

请教下，看了这篇文章https://developer.aliyun.com/article/771438，flink-cdc 读取mysql Maxwell 格式binlog，怎么在flink 源表上获取mysql表名，通过这样的方式并没有生效 `origin_table` STRING METADATA FROM 'value.source.table' VIRTUAL, https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/connectors/kafka.html

Re: flink 1.12.0 FileSystem 读取 hdfs 文件

你好， tableEnv.executeSql对DQL和DML是异步执行的，要等作业结束可以用tableEnv.executeSql.await On Wed, Apr 7, 2021 at 3:55 PM Ink足迹 wrote: > Flink 1.12.0中 Filesystem 读取 hdfs > orc文件，但是数据没有打印出来，各位大佬这是什么原因导致的？EnvironmentSettings settings = > EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build(); >

Re: kafka数据源jar包使用异常

Hi, 从错误来看是在作业 JAR 里面缺少了 Flink Kafka connector 相关的类。可以确认一下 JAR 包里面是否把 Flink Kafka connector 相关的类打进去了，在 Maven POM 依赖中引用了 Kafka connector 并不意味着一定会被打进作业 JAR 中。 -- Best Regards, Qingsheng Ren Real-time Computing Department, Alibaba Cloud Alibaba Group Email: renqs...@gmail.com 在 2021年4月7日 +0800

Re:flink connector用户密码

好像并不能- -，想支持的话，你在密码那里加个参数，支持一个加密解密的参数就行。重新打包 在 2021-04-02 16:58:30，"guoyb" <861277...@qq.com> 写道： >比如jdbc connector MySQL > > >create table xxx >() >with( >" user name"=" root" >," password"="123456" >) >; >用户密码可以怎么配置，可以不用明文这种方式。

退订

退订

FlinkSQL + pythonUDF问题 flink-1.12.2版本

运行一段时间总是会出现这样的问题，用了SQL的高效去重，不确定是不是导致的。 SQL： CREATE VIEW AllProcessView ( `partition`, `data`, proct_time ) AS SELECT combine(data) AS `partition`, `data`, proct_time FROM HidsLogTable WHERE idx = 'c7’; INSERT INTO IDSEngineData SELECT T.jsonData FROM (SELECT

退订

退订