.xx.xx:8050. Already tried 6 time(s); retry
> > > policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=50,
> > sleepTime=1000
> > > MILLISECONDS)。
> > > 大家在生产中是如何解决这种问题的呢？非常感谢！
> > >
> >
>
--
Best regards!
Rui Li
你好，
这个可以去开个jira跟踪一下
On Tue, Aug 17, 2021 at 2:47 PM Asahi Lee <978466...@qq.com.invalid> wrote:
> hi！
>
> 我使用如下sql，我select查询的数据为0行记录时，运行结束后，插入表的原数据没有被清空；而我在hive客户端执行时，表是被清空的！
> INSERT OVERWRITE target_table SELECT * from source_table where id 10;
--
Best regards!
Rui Li
---Original------
> From: "Rui Li" Date: Wed, Aug 11, 2021 07:49 PM
> To: "user-zh"
> Subject: Re: Flink HIve 文件压缩报错
>
>
>
> 这个文件是确实不在了么？是不是被别的进程删掉了呢，可以通过hdfs的audit log来判断一下。
>
> 目前flink这边写文件的exactly
> once语义是依赖HDFS的一致性保证的，如果之前写到HDFS的数据丢掉了就
System.getFileStatus(DistributedFileSystem.java:1591)
> at
> org.apache.flink.hive.shaded.fs.hdfs.HadoopFileSystem.getFileStatus(HadoopFileSystem.java:85)
> at
> org.apache.flink.table.filesystem.stream.compact.CompactCoordinator.lambda$coordinate$1(CompactCoordinator.java:161)
>... 19 more
--
Best regards!
Rui Li
可以把这个参数调大点试试呢，调成远大于单个文件的size
On Thu, Aug 5, 2021 at 1:43 PM lixin58...@163.com
wrote:
> 你好，
> 生成的三个文件挺小的，不到2kb，1k多一点，配这个是为了合并后比2k大
>
> --
> lixin58...@163.com
>
>
> *发件人：* Rui Li
> *发送时间：* 2021-08-05 11:42
> *收件人：* user-zh
> *
ion.file-size' = '2kb',
> 'sink.rolling-policy.file-size' = '500b',
> 'sink.rolling-policy.rollover-interval' = '800s',
> 'sink.rolling-policy.check-interval' = '60s'
> );
>
>
>
> lixin58...@163.com
>
--
Best regards!
Rui Li
;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;
> "user-zh"
>
> gt;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;
> <
> gt; xbjt...@gmail.comamp;gt;;
> gt; 发送时间:amp;nbsp;2021年7月29日(星期四) 下午3:32
> gt; 收件人:amp;nbsp;"user-zh" amp;gt;;
> gt;
> gt; 主题:amp;nbsp;Re: flink 1.13.1 使用hive方言，执行hive sql解析报错
> gt;
> gt;
> gt;
> gt; 看起来是sql语法报错，这里面的ELSE呢？
> gt;
> gt; 祝好，
> gt; Leonard
> gt;
> gt;
> gt; amp;gt; 在 2021年7月27日，20:04，Asahi Lee
> <978466...@qq.com.INVALIDamp;gt;
> 写道：
> gt; amp;gt;
> gt; amp;gt; CASE
> gt;
>
> amp;gt;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;
> WHEN mipd.`param_cn` = '月池尺寸' THEN
> gt;
>
> amp;gt;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;nbsp;
> mipv.`param_value`amp;amp;nbsp;
> gt; amp;gt;nbsp;nbsp;nbsp; END AS `Moonpool`
>
>
>
> --
> Best regards!
> Rui Li
>
>
>
> --
> Best regards!
> Rui Li
--
Best regards!
Rui Li
ate, c.dockrepair_date, c.scrap_date,
> c.enqueue_mode, c.work_for_org, c.work_in_org, c.old_age,
> c.create_time,
> c.creator, c.update_time, c.update_person, c.record_flag,
> c.data_timestamp,
> c.work_unit_id, c.work_status, c.work_location, c.work_area,
> c.equip_code,
> c.shi_main_power, c.shi_total_len, c.shi_type_width, c.shi_type_depth,
> c.shi_design_draft, c.shi_total_tonnage, c.shi_load_tonnage, c.remark,
> c.unit_classification1, c.unit_classification2)
>
>
>
>
> --nbsp;原始邮件nbsp;--
> 发件人:
>
> "user-zh"
>
> <
> xbjt...@gmail.comgt;;
> 发送时间:nbsp;2021年7月29日(星期四) 下午3:32
> 收件人:nbsp;"user-zh"
> 主题:nbsp;Re: flink 1.13.1 使用hive方言，执行hive sql解析报错
>
>
>
> 看起来是sql语法报错，这里面的ELSE呢？
>
> 祝好，
> Leonard
>
>
> gt; 在 2021年7月27日，20:04，Asahi Lee <978466...@qq.com.INVALIDgt;
> 写道：
> gt;
> gt; CASE
>
> gt;
> WHEN mipd.`param_cn` = '月池尺寸' THEN
>
> gt;
> mipv.`param_value`amp;nbsp;
> gt; END AS `Moonpool`
>
>
>
> --
> Best regards!
> Rui Li
--
Best regards!
Rui Li
bjt...@gmail.com;
> 发送时间:2021年7月29日(星期四) 下午3:32
> 收件人:"user-zh"
> 主题:Re: flink 1.13.1 使用hive方言，执行hive sql解析报错
>
>
>
> 看起来是sql语法报错，这里面的ELSE呢？
>
> 祝好，
> Leonard
>
>
> 在 2021年7月27日，20:04，Asahi Lee <978466...@qq.com.INVALID 写道：
>
> CASE
> WHEN mipd.`param_cn` = '月池尺寸' THEN
> mipv.`param_value`nbsp;
> END AS `Moonpool`
--
Best regards!
Rui Li
sp; nbsp; nbsp; nbsp; nbsp;*
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> nbsp; nbsp; nbsp; nbsp; nbsp;* Table
> Parameters:
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> flink.is_genericnbsp; nbsp; false
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> flink.schema.0.data-typenbsp;
> VARCHAR(2147483647)
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> flink.schema.0.namenbsp; nbsp;id
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> transient_lastDdTime 1627279802
> nbsp; nbsp; nbsp; nbsp; nbsp;*
> nbsp; nbsp; nbsp; nbsp; nbsp;*/
>
>
> nbsp; nbsp; }
>
>
>
>
> }
>
>
>
> --
> Best regards!
> Rui Li
--
Best regards!
Rui Li
tring ) " +
> "with
> ('is_generic' = 'false')");
>
>
> /**
> * hive上表创建成功，没有列, 信息如下
> * desc formatted q1;
> *
> * col_name
>data_type
> comment
> *
> *
> * Table Parameters:
> * flink.is_generic false
> * flink.schema.0.data-type
> VARCHAR(2147483647)
> * flink.schema.0.name id
> * transient_lastDdTime 1627279802
> *
> */
>
>
> }
>
>
>
>
> }
--
Best regards!
Rui Li
erAdapter.java:792)
> at
> org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87)
> at
> org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1040)
> ... 48 more
> Caused by: java.lang.IllegalArgumentException: URI is not hierarchical
> at java.io.File.(File.java:420)
> at org.apache.hadoop.hive.conf.HiveConf.findConfigFile(HiveConf.java:176)
> at org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:145)
> ... 85 more
--
Best regards!
Rui Li
，现在使用flink做数据迁移，如果flink只支持读取非ACID标的话，我们需要全部重建hive的表是很费力的。
> 请问一下flink什么版本有计划支持读取 ACID的hive table？或者，目前有无办法解决我这样的问题？
--
Best regards!
Rui Li
感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。
On Fri, Apr 30, 2021 at 5:15 PM 张锴 wrote:
> 我没有指定，就是执行了一条查询语句，自己生成的，但是好像没彻底成功，所以日志没说哪里的问题
>
> Rui Li 于2021年4月30日周五 下午4:51写道：
>
> > 你好，
> >
> > 看错误信息是找不到application_1605840182730_29292，这个是你提交任务的
e.hadoop.ipc.Server$Handler.run(Server.java:2682)
> >>
> >> *使用yarn logs -applicationId application_1605840182730_29292
> >> 查看日志时，并没有给出具体的错误，以下是打出的日志。日志几乎看不出啥问题。*
> >> INFO client.RMProxy: Connecting to ResourceManager at
> >> hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> >> Unable to get ApplicationState. Attempting to fetch logs directly from
> the
> >> filesystem.
> >> Can not find the appOwner. Please specify the correct appOwner
> >> Could not locate application logs for application_1605840182730_29292
> >>
> >> 这个如何排查呢，有遇到类似的问题的小伙伴吗
> >
> >
>
--
Best regards!
Rui Li
可以发一下具体的SQL语句么（包括DDL和insert）？
On Wed, Apr 21, 2021 at 5:46 PM HunterXHunter <1356469...@qq.com> wrote:
> 在ddl的时候设置了 watermark。在任务页面查看watermark的时候一直没有更新watermark
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
用partition-time的话是用watermark与分区字段的timestamp对比来触发提交的，因此还需要你的source有watermark。
On Fri, Apr 16, 2021 at 9:32 AM HunterXHunter <1356469...@qq.com> wrote:
> 但是用process-time是有数据的，目前用partition-time一直没成功写出过数据
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
618298202025_0017_01 exited with exitCode: 2
> Failing this attempt.Diagnostics: [2021-04-14 19:04:02.506]Exception from
> container-launch.
> Container id: container_e13_1618298202025_0017_01_01
> Exit code: 2。
>
> 由于错误原因不明显，不好排查，也不确定是到底是哪里的问题，请问有什么办法能够定位问题。
>
--
Best regards!
Rui Li
> be loaded.
> 2021-04-14 10:22:25,235 INFO org.apache.hadoop.mapred.FileInputFormat
> [] - Total input files to process : 1
> [ERROR]
> *Could not execute SQL statement. Reason:java.net.ConnectException:
> Connection refused*
>
> *表能查出来，执行sql语句时遇到拒绝连接，在hive里面执行同样的sql能查到数据，请问一下这块出现的问题是什么原因导致的呢。该如何排查*
>
--
Best regards!
Rui Li
有什么方法解决hive小文件问题，难道只能T+1做小文件合并吗。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
> MMdd, HH这种日期格式，同时修复+8时区），TM
> JM也没有任何exception，请问有见过这种情况的吗？是不是某个参数没搞对所以都没生效
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
t; ")";
> String createPrintTableSql = "CREATE TABLE print_table WITH ('connector' =
> 'print') LIKE test_jds_table (EXCLUDING ALL)";
> String insertSql = "insert into print_table select * from
> `test_jds_table`";
> tableEnv.executeSql(createSql);
> tableEnv.executeSql(createPrintTableSql);
> tableEnv.executeSql(insertSql);
--
Best regards!
Rui Li
supported options found
> for connector 'kafka'.
> Unsupported options:
> is_generic
> Supported options:
> connector
> format
> json.fail-on-missing-field
> json.ignore-parse-errors
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
那应该就是跟https://issues.apache.org/jira/browse/FLINK-20913
有关了，这个issue是1.12.2修复的，可以升级一下试试。
On Mon, Mar 8, 2021 at 2:15 PM guoyb <861277...@qq.com> wrote:
> 您好！
> hive.metastore.sasl.enabled 是true
>
>
> 启动sql client的时候，可以正常读取到认证信息，并读取metastore的表名。
>
>
> 读和写，认证就失败了。
>
也可能是需要这个fix：https://issues.apache.org/jira/browse/FLINK-20913
On Mon, Mar 8, 2021 at 12:11 PM Rui Li wrote:
> Hi，
>
>
> 从你发的stacktrace来看，走到了set_ugi方法说明client认为server没有开启kerberos。确认一下你HiveCatalog这边指定的hive-site.xml是否配置正确呢，像hive.metastore.sasl.enabled是不是设置成true了？
>
> On Sun, Mar
ExecutionContext.java:287)
> at
> org.apache.flink.table.client.gateway.local.ExecutionContext.wrapClassLoader(ExecutionContext.java:256)
> at
> org.apache.flink.table.client.gateway.local.ExecutionContext.createPipeline(ExecutionContext.java:282)
> at
> org.apache.flink.table.client.gateway.local.LocalExecutor.executeQueryInternal(LocalExecutor.java:542)
> at
> org.apache.flink.table.client.gateway.local.LocalExecutor.executeQuery(LocalExecutor.java:374)
> at
> org.apache.flink.table.client.cli.CliClient.callSelect(CliClient.java:648)
> at
> org.apache.flink.table.client.cli.CliClient.callCommand(CliClient.java:323)
> at
> java.util.Optional.ifPresent(Optional.java:159)
> at
> org.apache.flink.table.client.cli.CliClient.open(CliClient.java:214)
> at
> org.apache.flink.table.client.SqlClient.openCli(SqlClient.java:144)
> at
> org.apache.flink.table.client.SqlClient.start(SqlClient.java:115)
> at
> org.apache.flink.table.client.SqlClient.main(SqlClient.java:201)
> 2021-03-07 10:29:22.302 [main] INFO hive.metastore - Connected
> to metastore.
>
>
>
> 861277...@qq.com
>
--
Best regards!
Rui Li
|
> a15733178...@163.com
> |
> 签名由网易邮箱大师定制
>
>
--
Best regards!
Rui Li
这个取决于你们自己的元数据管理系统了，Flink这边实现Catalog的各个接口对接你们的系统就行。比如在Catalog::createTable的实现里可以增加鉴权机制，判断是否允许用户建表之类的。
On Wed, Feb 24, 2021 at 11:14 AM silence wrote:
> 那用自定义的catalog怎么定义hive表来读写hive呢
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
g来进行hive表的读写
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
2、connector的配置是保存在hive表的DBPROPERTIES里的，这是否就意味着想通过flink往现有hive表里写数据需要先通过alter语句修改hive表的属性配置，这里不希望对用户直接暴露alter
> hive的能力
> 3、使用普通的ddl可以与现有connector的定义统一风格，不需要来回切换方言
> 4、可以不用将配置信息持久化，通过GenericInMemoryCatalog使用即可
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
你好，
请问一下不想用HiveCatalog来读写hive表的原因是什么呢？是不希望将hive表持久化（类似临时表的效果），或者是不希望维护一个metastore
server？
On Tue, Feb 23, 2021 at 2:57 PM silence wrote:
> 问一下社区有没有计划支持普通的ddl（不用hive的catalog）来进行读写hive表吗
> 现在不支持是有什么考虑吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
是的，hive表必须存在HiveCatalog里才能正常读写
On Tue, Feb 23, 2021 at 10:14 AM yinghua...@163.com
wrote:
>
> Flink的版本是1.11.3，目前我们所有表的catalog类型都是GenericInMemoryCatalog，是不是Hive表要用HiveCatalog才行？
>
>
>
> yinghua...@163.com
>
> 发件人： Rui Li
> 发送时间： 2021-02-23 10:05
> 收件人： user-zh
>
不是Hive语法，这个该怎么处理？
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-02-22 17:12:55，"eriendeng" 写道：
> >你这没有把dialect set成hive吧，走到了else分支。default
> >dialect是需要指定connector的，参考文档的kafka到hive代码
> >
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/hive_read_write.html#writing
> >
> >
> >
> >--
> >Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
OMMENT 'exchange rate')
> PARTITIONED BY (`grass_date` date COMMENT 'partition key, -MM-dd')
> ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io
> .parquet.serde.ParquetHiveSerDe'
> WITH SERDEPROPERTIES (
> 'serialization.format' = '1'
> )
>
>
> Rui Li 于2021年2月8日周一 下午2:
你好，图挂了，可以贴一下hive建表的DDL和join的语句是怎么写的么？
On Mon, Feb 8, 2021 at 10:33 AM macia kk wrote:
> Currently the join key in Temporal Table Join can not be empty.
>
> 我的 Hive 表 join DDL 没有设置 is not null ，但是都是有值的，还是会报这个错
>
> [image: image.png]
>
--
Best regards!
Rui Li
137005 Jan 10 08:25 flink-json-1.12.1.jar
> -rw-r--r-- 1 dauser dauser 7709741 Jul 29 15:33
> flink-shaded-zookeeper-3.4.14.jar
> -rw-r--r-- 1 dauser dauser 34748023 Jan 10 08:28
> flink-table_2.12-1.12.1.jar
> -rw-r--r-- 1 dauser dauser 3653 Jan 10 08:28
> flink-table-blink_2.12-1.12.1.jar
> -rw-rw-r-- 1 dauser dauser 40603464 Jan 26 11:43 hive-exec-3.1.0.jar
> -rw-rw-r-- 1 dauser dauser313702 Jan 26 17:43 libfb303-0.9.3.jar
> -rw-r--r-- 1 dauser dauser290339 Jan 26 11:41 logback-classic-1.2.3.jar
> -rw-r--r-- 1 dauser dauser471901 Jan 26 11:41 logback-core-1.2.3.jar
>
> 已配置kerberos认证，在1.11.1版本中能认证并提交成功到yarn上执行。
> 请大佬帮忙看下
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
com> wrote:
> 请教一下大佬后来如何解决，我的hadoop和hive版本跟您一致。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
rs(SchedulerBase.java:1094)
> ~[flink-dists-extended_2.11-1.12.0.jar:?]
> at
> org.apache.flink.runtime.scheduler.SchedulerBase.startScheduling(SchedulerBase.java:567)
> ~[flink-dists-extended_2.11-1.12.0.jar:?]
> at
> org.apache.flink.runtime.jobmaster.JobMaster.startScheduling(JobMaster.java:944)
> ~[flink-dists-extended_2.11-1.12.0.jar:?]
> at
> java.util.concurrent.CompletableFuture.uniRun(CompletableFuture.java:719)
> ~[?:1.8.0_251]
> ... 27 more
> 2021-01-24 04:41:24,963 INFO org.apache.flink.runtime.blob.BlobServer
> [] - Stopped BLOB server at 0.0.0.0:13146
>
--
Best regards!
Rui Li
gt; org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:26)
>
> at
> org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:52)
>
> at
> org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:30)
>
> at StreamExecCalc$154.processElement(Unknown Source)
>
> 用的是flink-sql-connector-hive-2.3.6_2.11-1.12-SNAPSHOT.jar，公司的Hive也是这个版本，可能是什么原因导致？
--
Best regards!
Rui Li
后，无法通过sql-client.sh embedded启动sql
> client
>
> 报错信息：https://imgchr.com/i/smQrlj
>
> flink 版本，1.12
> hive 版本，3.1.0
>
>
>
>
--
Best regards!
Rui Li
查到数据的
>
>
> hive表时orc文件load的数据。
>
>
>
> -
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
步用flink处理，第二步是一个定时job去处理上一步的数据。
>
> 改善计划：
>
> 想整合这两步，都使用flin处理，flink新版本对hive有支持，就不用再使用MapReduce了，现在就是不知道怎样平滑地在同一个Job中执行。
>
>
>
>
> -
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
Original
> Message Sender:guaishushu1103@163.comguaishushu1...@163.com
> Recipient:user-zhuser...@flink.apache.org Date:Wednesday, Dec 23,
> 2020 15:53 Subject:Flink catalog+hive问题 在用flink
> catalog+hive做元数据持久化的时候，发现hive的ACL权限没有起作用，麻烦问下知道的大佬，flink是会直接跳过hive的ACL权限吗？
> gu
Hello，
你贴的图看不到了。可以贴一下参考的官网链接。hive至少支持三种不同的authorization模式，flink目前对接hive时只有用storage
based authorization会生效。
On Thu, Dec 24, 2020 at 10:51 AM 19916726683 <19916726...@163.com> wrote:
> hive的官网有介绍ACL，如何继承权限关系。源码在Hive-> HDFSUtils类中 核心代码应该是上面的这点。
>
> Original Message
> *Sender:
一呢？我想要的效果时，当生成完业务数据后，直接操作hive，取代mapreduce的工作。
>
>
>
> -
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
gt;>
> >> kingdomad 于2020年12月21日周一 下午4:55写道：
> >>
> >> >
> >>
> flink1.11.2写hive3.12的分区表，flink新创建的分区数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
> >> > 需要执行msck repair table修复分区表后，hive才能读取到数据。
> >> > 求助大佬，要如何解决。
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> >
> >> > --
> >> >
> >> > kingdomad
> >> >
> >> >
> >>
>
--
Best regards!
Rui Li
于判断捕获异常后是否抛出,对于这个问题有建议的解决方案嘛?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
在用flink
> catalog+hive做元数据持久化的时候，发现hive的ACL权限没有起作用，麻烦问下知道的大佬，flink是会直接跳过hive的ACL权限吗？
> guaishushu1...@163.com
--
Best regards!
Rui Li
数据hive无法识别，在hdfs上能看到写入了文件，但是hive读取不了分区。
> > > 需要执行msck repair table修复分区表后，hive才能读取到数据。
> > > 求助大佬，要如何解决。
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > >
> > > --
> > >
> > > kingdomad
> > >
> > >
> >
>
--
Best regards!
Rui Li
gt; -
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
in functions
> are not supported until Hive 1.2.0。所以还是无法使用 hive的内置函数
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
Hello，
我试了一下用batch和streaming的方式写hive-2.1.1的orc表，batch模式没发现啥问题。在streaming模式下，如果把table.exec.hive.fallback-mapred-writer设为false时，会有依赖冲突，这是个已知问题，把这个参数设为true（默认值）应该可以避免。
另外我这边Hadoop的环境是2.7的，你的Hadoop是3.x么？
On Fri, Dec 4, 2020 at 9:27 PM Rui Li wrote:
> Hi，
>
> 现在CDC的数据是没办法直接对接hive的，目前流式数
!= 表示不等运算
> > 3、不支持 类型隐式转换
> > 4、不支持 split 函数
> > 5、hive 不区分大小写，flink区分大小写
> > 6、join右表 不支持是一个子查询（Calcite bug
> > https://issues.apache.org/jira/browse/CALCITE-2152）
> > 7、不支持 create table table1 as select * from pokes; 中的 as
> >
> >
> >
> > 暂时只测到这些问题。总体感觉flink11 对 hive SQL的语句支持还不够，无法把已有离线 hive sql 任务直接 切换到flink
> 引擎。
>
--
Best regards!
Rui Li
Hi，
现在CDC的数据是没办法直接对接hive的，目前流式数据写hive只能是insert-only的。
On Fri, Dec 4, 2020 at 10:56 AM yang xu <316481...@qq.com> wrote:
> Hi
> 如果不支持ACID，那如果监听binlog日志的更新和删除操作需要另外写任务来处理么，如何才能做到真的批流统一
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
Hi，
我会找个hive
2.1.1的环境来复现一下这个问题。不过首先要说明的是，目前flink不支持hive的ACID表，即使你这个例子的数据写成功了也不满足ACID的语义，在hive那边可能也读不了。
On Thu, Dec 3, 2020 at 5:23 PM yang xu <316481...@qq.com> wrote:
> Hi Rui Li
> lib 下包如下:
> flink-csv-1.11.2.jar
> flink-dist_2.11-1.11.2.jar
> flink-json-1.11.2.jar
>
ve任务无法迁移到flink上执行。请问关闭的原因是什么？如果我们这边开启会带来什么问题吗？
--
Best regards!
Rui Li
AA%81.png>
>
>
> 也看到其它邮件列表说修改:
> flink-sql-connector-hive-2.2.0_2.11-1.11.2.jar
> OrcFile：
> WriterVersion CURRENT_WRITER = WriterVersion.HIVE_13083
> 重新编译即可，但是这样尝试之后还是报同样的错误，是Hive必须升级到3.x版本么？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
mestamp.java:51)
> at
> org.apache.hadoop.hive.ql.udf.generic.GenericUDF.initializeAndFoldConstants(GenericUDF.java:141)
>
>
>
>
--
Best regards!
Rui Li
at
> org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:576)
> at
> org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:562)
> at
> org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:550)
> at
> org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:511)
> at
> org.apache.flink.runtime.operators.util.TaskConfig.getStubWrapper(TaskConfig.java:288)
> ... 23 more
>
> End of exception on server side>]
> at
> org.apache.flink.runtime.rest.RestClient.parseResponse(RestClient.java:390)
> at
> org.apache.flink.runtime.rest.RestClient.lambda$submitRequest$3(RestClient.java:374)
> at
> java.util.concurrent.CompletableFuture.uniCompose(CompletableFuture.java:952)
> at
> java.util.concurrent.CompletableFuture$UniCompose.tryFire(CompletableFuture.java:926)
> ... 4 more
--
Best regards!
Rui Li
er(ParquetOutputFormat.java:312)
> at
>
> org.apache.parquet.hadoop.ParquetOutputFormat.getRecordWriter(ParquetOutputFormat.java:288)
> at
> org.apache.hadoop.hive.ql.io
> .parquet.write.ParquetRecordWriterWrapper.(ParquetRecordWriterWrapper.java:67)
> at
> org.apache.hadoop.hive.ql.io
> .parquet.MapredParquetOutputFormat.getParquerRecordWriterWrapper(MapredParquetOutputFormat.java:126)
> at
> org.apache.hadoop.hive.ql.io
> .parquet.MapredParquetOutputFormat.getHiveRecordWriter(MapredParquetOutputFormat.java:115)
> at
> org.apache.hadoop.hive.ql.io
> .HiveFileFormatUtils.getRecordWriter(HiveFileFormatUtils.java:284)
> ... 45 more
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
nsport.java:132)
> at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
> at
> org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
> at
> org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
> at
> org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
> at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
> at
> org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_get_database(ThriftHiveMetastore.java:1135)
> at
> org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.get_database(ThriftHiveMetastore.java:1122)
> at
> org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getDatabase(HiveMetaStoreClient.java:1511)
> at
> org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getDatabase(HiveMetaStoreClient.java:1506)
> at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
> at
> sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
> at
> sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> at java.lang.reflect.Method.invoke(Method.java:498)
> at
> org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:208)
> at com.sun.proxy.$Proxy28.getDatabase(Unknown Source)
> at
> org.apache.flink.table.catalog.hive.client.HiveMetastoreClientWrapper.getDatabase(HiveMetastoreClientWrapper.java:107)
> at
> org.apache.flink.table.catalog.hive.HiveCatalog.databaseExists(HiveCatalog.java:330)
> ... 15 more
>
>
> 谢谢!
>
>
>
>
--
Best regards!
Rui Li
,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。
>
>
> 请问大家只有有什么提升写入速度的参数或者方式吗？
--
Best regards!
Rui Li
ntend.main(CliFrontend.java:992)
> Caused by: org.apache.flink.table.api.ValidationException: Unable to create
> a source for reading table
> 'hive_catalog.dc_ods.ods_dcpoints_prod_kafka_source'.
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
不好意思，我本地试了一下flink的FROM_UNIXTIME也是用的系统时区。你贴一下hive表的DDL和INSERT语句，我去试一下吧
On Fri, Sep 25, 2020 at 1:58 PM Rui Li wrote:
> 这应该是时区差异导致的，flink的FROM_UNIXTIME用的是UTC时区，hive的FROM_UNIXTIME用的是系统时区。
>
> On Thu, Sep 24, 2020 at 4:16 PM nashcen <2415370...@qq.com> wrote:
>
>> Kafka
:00
> <http://apache-flink.147419.n8.nabble.com/file/t817/1600935330%281%29.png>
>
>
> 两者对不上，这是什么原因？
>
>
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
onContext.java:624)
> at
>
> org.apache.flink.table.client.gateway.local.ExecutionContext.initializeTableEnvironment(ExecutionContext.java:523)
> at
>
> org.apache.flink.table.client.gateway.local.ExecutionContext.(ExecutionContext.java:183)
> at
>
> org.apache.flink.table.client.gateway.local.ExecutionContext.(ExecutionContext.java:136)
> at
>
> org.apache.flink.table.client.gateway.local.ExecutionContext$Builder.build(ExecutionContext.java:859)
> ... 3 more
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
ttps://github.com/apache/flink/blob/master/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/table/module/hive/HiveModule.java#L80
>
> 请问你们有没有什么办法，可以在提交任务时，不提交udf相关的资源文件？或者对于这样的方案，有没有开发计划？
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best regards!
Rui Li
; Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
Hello,
作业的逻辑大概是啥样的，我去试试
On Thu, Sep 17, 2020 at 10:00 PM godfrey he wrote:
> cc @Rui Li
>
> 李佳宸 于2020年9月14日周一 下午5:11写道：
>
>> 大家好～我执行batch table的作业写入hive时，会出现FileNotFoundException的错误。找不到.staging文件
>> 版本是1.11.1
>> Caused by: java.io.FileNotFoundException: File
l支持元数据的权限校验吗？例如使用hive catalog时，支持hive的权限检查？如果目前不支持，未来是否会考虑？
> >
>
>
--
Best regards!
Rui Li
or* (String possibleHadoopConfPath : HadoopUtils.
> *possibleHadoopConfPaths*(*new*
> org.apache.flink.configuration.Configuration())) {
>
> File mapredSite = *new* File(*new* File(possibleHadoopConfPath),
> "mapred-site.xml");
>
> *if* (mapredSite.exists()) {
>
> hadoopConf.addResource(*new* Path(mapredSite.getAbsolutePath()));
>
> *break*;
>
> }
>
> }
>
> HiveConf conf = *new* HiveConf(hadoopConf, HiveConf.*class*);
>
> conf.addResource(hiveConf);
>
> *return* conf;
>
> }
>
>
> }
>
> **
> Thanks & Best Regards!
>
> 杉欣集团-技术研究院 云平台
> 钟保罗
>
> 上海浦东新区东方路3261号振华广场B座23楼（杉欣集团）
> email: zhongbao...@shxgroup.net
> 手机: 18157855633
>
>
>
> 原始邮件
> *发件人:* taochanglian
> *收件人:* user-zh; zhongbaoluo<
> zhongbao...@shxgroup.net>
> *发送时间:* 2020年9月8日(周二) 16:51
> *主题:* Re: flink 1.11.1 版本执行HiveCatalog遇到问题质询
>
> 贴一下代码
> 在 2020/9/8 14:09, zhongbaoluo 写道:
>
> 据插入数据执行失败，也没有找到异常。 yarn
>
>
>
--
Best regards!
Rui Li
另外也list一下没有提交的分区目录吧，看看里面的文件是什么状态
On Tue, Sep 8, 2020 at 9:19 PM Rui Li wrote:
> 作业有发生failover么？还是说作业能成功结束但是某些partition始终没提交？
>
> On Tue, Sep 8, 2020 at 5:20 PM MuChen <9329...@qq.com> wrote:
>
>> hi, Rui Li:
>> 如你所说，的确有类似日志，但是只有成功增加的分区的日志，没有失败分区的日志：
&
作业有发生failover么？还是说作业能成功结束但是某些partition始终没提交？
On Tue, Sep 8, 2020 at 5:20 PM MuChen <9329...@qq.com> wrote:
> hi, Rui Li:
> 如你所说，的确有类似日志，但是只有成功增加的分区的日志，没有失败分区的日志：
> 2020-09-04 17:17:10,548 INFO org.apache.flink.streaming.api.operators.
> AbstractStreamOperator [] - Partition {d
pache.hadoop.ipc.Client$Connection.setupConnection(Client.java:609)
> ~[music_copyright-1.0-SNAPSHOT-jar-with-dependencies.jar:?]
> at
> org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:707)
> ~[music_copyright-1.0-SNAPSHOT-jar-with-dependencies.jar:?]
> at
> org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:370)
> ~[music_copyright-1.0-SNAPSHOT-jar-with-dependencies.jar:?]
> at org.apache.hadoop.ipc.Client.getConnection(Client.java:1523)
> ~[music_copyright-1.0-SNAPSHOT-jar-with-dependencies.jar:?]
> at org.apache.hadoop.ipc.Client.call(Client.java:1440)
> ~[music_copyright-1.0-SNAPSHOT-jar-with-dependencies.jar:?]
> ... 38 more
>
> 补充：程序多次执行，均会出现部分分区创建失败的情况，而且每次失败的分区是不同的
>
>
> -- 原始邮件 --
> 发件人: "user-zh@flink.apache.org 夏帅" ;
> 发送时间: 2020年9月8日(星期二) 上午10:47
> 收件人: "user-zh";"MuChen"<9329...@qq.com>;
> 主题: 回复：使用StreamingFileSink向hive metadata中增加分区部分失败
>
> 异常日志只有这些么?有没有详细点的
--
Best regards!
Rui Li
ParserImpl.SqlStmt(FlinkSqlParserImpl.java:3308)
> ~[flink-table_2.11-1.11.1.jar:1.11.1]
> at
>
> org.apache.flink.sql.parser.impl.FlinkSqlParserImpl.SqlStmtList(FlinkSqlParserImpl.java:2775)
> ~[flink-table_2.11-1.11.1.jar:1.11.1]
> at
>
> org.apache.flink.sql.parser.impl.FlinkSqlParserImpl.parseSqlStmtList(FlinkSqlParserImpl.java:252)
> ~[flink-table_2.11-1.11.1.jar:1.11.1]
> at
> org.apache.calcite.sql.parser.SqlParser.parseStmtList(SqlParser.java:201)
> ~[flink-table_2.11-1.11.1.jar:1.11.1]
> at
>
> com.ververica.flink.table.gateway.operation.SqlCommandParser.parseStmt(SqlCommandParser.java:115)
> ~[flink-sql-gateway-0.2-SNAPSHOT.jar:?]
> at
>
> com.ververica.flink.table.gateway.operation.SqlCommandParser.parse(SqlCommandParser.java:103)
> ~[flink-sql-gateway-0.2-SNAPSHOT.jar:?]
> at
>
> com.ververica.flink.table.gateway.rest.session.Session.runStatement(Session.java:93)
> ~[flink-sql-gateway-0.2-SNAPSHOT.jar:?]
> at
>
> com.ververica.flink.table.gateway.rest.handler.StatementExecuteHandler.handleRequest(StatementExecuteHandler.java:81)
> ~[flink-sql-gateway-0.2-SNAPSHOT.jar:?]
> ... 43 more
>
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
ink.147419.n8.nabble.com/
--
Best regards!
Rui Li
1.1去手动打包flink-sql-connector-hive-2.1.1_2.11-1.11.1.jar放到flink
> lib下，
> 但是发现flink-sql-connector-hive里面的orc-core-1.4.3和hive-exec-2.1.1冲突，java.lang.NoSuchMethodError:
> org.apache.orc.TypeDescription.fromString(Ljava/lang/String;)Lorg/apache/orc/TypeDescription;
>
> 我看到在flink提供的flink-sql-connector-hive中确实没有2.1.1的版本，是这个版本无法和flink兼容吗？或
> 有flink 1.11和hive 2.1.1集成成功的范例参考吗？
>
> 谢谢
>
>
> 王剑
>
--
Best regards!
Rui Li
lder类，引用了streaming-java包里的org.apache.flink.streaming.api.functions.sink.filesystem.DefaultBucketFactoryImpl。估计是因为类加载器不同导致无法引用报错。
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best regards!
Rui Li
flink-docs-release-1.11/dev/table/sql/create.html#create-table>
> Best, Dan Zou > 2020年8月30日 下午9:42，me 写道： > > flink1.11
> 可以使用在使用select语句时，显式的指定是流式读取，流式的读出出来之后如果想使用实时计算中的特性窗口函数然后指定时间语义
> 事件时间和处理时间，但是flink sql需要显示的定义数据中的时间字段才能识别为 event_time，求问这个怎么去设置。
--
Best regards!
Rui Li
作业代码是怎么写的啊？按说写SQL的话不需要执行Env.execute
On Fri, Aug 28, 2020 at 9:41 AM air23 wrote:
> 你好。我有一个接kafka 写入tidb的任务 为什么会启动2个yarn任务去运行呢？
> 我是先用datastream 接入kafka。然后转成table sql写入到tidb
> 2个job name 一个叫Env.execute配置的名字
> 一个是叫insert 写入tidb的sql语句名字
>
>
--
Best regards!
Rui Li
有没有计划什么时候支持 SupportsFilterPushDown.
> 我搜了下社区还没相关的issue，如果是强需求你可以去社区建个issue[1]，让社区支持下
> 第二个异常栈，如果确认”org.apache.hive:hive-hbase-handler:2.1.1” 已经加载，我感觉是个bug， cc
> Rui Li 确认下
>
> 祝好
> Leonard
> [1] https://issues.apache.org/jira/projects/FLINK/summary <
> https://issues.apache.org/jira/pr
是的，我觉得需要自己实现一个sink，检测到新增的表时需要通过catalog去hive里创建一下。有点像hive的dynamic
partitioning，只不过写的是多张表而不是多个partition。
On Fri, Aug 28, 2020 at 2:08 PM Qishang wrote:
> Hi Rui Li.
>
> > 我理解也是如果多路输出需要能动态适配新表的话只能用DataStream自己实现了
> 这个实现有啥思路，能稍微详细说一下嘛？ 是不是需要自己开发一个 Sink 来适配？
>
> Rui Li 于
aph运行中是不是不可以调整的？如果可以的话，是否有类似的案例可以参考。
>
> 用dataStream是会更灵活些，思路也差不多，在运行中可以调用的建表动作的，但是运行的拓扑是不可以动态调整的，不管DataStream 还是
> SQL 的拓扑。
>
> 祝好
> Leonard
>
>
--
Best regards!
Rui Li
> > liya...@huimin100.cn
> >
> >
> > *发件人：* liya...@huimin100.cn
> > *发送时间：* 2020-08-27 19:09
> > *收件人：* user-zh
> > *主题：* flink stream sink hive
> > flink1.11.1 往hive2.1.1 的orc表写数据报的异常，在网上查不到，只能来这里了，麻烦大佬们帮我看看
> > --
> > liya...@huimin100.cn
> >
> >
>
--
Best regards!
Rui Li
gt;>
>>> Please join me in congratulating Dian Fu for becoming a Flink PMC Member!
>>>
>>> Best,
>>> Jincheng(on behalf of the Flink PMC)
>>>
>>
--
Best regards!
Rui Li
ion，没什么效果，不知道是我用的不对还是我们hive被定制过。此外，我发现在使用kerberos的情况下，可以通过hdfs的路径来控制权限，不过这种情况主要对外表比较有效。
> 在2020年08月25日 21:34，Rui Li 写道： Hi，
> Authentication的话支持kerberos，应该正常做kinit就可以了。或者可以设置flink
> security相关的参数，如security.kerberos.login.keytab和security.kerberos.login.principal。具体可以参考：
>
> https://c
ent链接hive metastore的时候，发现好像没有做任何权限控制，可以访问所有的表？这一块是没做么？有什么计划么？
--
Best regards!
Rui Li
ster运行无异常，在flink端正常读写hive
> table（不会发生hadoop依赖冲突）；
>
> 但当提交到yarn时发生hadoop冲突，通过IDEA查看程序依赖得知，当引入hive-exec依赖时，会自动的带入hadoop和hdfs相关的版本为2.6.1的依赖包，从而导致和yarn集群（hadoop-3.0.0-cdh-6.2.0）的hadoop等依赖包冲突；
>
>
> 请问社区有碰到这种情况吗？doc中建议没有官方指定的hive包时选择自有版本下载hive-exec依赖，这种情况下却隐式的引入了非集群版本的hadoop依赖，势必会造成冲突，这是我这边哪里设置的不到位吗？
>
> best,
> amenhub
>
--
Best regards!
Rui Li
ach(Iterator.scala:1334)
> ~[flink-dist_2.11-1.11.0.jar:1.11.0]
>
> at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
> ~[flink-dist_2.11-1.11.0.jar:1.11.0]
>
> at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
> ~[flink-dist_2.11-1.11.0.jar:1.11.0]
--
Best regards!
Rui Li
lism: 128
>min-idle-state-retention: 0
>max-idle-state-retention: 0
>current-catalog: myhive
>current-database: default
>restart-strategy:
> type: fallback
> deployment:
>response-timeout: 5000
>gateway-address: ""
>gateway-port: 0
>
>
> 请问出现这种情况是不是官网的flink包与hdp3.0.1不兼容？我需要自己重新编译flink吗？
>
> Jessie
> jessie...@gmail.com
>
>
--
Best regards!
Rui Li
> 在 2020年8月21日，14:37，Rui Li 写道：
> >
> > Hi,
> >
> > 能不能具体描述一下你的作业是怎么写的？比如怎么创建的hive表，如何把数据写进去之类的。我们可以试试能不能重现你的问题
> >
> >> On Fri, Aug 21, 2020 at 1:41 PM wrote:
> >>
> >> 试过了，一样的，本质也是通过写文件。
> >>
> >> 发自我的iPhone
> &
gt;>>
> >>>>>> 在 2020年8月21日，12:15，Jingsong Li 写道：
> >>>>>
> >>>>> 如果是hive table的写，flink sql是使用hive对应版本的orc的，所以理论上效果和hive sql写orc是一样的。
> >>>>> 确定这个版本hive写出的数据可以被读取吗？
> >>>>>
> >>>>>> On Fri, Aug 21, 2020 at 10:17 AM wrote:
> >>>>>>
> >>>>>> 使用版本是flink 1.11
> >>>>>> Hive 2.1.1
> >>>>>> flink sql写到orc后，创建外部表发现无法正常读取，这个怎么解决，各位大佬？
> >>>>>>
> >>>>>>
> >>>>>>
> >>>>>
> >>>>> --
> >>>>> Best, Jingsong Lee
> >>>>
> >>>
> >>>
> >>> --
> >>> Best, Jingsong Lee
> >>
> >>
> >
> > --
> > Best, Jingsong Lee
>
>
--
Best regards!
Rui Li
息，flink可以用hivecatalog读取到t_log具体的表数据吗？
>
>
>
>
> 发自我的iPhone
--
Best regards!
Rui Li
会报错，比如在使用row_number() over()时候。这是什么原因？
--
Best regards!
Rui Li
我试了一下确实是有问题，我后面跟进一下。暂时可以用in-memory catalog来避免一下这个问题。
On Wed, Aug 19, 2020 at 3:55 PM Dream-底限 wrote:
> hi
> 先设置hiveCatalog及默认数据库，然后use hivecatalog
> 接下来建表的时候create temporary table test(...)，使用的时候：select ... from test
> 这个时候就报错说hivecatalog的默认数据库内无这张表
>
> Rui Li 于2020年8月19日周三 下
是怎么用的啊，我去试试
On Wed, Aug 19, 2020 at 11:19 AM Dream-底限 wrote:
> hi
> 我先前用这种方式创建的表，在sql中直接使用的时候提示hivecatalog内无这张表，请问这张表使用的时候要怎么引用哪
> >或者用create temporary table的方式应该也可以。
>
> Rui Li 于2020年8月19日周三 上午11:11写道：
>
> > 可以把kafka的表保存在内置的in-memory
> catalog里，名字应该是defau
able表名直接引用报错，提示hive catalog内没这张表，这种情况我改怎么引用我的kafka未持久化表哪
>
--
Best regards!
Rui Li
没错，-C是需要每台机器上能访问到的
On Mon, Aug 17, 2020 at 5:56 PM 赵一旦 wrote:
> 不一样吧。-C 指定的是必须所有集群机器能访问的。sql-client指定的那个按照之前其他同学的说法是会被上传的。
>
> Rui Li 于2020年8月17日周一 下午5:40写道：
>
> > 对，这个文件每一行就是一个类名。另外你说的flink run指定额外的jar包应该可以通过-C参数来指定
> >
> > On Mon, Aug 17, 2020 at 5:38 PM 赵一旦 wr
对，这个文件每一行就是一个类名。另外你说的flink run指定额外的jar包应该可以通过-C参数来指定
On Mon, Aug 17, 2020 at 5:38 PM 赵一旦 wrote:
> 哦哦。也就是说本身这个文件内内容是支持一行一个这样的格式的是吧？
>
> Rui Li 于2020年8月17日周一 下午5:36写道：
>
> > 用shade plugin的时候可以指定service resource
> > transformer，应该能把多个service文件merge起来。具体可以参考：
> >
共有 140 项搜索結果，以下是第 1 - 100 matches
Mail list logo
