回复:flink-1.11 ddl kafka-to-hive问题

2020-07-22 文章 kcz
谢谢大佬们,公众号有demo了,我去对比一下看看





-- 原始邮件 --
发件人: Jingsong Li https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/hive_dialect.html#use-hive-dialect
 <
 
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/hive_dialect.html#use-hive-dialect
 

  在 2020年7月21日,22:57,kcz <573693...@qq.com 写道:
 
  一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的
 
 
 
 
 
  -- 原始邮件 --
  发件人: JasonLee <17610775...@163.com 
<mailto:17610775...@163.comgt;
  发送时间: 2020年7月21日 20:39
  收件人: user-zh mailto:user-zh@flink.apache.org
 gt;
  主题: 回复:flink-1.11 ddl kafka-to-hive问题
 
 
 
  hi
  hive表是一直没有数据还是过一段时间就有数据了?
 
 
  | |
  JasonLee
  |
  |
  邮箱:17610775...@163.com
  |
 
  Signature is customized by Netease Mail Master
 
  在2020年07月21日 19:09,kcz 写道:
  hive-1.2.1
  chk 已经成功了(去chk目录查看了的确有chk数据,kafka也有数据),但是hive表没有数据,我是哪里缺少了什么吗?
  String hiveSql = "CREATEnbsp; TABLEnbsp; 
stream_tmp.fs_table (\n" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp; host STRING,\n" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp; url STRING," +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp; public_date STRING" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; ") 
partitioned by (public_date
 string) " +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; "stored 
as PARQUET " +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"TBLPROPERTIES (\n" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp;
 'sink.partition-commit.delay'='0 s',\n" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp;
 'sink.partition-commit.trigger'='partition-time',\n" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; 
"nbsp;
 'sink.partition-commit.policy.kind'='metastore,success-file'" +
  nbsp;nbsp;nbsp;nbsp;nbsp;nbsp; ")";
  tableEnv.executeSql(hiveSql);
 
 
  tableEnv.executeSql("INSERT INTOnbsp; stream_tmp.fs_table SELECT 
host,
 url, DATE_FORMAT(public_date, '-MM-dd') FROM stream_tmp.source_table");



-- 
Best, Jingsong Lee

回复:flink-1.11 ddl kafka-to-hive问题

2020-07-21 文章 kcz
一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的





-- 原始邮件 --
发件人: JasonLee <17610775...@163.com
发送时间: 2020年7月21日 20:39
收件人: user-zh