Re: 关于FlinkSQL从kafka读取数据写到hive的一些问题

2021-11-01 文章 Tony Wei
Hi yidan, 你可以試試 SQL Hints [1]. [1] https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sql/queries/hints/ yidan zhao 於 2021年11月2日 週二 下午1:03寫道: > 嗯嗯,hive catalog的确不需要重新建表,但是我的场景是:我需要通过 flinkSQL 流式将 kafka 表数据写入 hive 表。 >

Re: 关于FlinkSQL从kafka读取数据写到hive的一些问题

2021-11-01 文章 yidan zhao
嗯嗯,hive catalog的确不需要重新建表,但是我的场景是:我需要通过 flinkSQL 流式将 kafka 表数据写入 hive 表。 因此就需要有如下属性等,而原先的hive表式spark-sql中创建的,肯定不可能带有这种属性。我目前想法是,比如针对原表 t1,我重新在 flinkSQL 中创建个hive表t2,但是指定location为原t1的location,同时带上如下相关属性,这样就达到目的了。 或者说,基于现有的hive表,有什么不重定义的方法,仍然可以通过sql流式将kafka表数据写进去不。 >

flink yarn-per-job dubug

2021-11-01 文章 GCAM
hello, ??flink 1.14.0?? maven 3.2.5 ?? 1. ??mvn clean install -DskipTests -Dfast 2. ??flink-1.14.0/flink-dist/target/flink-1.14.0-bin/ ?? 3. conf/flink-conf.yaml ??env.java.opts:

Re: 关于FlinkSQL从kafka读取数据写到hive的一些问题

2021-11-01 文章 Caizhi Weng
Hi! hive catalog 是不需要重新在 Flink SQL 里写一遍表定义的,连接到 hive catalog 的时候 Flink 就会自动读取 hive 里表的结构等信息。但 kafka 的表定义仍然要写。 你的邮件里的内容具体来自哪个文档界面呢?文档里应该是想要从 Flink 里建立 hive 表,如果已经在 hive 里建过表了就不用再建了。 yidan zhao 于2021年11月1日周一 下午3:05写道: > 如题,我看了官方文档,定义好kafka和hive表。 > 写的时候提示要指定提交策略,就又看了看文档,如下为文档实例。 > > SET

Re: Re: Re: 公司数据密文,实现group by和join

2021-11-01 文章 godfrey he
上传的图片没法显示,通过图床工具或纯文本方式重新发一遍 lyh1067341434 于2021年11月1日周一 上午10:42写道: > 您好! > > 这样好像还是不行,因为group by id ,id还是密文字符串,还是会把id当成字符串处理,所以还是不能正确分组; > 为了更清楚表达,下面为图示: > > 谢谢您! > > > > > > > > 在 2021-10-29 10:49:35,"Caizhi Weng" 写道: > >Hi! > > > >你是不是想写这样的 SQL: > > > >SELECT id, sum(price) AS total_price

关于FlinkSQL从kafka读取数据写到hive的一些问题

2021-11-01 文章 yidan zhao
如题,我看了官方文档,定义好kafka和hive表。 写的时候提示要指定提交策略,就又看了看文档,如下为文档实例。 SET table.sql-dialect=hive;CREATE TABLE hive_table ( user_id STRING, order_amount DOUBLE) PARTITIONED BY (dt STRING, hr STRING) STORED AS parquet TBLPROPERTIES ( 'partition.time-extractor.timestamp-pattern'='$dt $hr:00:00',

Re: standalone集群重启后自动回复任务,任务的jobmaster如果失败会导致JM进程失败

2021-11-01 文章 yidan zhao
补充个更完整的日志: 2021-11-01 14:15:15,849 INFO [78-cluster-io-thread-1] org.apache.flink.runtime.jobmanager.DefaultJobGraphStore.recoverJobGraph(DefaultJobGraphStore.java:181) - Recovered JobGraph(jobId: dfced635fd8c224222a9cbaaf1c5054f). 2021-11-01 14:15:15,849 INFO [78-cluster-io-thread-1]

standalone集群重启后自动回复任务,任务的jobmaster如果失败会导致JM进程失败

2021-11-01 文章 yidan zhao
如题,这个问题之前遇到过,当时我email问的是集群不断重启。 这次也是这个问题,集群不断重启,但分析下原因如题。看日志片段如下: 2021-11-01 14:05:36,954 INFO [78-cluster-io-thread-1] org.apache.flink.runtime.jobmanager.DefaultJobGraphStore.recoverJobGraph(DefaultJobGraphStore.java:181) - Recovered JobGraph(jobId: dfced635fd8c224222a9cbaaf1c5054f).