Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-28 文章 Wei JI10 季伟 
Hi,
貌似是jar包冲突了，我再确认确认。

在 2021/6/28 下午2:33，“王刚” 写入:

注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay 
attention to the information security!

把flink parquet包放在flink客户端lib包下试试呢

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-28 文章 王刚 
把flink parquet包放在flink客户端lib包下试试呢

 原始邮件
发件人: Wei JI10 季伟
收件人: user-zh@flink.apache.org
发送时间: 2021年6月28日(周一) 14:14
主题: Re: flink sql报错: Could not find any format factory for identifier 'parquet' 
in the classpath


您好，
我没有设置scope，我看jar包中是有org/apache/flink/formats/parquet/这个目录的...

在 2021/6/28 
下午12:47，“zhisheng”mailto:zhisheng2...@gmail.com>> 写入:

注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay 
attention to the information security!

看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？

Wei JI10 季伟 mailto:wei.j...@nio.com.invalid>> 
于2021年6月28日周一 下午12:19写道：

> 您好，
> 版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？
>
> 在 2021/6/28 上午11:59，“Jingsong 
Li”mailto:jingsongl...@gmail.com>> 写入:
>
> 注意：此封邮件来自于公司外部，请注意信息安全！
> Attention: This email comes from outside of the company, please pay
> attention to the information security!
>
> Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？
>
> BEST，
> Jingsong
>
> On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟 
mailto:wei.j...@nio.com.invalid>
> >
> wrote:
>
> > 您好，
> > 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
> >
> >
>
> --
> Best, Jingsong Lee
>
>

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-28 文章 Wei JI10 季伟 
您好，
我没有设置scope，我看jar包中是有org/apache/flink/formats/parquet/这个目录的...

在 2021/6/28 下午12:47，“zhisheng” 写入:

注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay 
attention to the information security!

看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？

Wei JI10 季伟  于2021年6月28日周一 下午12:19写道：

> 您好，
> 版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？
>
> 在 2021/6/28 上午11:59，“Jingsong Li” 写入:
>
> 注意：此封邮件来自于公司外部，请注意信息安全！
> Attention: This email comes from outside of the company, please pay
> attention to the information security!
>
> Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？
>
> BEST，
> Jingsong
>
> On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟  >
> wrote:
>
> > 您好，
> > 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
> >
> >
>
> --
> Best, Jingsong Lee
>
>

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 zhisheng 
看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？

Wei JI10 季伟  于2021年6月28日周一 下午12:19写道：

> 您好，
> 版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？
>
> 在 2021/6/28 上午11:59，“Jingsong Li” 写入:
>
> 注意：此封邮件来自于公司外部，请注意信息安全！
> Attention: This email comes from outside of the company, please pay
> attention to the information security!
>
> Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？
>
> BEST，
> Jingsong
>
> On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟  >
> wrote:
>
> > 您好，
> > 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
> >
> >
>
> --
> Best, Jingsong Lee
>
>

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Wei JI10 季伟 
您好，
版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？

在 2021/6/28 上午11:59，“Jingsong Li” 写入:

注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay 
attention to the information security!

Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？

BEST，
Jingsong

On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟 
wrote:

> 您好，
> 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
>
>

--
Best, Jingsong Lee

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Jingsong Li 
Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？

BEST，
Jingsong

On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟 
wrote:

> 您好，
> 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
>
>

-- 
Best, Jingsong Lee

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Wei JI10 季伟 
您好，
不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 zhisheng 
使用的是 sql client 测试的 sql 吗？如果是的话，记得在 flink lib 目录下添加 flink-sql-parquet jar
包，然后重启集群和 sql client

Wei JI10 季伟  于2021年6月28日周一 上午9:35写道：

> 您好，
> 添加的parquet 依赖如下，不知道全不全
> 
> org.apache.flink
> flink-parquet_${scala.binary.version}
> ${flink.version}
> 
> 
> org.apache.parquet
> parquet-avro
> 1.10.1
> 
> 
>
>
>

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Wei JI10 季伟 
您好，
添加的parquet 依赖如下，不知道全不全

org.apache.flink
flink-parquet_${scala.binary.version}
${flink.version}


org.apache.parquet
parquet-avro
1.10.1



Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Zhiwen Sun 
parquet 相关依赖增加了吗？

Zhiwen Sun



On Sun, Jun 27, 2021 at 3:57 PM Wei JI10 季伟 
wrote:

> Hi:
>在使用flink sql connector的filesytem时，指定format为parquet。抛出异常信息
> Caused by: org.apache.flink.table.api.ValidationException: Could not find
> any format factory for identifier 'parquet' in the classpath.
>at
> org.apache.flink.table.filesystem.FileSystemTableSource.(FileSystemTableSource.java:97)
>at
> org.apache.flink.table.filesystem.FileSystemTableFactory.createDynamicTableSource(FileSystemTableFactory.java:72)
>at
> org.apache.flink.table.factories.FactoryUtil.createTableSource(FactoryUtil.java:119)
>... 41 more
>
> Sql语句如下：
> CREATE TABLE user_info (
> `user_id` bigint,
> `user_name` string
> ) PARTITIONED BY (user_id) WITH (
> 'connector' = 'filesystem',
> 'path' = '',
> 'format' = 'parquet'
> );
>
> CREATE TABLE sink_table (
> `user_id` bigint,
> `user_name` string
> ) PARTITIONED BY (datetime) WITH (
> 'connector'='filesystem',
> 'path'='',
> 'format'='parquet',
> 'sink.partition-commit.delay'='1h',
> 'sink.partition-commit.policy.kind'='success-file'
> );
>
> insert OVERWRITE sink_table select *, '2021062600' as  datetime from
> user_info;
>

flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-27 文章 Wei JI10 季伟 
Hi:
   在使用flink sql connector的filesytem时，指定format为parquet。抛出异常信息
Caused by: org.apache.flink.table.api.ValidationException: Could not find any 
format factory for identifier 'parquet' in the classpath.
   at 
org.apache.flink.table.filesystem.FileSystemTableSource.(FileSystemTableSource.java:97)
   at 
org.apache.flink.table.filesystem.FileSystemTableFactory.createDynamicTableSource(FileSystemTableFactory.java:72)
   at 
org.apache.flink.table.factories.FactoryUtil.createTableSource(FactoryUtil.java:119)
   ... 41 more

Sql语句如下：
CREATE TABLE user_info (
`user_id` bigint,
`user_name` string
) PARTITIONED BY (user_id) WITH (
'connector' = 'filesystem',
'path' = '',
'format' = 'parquet'
);

CREATE TABLE sink_table (
`user_id` bigint,
`user_name` string
) PARTITIONED BY (datetime) WITH (
'connector'='filesystem',
'path'='',
'format'='parquet',
'sink.partition-commit.delay'='1h',
'sink.partition-commit.policy.kind'='success-file'
);

insert OVERWRITE sink_table select *, '2021062600' as  datetime from 
user_info;