Re:Re: use flink 1.19 JDBC Driver can find jdbc connector
Hi, > 现在可以用中文了？ 我看你发的是中文答疑邮箱 > 就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 你的意思是，之前报错类似"找不到一个jdbc connector"，然后直接在gateway的jar包里的META-INF/services内的Factory文件（SPI文件）内加入jdbc connector的Factory实现类就好了吗？ 如果是这个问题就有点奇怪，因为本身flink-connector-jdbc的spi文件就已经将相关的类写进去了[1]，按理说放到lib目录下，就会spi发现的 [1] https://github.com/apache/flink-connector-jdbc/blob/bde28e6a92ffa75ae45bc8df6be55d299ff995a2/flink-connector-jdbc/src/main/resources/META-INF/services/org.apache.flink.table.factories.Factory#L16 -- Best！ Xuyang 在 2024-05-15 15:51:49，abc15...@163.com 写道： >现在可以用中文了？就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 > > >> 在 2024年5月15日，15:36，Xuyang 写道： >> >> Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。 >> >> >> >> >> 如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！ >> >> >> >> >> [1] https://issues.apache.org/jira/projects/FLINK/summary >> >> >> >> >> -- >> >>Best！ >>Xuyang >> >> >> >> >> >>> 在 2024-05-10 12:26:22，abc15...@163.com 写道： >>> I've solved it. You need to register the number of connections in the jar >>> of gateway. But this is inconvenient, and I still hope to improve it. >>> 发自我的 iPhone >>> > 在 2024年5月10日，11:56，Xuyang 写道： Hi, can you print the classloader and verify if the jdbc connector exists in it? -- Best！ Xuyang At 2024-05-09 17:48:33, "McClone" wrote: > I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can > not find jdbc connector,but use sql-client is normal.
Re: use flink 1.19 JDBC Driver can find jdbc connector
现在可以用中文了？就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 > 在 2024年5月15日，15:36，Xuyang 写道： > > Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。 > > > > > 如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！ > > > > > [1] https://issues.apache.org/jira/projects/FLINK/summary > > > > > -- > >Best！ >Xuyang > > > > > >> 在 2024-05-10 12:26:22，abc15...@163.com 写道： >> I've solved it. You need to register the number of connections in the jar of >> gateway. But this is inconvenient, and I still hope to improve it. >> 发自我的 iPhone >> 在 2024年5月10日，11:56，Xuyang 写道： >>> >>> Hi, can you print the classloader and verify if the jdbc connector exists >>> in it? >>> >>> >>> >>> >>> -- >>> >>> Best！ >>> Xuyang >>> >>> >>> >>> >>> >>> At 2024-05-09 17:48:33, "McClone" wrote: I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not find jdbc connector,but use sql-client is normal.
Re:请问如何贡献Flink Hologres连接器?
Hi, 我觉得如果只是从贡献的角度来说，支持flink hologres connector是没问题的，hologres目前作为比较热门的数据库，肯定是有很多需求的，并且现在aliyun github官方也基于此提供了开源的flink hologres connector[1]。 但是涉及到aliyun等公司商业化的ververica-connector-hologres包，如果想直接开源的话，在我的角度最好事先确认下面几点，不然可能会隐含一些法律风险 1. jar包的提供方（aliyun等公司）是否知情、且愿意开源，不然直接拿着商业化的东西给出来有点不太好 2. jar包内的协议是否满足开源的协议，而不是商业化的协议 我推荐如果真要开源，可以基于开源github仓库的flink hologres connector[1]来贡献（比如现在我看目前它最高支持flink 1.17，可以试试贡献支持到1.18、1.19等等） [1] https://github.com/aliyun/alibabacloud-hologres-connectors -- Best！ Xuyang 在 2024-05-14 11:24:37，"casel.chen" 写道： >我们有使用阿里云商业版Hologres数据库，同时我们有自研的Flink实时计算平台，为了实现在Hologres上实时建仓，我们基于开源Apache >Flink 1.17.1结合阿里云maven仓库的ververica-connector-hologres包[1]和开源的holo >client[2]开发了hologres >connector，修复了一些jar依赖问题。目前我们已经在生产环境使用了一段时间，暂时没有发现问题，现在想将它贡献给社区。 > > >请问： >1. 贡献Flink Hologres连接器是否合规？ >2. 如果合规的话，PR应该提到哪个项目代码仓库？ >3. 还是说要像 https://flink-packages.org/categories/connectors >这样链接到自己的github仓库？如果是的话要怎么在flink-packages.org上面注册呢？ > > >[1] >https://repo1.maven.org/maven2/com/alibaba/ververica/ververica-connector-hologres/1.17-vvr-8.0.4-1/ >[2] >https://github.com/aliyun/alibabacloud-hologres-connectors/tree/master/holo-client
Re:Re: use flink 1.19 JDBC Driver can find jdbc connector
Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。 如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！ [1] https://issues.apache.org/jira/projects/FLINK/summary -- Best！ Xuyang 在 2024-05-10 12:26:22，abc15...@163.com 写道： >I've solved it. You need to register the number of connections in the jar of >gateway. But this is inconvenient, and I still hope to improve it. >发自我的 iPhone > >> 在 2024年5月10日，11:56，Xuyang 写道： >> >> Hi, can you print the classloader and verify if the jdbc connector exists >> in it? >> >> >> >> >> -- >> >>Best！ >>Xuyang >> >> >> >> >> >> At 2024-05-09 17:48:33, "McClone" wrote: >>> I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can >>> not find jdbc connector,but use sql-client is normal.
