hello 我想问一下使用flink
cdc同步数据是设置了snapshot.mode这个参数为schema_only，但是我发现每次重启任务都会从最新开始读取数据，我怎么做才可以从上次断点继续消费呢；同时我通过MySQLSource.builder().serverId(123456)的方式设置了server_id但是从我同步出来的数据来看server_id并不是我设置的值
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello 我现在碰到一个问题 在使用flink
cdc同步数据时我设置了snapshot.mode的值为schema_only，但是当我重启任务时发现都是从最新开始消费，我该怎么做才能从上次停止任务的断点继续消费；同时我使用MySQLSource.builder().serverId(123456)的方式设置了server_id，但是从打印出来的数据来看并没有生效
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello
目前我碰到一个问题，当我同时使用flink-orc_2.11-1.11.1.jar与flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar时发现针对orc这种数据格式所依赖的版本不同，我们hive版本是cdh
1.1.0，官网看到依赖的orc版本是1.4.3并且无需orc-shims这个依赖，但是flink-orc这个模块需要同时依赖orc-core
1.5.6与orc-shims 1.5.6，这两个模块如何同时使用
--
Sent from:
这是我尝试输出的message长度
message length is: 529
message length is: 212
message length is: 391
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello 我在使用flink1.11版本读取kafka
avro格式数据时遇到了错误，由于我们的avro特殊，因此源码稍微作了修改，以下是改动的代码片段
@Override
public T deserialize(byte[] message) throws IOException {
// read record
checkAvroInitialized();
inputStream.setBuffer(message);
hello
我们这有一种业务场景是关于两个动态表的join，其中一张表是完全的动态表，去关联另一张动态表中当天的数据，请问这种情况的下join场景支持吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
with (
'connector'='kafka',
'topic'='cloud_behavior;cloud_behavior_other;cloud_behavior_qxb;cloud_behavior_cc;cloud_behavior_cs',
'properties.bootstrap.servers'='',
'properties.group.id'='flink_2_hive_and_imei_ncrypy_test',
'format'='avro',
好的 那我尝试下通过KafkaDynamicTableFactory来实现
--
Sent from: http://apache-flink.147419.n8.nabble.com/
有没有一种更加友好的方式 使用topic-pattern的话在提供给非开发人员使用成本太高
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello，
我想问一下目前flinksql支持同时指定kafka的多topic吗，例如
'topic'='cloud_behavior,cloud_behavior_other,cloud_behavior_qxb,cloud_behavior_cc,cloud_behavior_cs'
--
Sent from: http://apache-flink.147419.n8.nabble.com/
目前我只能把需要的jar放在lib目录下，我能确定冲突的类已经打在jar中，也能确定这个类是唯一的，但是目前没有发现冲突的点
--
Sent from: http://apache-flink.147419.n8.nabble.com/
现在我的lib下没有ElasticSearch相关的connector，在pom中引用，这样会产生冲突吗，还有这种现象有可能是在哪块冲突了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello
我在使用flinksql连接器时当我将flink-sql-connector-elasticsearch6_2.11-1.11.1.jar放在lib下，程序正常执行，但是当我在pom中进行配置时会产生如下报错，同样的问题会产生在hbase、jdbc的connector中，请问下这可能是什么造成的
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Unable to create a sink for writing table
hello
我在使用flinksql1.11写出数据到jdbc是遇到了field type类型不匹配的问题，是我类型设置有问题吗？
下面是我的异常日志以及sql文件
SET stream.enableCheckpointing=1000*60;
SET stream.setParallelism=3;
-- Kafka cdbp zdao source 表
create TABLE cloud_behavior_source(
operation STRING,
operation_channel STRING,
`time` STRING,
ip
是的，是我传参有问题
--
Sent from: http://apache-flink.147419.n8.nabble.com/
是的，我这个函数只需要一个参数
--
Sent from: http://apache-flink.147419.n8.nabble.com/
完整的sql执行文件
SET stream.enableCheckpointing=1000*60;
SET stream.setParallelism=4;
CREATE FUNCTION imei_encrypt AS 'com.intsig.flink.udf.IMEIEncrypt' LANGUAGE
JAVA;
-- Kafka cdbp zdao source 表
create TABLE cloud_behavior_source(
operation VARCHAR,
operation_channel VARCHAR,
`time`
这是我的udf声明
CREATE FUNCTION imei_encrypt AS 'com.intsig.flink.udf.IMEIEncrypt' LANGUAGE
JAVA;
以下是udf实现
public class IMEIEncrypt extends ScalarFunction {
public String eval(String column_type,String value) {
EncryptUtils encryptUtils = new EncryptUtils();
return
hello
我在使用flinkSQL注册udf时，发生了以下错误，这是我定义有问题还是flink的bug
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: SQL validation failed. From line 11, column 6 to line 11,
column 23: No match found for function signature imei_encrypt()
at
hello，
我现在使用flinksql的方式读取kafka数据并且以parquet的格式写出到hdfs，当我引入flink-parquet的依赖时程序提交失败了，但是我以内置的avro、json等格式输出是正常的，下面是我的报错信息
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Unable to create a source for reading table
我之前对源码进行了修复，测试的时候没有恢复之前的源码状态，后来发现Map这种方式是不可以的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我尝试使用MAP来定义我的类型，问题已经解决，谢谢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的，我尝试一下
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的，谢谢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
other_para MAP
--
Sent from: http://apache-flink.147419.n8.nabble.com/
other_para MAP这是我定义的map类型
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello
我在使用flink-sql1.11版本是使用到了map类型，但是我遇到了问题，当map中的value为空时会产生空指针异常，下面附上我的错误以及源代码
org.apache.flink.runtime.JobException: Recovery is suppressed by
NoRestartBackoffTimeStrategy
at
27 matches
Mail list logo
