就第二次提供的日志看,好像是你的namenode出现的问题
--
发件人：MuChen <9329...@qq.com>
发送时间：2020年9月8日(星期二) 10:56
收件人：user-zh@flink.apache.org 夏帅 ; user-zh
主 题：回复： 回复：使用StreamingFileSink向hive metadata中增加分区部分失败
在checkpoint失败的时间，tm上还有一些info和warn级别的日志
异常日志只有这些么?有没有详细点的
get到了
来自钉钉专属商务邮箱--
发件人：Yangze Guo
日 期：2020年07月17日 13:38:35
收件人：user-zh
主 题：Re: flink1.9写权限认证的es6
Hi,
SQL添加认证的逻辑已经在FLINK-18361[1] 中完成了，1.12版本会支持这个功能
[1] https://issues.apache.org/jira/browse/FLINK-18361
Best,
Yangze Guo
On
你好,请问是FlinkSQL么
FLinkSQL可以参考下这份邮件
http://apache-flink.147419.n8.nabble.com/ddl-es-td2094.html
DataStream可以尝试自定义ElasticsearchSink实现权限认证
--
发件人：Dream-底限
发送时间：2020年7月17日(星期五) 10:12
收件人：user-zh
主 题：flink1.9写权限认证的es6
hi：
你好,这个是可以进行自定义的
参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/
--
发件人：酷酷的浑蛋
发送时间：2020年7月17日(星期五) 10:42
收件人：user-zh
主 题：flink connector formats问题
你好,
可以参考下这个问题的解决
http://apache-flink.147419.n8.nabble.com/Table-options-do-not-contain-an-option-key-connector-for-discovering-a-connector-td4767.html
--
发件人：wangl...@geekplus.com.cn
发送时间：2020年7月14日(星期二) 16:50
收件人：user-zh ; 夏帅
你好,
这说明写入的hive文件没有进行rollup,可以贴下SQL么
--
发件人：wangl...@geekplus.com.cn
发送时间：2020年7月14日(星期二) 16:40
收件人：user-zh ; xbjtdcq
主 题：回复: Re: 不能实时读取实时写入到 Hive 的数据
我加上了这个 tablehint 。
任务提交上去了，但客户端还是没有任何返回显示。
我到 hadoop 集群上看了下 hive
你好,
本质还是StreamingFileSink,所以目前只能append
--
发件人：Zhou Zach
发送时间：2020年7月14日(星期二) 10:56
收件人：user-zh
主 题：Re:Re: flink 同时sink hbase和hive，hbase少记录
Hi Leonard,
原来是有重复key，hbase做了upsert，请问Hive Streaming
你好,
你设置了1个小时的
SINK_PARTITION_COMMIT_DELAY
--
发件人：Zhou Zach
发送时间：2020年7月13日(星期一) 17:09
收件人：user-zh
主 题：Re:Re: Re: Table options do not contain an option key 'connector' for
discovering a connector.
开了checkpoint，
val
你好,
我这边同样的代码,并没有出现类似的问题
是本地跑么,可以提供下日志信息么?
感谢
你好,
可以看看你的代码结构是不是以下这种
val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment
val bsSettings =
EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build
val tableEnv = StreamTableEnvironment.create(bsEnv, bsSettings)
..
tableEnv.execute("")
你好,可以尝试自定义KafkaSerializationSchema来实现你的业务场景
class DemoSerializationSchema extends KafkaSerializationSchema[DemoBean] {
override def serialize(element: DemoBean, timestamp: lang.Long):
ProducerRecord[Array[Byte], Array[Byte]] = {
new ProducerRecord[Array[Byte], Array[Byte]](element.getTopic,
补充: 1.11的shuffle-mode配置的默认值为ALL_EDGES_BLOCKING
共有
ALL_EDGES_BLOCKING(等同于batch)
FORWARD_EDGES_PIPELINEDPOINTWISE_EDGES_PIPELINED
ALL_EDGES_PIPELINED(等同于pipelined)对于pipelined多出了两种选择
--
发件人：忝忝向仧 <153488...@qq.com>
发送时间：2020年7月7日(星期二)
你好:
问题1,指定shuffle_mode
tEnv.getConfig.getConfiguration.setString(ExecutionConfigOptions.TABLE_EXEC_SHUFFLE_MODE,
"pipeline")
问题2,mode是UNDEFINED的概念
使用UNDEFINED并不是说模式没有定义,而是由框架自己决定
The shuffle mode is undefined. It leaves it up to the framework to decide the
shuffle mode.
你好,可以参考下ExecutionConfigOptions,OptimizerConfigOptions和GlobalConfiguration,里面有比较清楚地介绍
--
发件人：忝忝向仧 <153488...@qq.com>
发送时间：2020年7月6日(星期一) 12:16
收件人：user-zh
主 题：回复：【Flink的shuffle mode】
不好意思，看错了，这里是自增了
来自钉钉专属商务邮箱--
发件人：xuhaiLong
日 期：2020年07月02日 18:46:37
收件人：夏帅
抄 送：user-zh
主 题：回复：Position out of bounds.
感谢
没看明白这个bug引起的原因是什么，或者说有什么合适的解决方案？
| |
夏*
|
|
邮箱：xiagu...@163.com
|
签名由 网易邮箱大师 定制
在2020年07月02日 18:39，夏帅 写
你好,请问解决了么,我看了下源码,好像是一个bug
DataOutputSerializer
@Override
public void write(int b) throws IOException {
if (this.position >= this.buffer.length) {
resize(1);
}
this.buffer[this.position++] = (byte) (b & 0xff);
}
此处position应该自增
你好,可以尝试自定义实现Kafka011TableSourceSinkFactory和Kafka011TableSink来实现exactly-once
Kafka011TableSink
@Override
protected SinkFunction createKafkaProducer(
String topic,
Properties properties,
SerializationSchema serializationSchema,
Optional> partitioner) {
return new
record.put("platform", x.get(0))
record.put("event", x.get(1))
record.put("dt", x.get(2))
record
})
--
发件人：yingbo yang
发送时间：2020年6月29日(星期一) 10:04
收件人：夏帅
抄 送：user-zh
主 题：Re: flink1.10 使用 Par
你好,这个问题从异常来看是使用TupleTypeInfo导致的,可以试下使用GenericRecordAvroTypeInfo
--
发件人：yingbo yang
发送时间：2020年6月28日(星期日) 17:38
收件人：user-zh
主 题：flink1.10 使用 ParquetAvroWriters schema 模式写数据问题
Hi：
在使用 ParquetAvroWriters.forGenericRecord(Schema
自己在使用时,会有文件生成,但是文件内并不包含数据
好的,感谢
--
发件人：godfrey he
发送时间：2020年6月2日(星期二) 12:32
收件人：user-zh
抄 送：夏帅
主 题：Re: Flink1.11-release编译部署后sql-client的bug
Hi， 夏帅
感谢反馈问题，我建了一个issue https://issues.apache.org/jira/browse/FLINK-18055，应该今天就可以fix
Best,
Godfrey
Leonard Xu
大家好,有人编译部署过flink-1.11-release么,为什么我使用sql-client时设置了catalog
但是并不生效,顺带自动补全也不太好使
是我编译的问题么,在window下编译的
编译步骤见链接
https://jxeditor.github.io/2020/06/01/Flink1.11.0%E7%BC%96%E8%AF%91/
$ mvn -version
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe;
2018-06-18T02:33:14+08:00)
Flink SQL> show
可以排除一下是否是jar包冲突
--
发件人：Even <452232...@qq.com>
发送时间：2020年5月29日(星期五) 16:17
收件人：user-zh
主 题：Kafka Consumer反序列化错问题
Hi！
请教一个Kafka Consumer反序列问题：
一个kafkaconsumerjob 提交到Flink session cluster时运行稳定，但是独立提交到到Flink
per-job cluster
25 matches
Mail list logo
