_DIRTY.json
看下以这个结尾的文件，内容应该是一个 json，如果不是标准 json 说明数据已经异常了，可以尝试删除
Best,
Weihua
On Tue, Mar 14, 2023 at 11:23 AM Jason_H wrote:
> 您好，
> 我找到了我的ha目录，请教一下，怎么确定哪些数据是脏数据，可以允许删除的，这个有什么办法可以确定吗，我看到的都是些系统数据
>
>
> | |
> Jason_H
> |
> |
> hyb_he...@163.com
> |
> 回复的原邮件
> | 发件人 | Weihua Hu |
>
您好，
我找到了我的ha目录，请教一下，怎么确定哪些数据是脏数据，可以允许删除的，这个有什么办法可以确定吗，我看到的都是些系统数据
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的
您好，
对的，之前是正常启动的，突然失败了，然后我直接重启pod，就一直报这个错了。
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据，但是数据已经不完整了，无法正常读取。
可以参考文档[1]，检查相关的 HA 路径，清理下异常数据
另外问一下，之前是通过同名的 cluster-id 启动过 Flink 集群吗？
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#job-result-store-storage-path
Best,
Weihua
On Tue, Mar 14, 2023 at
我昨天模拟下断电的情况
10个ha文件的日期是错开的5秒一个
chk-xxx也不是都损坏了，有的是可以启动的，这个我也试了 现在情况是
yarn集群停电重启首先会循环尝试从10个ha的文件中启动应用，ha文件记录的chk的相关原数据
1.如果ha文件都损坏了，即使chk没有损坏，flink应用也是拉不起来的
现在想的是让hdfs上存在至少1组个可用的的ha文件及其对应的chk 现在是5秒一个chk，保存了10个，也会出现损坏无法启动的问题 5秒*10 =
50秒，也想知道多长时间的存档才能保证存在一组没有损坏ha和chk呢。
在 2023-03-14
Hi
确认一下这些 ha 文件的 last modification time 是一致的还是错开的？
另外，指定 chk- 恢复尝试了没有？可以恢复吗？
Best,
Guojun
On Fri, Mar 10, 2023 at 11:56 AM guanyq wrote:
> flink ha路径为 /tmp/flink/ha/
> flink chk路径为 /tmp/flink/checkpoint
>
>
> 我现在不确定是这个ha的文件损坏了，还是所有chk都损坏，但是这个需要模拟验证一下。
>
>
>
>
> 会尝试从10个chk恢复，日志有打印
>
hi，大家好
请教一个问题，我在k8s上部署的flink集群，启动不来，报如下的错误，大家有遇到过吗
java.util.concurrent.CompletionException:
org.apache.flink.util.FlinkRuntimeException: Could not retrieve JobResults of
globally-terminated jobs from JobResultStore
at java.util.concurrent.CompletableFuture.encodeThrowable(Unknown
Hi
从错误上看应该是schema跟数据不匹配导致导致的，看起来目前avro不支持这种schema变更新老数据一起处理
Best,
Shammon.FY
On Fri, Mar 10, 2023 at 2:29 PM Peihui He wrote:
> java.io.IOException: Failed to deserialize Avro record.
> at
>
>
好的感谢，我关注下
| |
吴先生
|
|
15951914...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年3月13日 18:49 |
| 收件人 | |
| 主题 | Re: Flink-Sql Watermarkers问题 |
Hi
目前sql只能在create table时指定，不过有新的扩展功能，相关FLIP正在讨论中，你可以关注一下
Hi zilong,
应该是没有内置的方法直接进行转换的，如果有需要，还是需要自己根据schema做一遍读取和写入。
另外，在FLINK-24403[1] 中加强了对于复杂类型的print能力，可以直接把他们cast成string来打印。
[1] https://issues.apache.org/jira/browse/FLINK-24403
zilong xiao 于2023年3月13日周一 16:22写道：
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
>
Hi
你可以考虑将field数据从BinaryRowData中读取出来再转换成string试试
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 4:21 PM zilong xiao wrote:
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
> toString，BinaryRowData没有实现该方法QQAQ
>
> Benchao Li 于2021年4月9日周五 10:42写道：
>
> >
Hi
目前sql只能在create table时指定，不过有新的扩展功能，相关FLIP正在讨论中，你可以关注一下
https://cwiki.apache.org/confluence/display/FLINK/FLIP-296%3A+Extend+watermark-related+features+for+SQL
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 6:29 PM 吴先生 <15951914...@163.com> wrote:
> hi，
> 我在使用Flink-Sql 1.14版本时能否不在create
hi，
我在使用Flink-Sql 1.14版本时能否不在create table处指定watermarkers，因为源数据需要做一些清洗之后再指定水位线
| |
吴先生
|
|
15951914...@163.com
|
理解了，非常感谢。
在 2023-03-13 16:57:18，"Weihua Hu" 写道：
>图片看不到，可以找一个图床上传图片，在邮件列表中贴一下链接。
>
>YARN 拉起 AM 还受 "yarn.application-attempt-failures-validity-interval"[1]
>控制，在这个时间内达到指定次数才会退出。
>
>[1]
图片看不到，可以找一个图床上传图片，在邮件列表中贴一下链接。
YARN 拉起 AM 还受 "yarn.application-attempt-failures-validity-interval"[1]
控制，在这个时间内达到指定次数才会退出。
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#yarn-application-attempt-failures-validity-interval
Best,
Weihua
On Mon, Mar 13, 2023 at
图片在附件
但是实际却是超过了10次。。
在 2023-03-13 15:39:39，"Weihua Hu" 写道：
>Hi,
>
>图片看不到了
>
>按照这个配置，YARN 应该只会拉起 10 次 JobManager。
>
>Best,
>Weihua
>
>
>On Mon, Mar 13, 2023 at 3:32 PM guanyq wrote:
>
>> flink1.10版本，flink配置如下
>> yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
>>
hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗？我们业务场景需要对RowData
toString，BinaryRowData没有实现该方法QQAQ
Benchao Li 于2021年4月9日周五 10:42写道：
> GenericRowData和BinaryRowData都是RowData这个接口的具体实现。
> 所以你只需要针对RowData进行编程即可，不能假设它使用哪个具体实现。
>
> 关于你的问题，在算子之间数据计算和转换的时候，会有很多地方构造出来BinaryRowData，
>
Hi,
图片看不到了
按照这个配置，YARN 应该只会拉起 10 次 JobManager。
Best,
Weihua
On Mon, Mar 13, 2023 at 3:32 PM guanyq wrote:
> flink1.10版本，flink配置如下
> yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
> 正常我理解yarn会尝试10次启动flink job，如果起不来应该就会失败，但是在yarn应用页面看到了尝试11次，如下图
>
flink1.10版本，flink配置如下
yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
正常我理解yarn会尝试10次启动flink job，如果起不来应该就会失败，但是在yarn应用页面看到了尝试11次，如下图
请问appattempt_1678102326043_0006_000409每个序号不是代表一次尝试么
19 matches
Mail list logo
