Hi,
你指的是 `yarn.provided.lib.dirs` 吗?
这个地方设计的时候确实是只考虑到了 hdfs,没有考虑 http 文件。
我刚刚也和熟悉 hadoop 的朋友确认了一下,从 yarn 的层面上应该也是支持 http 文件的,所以 flink 最好也是能支持 http 文件。
由于整个 feature 在设计的时候都没有考虑到 http 文件的问题,不确定修复了正则匹配的问题后是否还会有其他问题。
我开了 FLINK-20505 来跟踪 provided lib 支持 http 文件的整体进度。
https://issues.apache.org/jira/br
hi all, 最近在1.11上使用io.extra-file加载外部http文件出现一点小问题
由于http的文件在FileSystem.getFileStatus去拿状态时会走HttpFileSystem的类的getFileStatus方法,该方法返回的FileStatus中length为-1。
在client端校验通过后,在decodeYarnLocalResourceDescriptor的时候会碰到问题。
异常如下:
2020-12-04 17:01:28.955 ERROR org.apache.flink.yarn.YarnResourceManager - Could
not