lifeSo commented on PR #1413:
URL:
https://github.com/apache/incubator-uniffle/pull/1413#issuecomment-1883694099
I summarized the usage of TezClientConf, and why need the transitions:
- GetShuffleServerRequest & GetShuffleServerResponse & IdUtils &
InputContextUtils
- no nedd conf
RssDAGAppMaster
需要 TezClientConf ,进行参数设置和转换
TezRemoteShuffleManager
需要 TezClientConf,有参数设置,和 configuration ,进行参数回传
RssTezUtils
需要 RssTezUtils
ShuffleAssignmentsInfoWritable
不需要conf
TezClassLoader
不需要配置
UmbilicalUtils
需要 configuration ,传递参数
RssTezAMPolicyProvider
没有配置
RemoteFetchedInput
没有配置
RssShuffleManager
不需要TezClientConf获取配置,但是需要转换
RssSimpleFetchedInputAllocator
xuyao configuration ,需要TezClientConf来获取几个配置项
RssTezFetcher
不需要 configuration 和 TezClientConf
RssTezFetcherTask
需要TezClientConf获取参数,也需要 Configuration 传递参数
RssInMemoryMerger
xu要 configuration , 调用其他Tez类,不需要TezClientConf
RssMergeManager
需要 configuration ,调用其他Tez类,不需要TezClientConf
RssShuffle
需要 configuration ,调用其他Tez类, 不需要TezClientConf ,只有几个配置项
RssShuffleScheduler
需要 configuration ,调用其他Tez类, 不需要TezClientConf ,只有几个配置项
RssTezBypassWriter
no config
RssTezShuffleDataFetcher
no config
WriteBuffer
不需要
WriteBufferManager
不需要,传入 RssConf,传递参数即可。
RssSorter
传入参数需要Configuration,唯一地方:调用super()
RssTezPerPartitionRecord
没有conf
RssUnSorter
传入参数需要Configuration,唯一地方:调用super()
RssOrderedPartitionedKVOutput
不需要,里面就几个配置项
RssUnorderedKVOutput
不需要,里面就几个配置项
RssUnorderedPartitionedKVOutput
不需要,里面就几个配置项
RssUnorderedKVInput 等几个类,不需要,里面就几个配置
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]