退订

邢颖
[email protected]



        



         原始邮件
         
       
发件人:Peter Huang <[email protected]&gt;
发件时间:2026年11月18日 01:14
收件人:dev <[email protected]&gt;
主题:Re: [Discuss] FLIP-XXX: Dynamic Rate Limiting for FLIP-27 Source



       Hi&nbsp;David,

Thanks&nbsp;for&nbsp;the&nbsp;suggestions.&nbsp;It&nbsp;brings&nbsp;the&nbsp;similar&nbsp;feedback&nbsp;from&nbsp;Zhanhao&nbsp;and
Yanquan.&nbsp;I&nbsp;totally&nbsp;agree&nbsp;that&nbsp;the&nbsp;checkpoint&nbsp;time&nbsp;is&nbsp;just&nbsp;one&nbsp;of&nbsp;the
signals&nbsp;for&nbsp;the&nbsp;health&nbsp;of&nbsp;the&nbsp;job.&nbsp;The&nbsp;default&nbsp;RatelimitCalculator
uses&nbsp;historical&nbsp;checkpoint&nbsp;time.&nbsp;At&nbsp;the&nbsp;same&nbsp;time,&nbsp;the&nbsp;proposal&nbsp;defines&nbsp;the
interfaces&nbsp;for&nbsp;both&nbsp;RatelimitCalculator&nbsp;and&nbsp;RateAllocator&nbsp;to&nbsp;allow&nbsp;users&nbsp;to
customize&nbsp;the&nbsp;solution.&nbsp;I&nbsp;am&nbsp;also&nbsp;looking&nbsp;forward&nbsp;to&nbsp;suggestions&nbsp;to&nbsp;improve
these&nbsp;interfaces&nbsp;for&nbsp;future&nbsp;extendability.


Best&nbsp;Regards
Peter&nbsp;Huang

On&nbsp;Tue,&nbsp;Nov&nbsp;17,&nbsp;2026&nbsp;at&nbsp;7:56 
AM&nbsp;David&nbsp;Radley&nbsp;<[email protected]&gt;
wrote:

&gt;&nbsp;Hi&nbsp;Peter,
&gt;&nbsp;It&nbsp;looks&nbsp;good.&nbsp;It&nbsp;occurs&nbsp;to&nbsp;me&nbsp;what&nbsp;do&nbsp;we&nbsp;mean&nbsp;by&nbsp;healthy&nbsp;and&nbsp;unhealthy.
&gt;&nbsp;Is&nbsp;this&nbsp;something&nbsp;that&nbsp;the&nbsp;user&nbsp;should&nbsp;be&nbsp;allowed&nbsp;to&nbsp;define,&nbsp;rather&nbsp;than&nbsp;us
&gt;&nbsp;having&nbsp;asserted&nbsp;the&nbsp;definition&nbsp;of&nbsp;healthy?
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Kind&nbsp;regards,&nbsp;David.
&gt;
&gt;&nbsp;From:&nbsp;Peter&nbsp;Huang&nbsp;<[email protected]&gt;
&gt;&nbsp;Date:&nbsp;Friday,&nbsp;6&nbsp;November&nbsp;2026&nbsp;at&nbsp;19:12
&gt;&nbsp;To:&nbsp;[email protected]&nbsp;<[email protected]&gt;
&gt;&nbsp;Subject:&nbsp;[EXTERNAL]&nbsp;Re:&nbsp;[Discuss]&nbsp;FLIP-XXX:&nbsp;Dynamic&nbsp;Rate&nbsp;Limiting&nbsp;for
&gt;&nbsp;FLIP-27&nbsp;Source
&gt;
&gt;&nbsp;Thanks&nbsp;everyone&nbsp;for&nbsp;providing&nbsp;valuable&nbsp;feedback&nbsp;to&nbsp;the&nbsp;FLIP&nbsp;draft.&nbsp;I&nbsp;will
&gt;&nbsp;start&nbsp;voting&nbsp;early&nbsp;next&nbsp;week.
&gt;
&gt;&nbsp;On&nbsp;Mon,&nbsp;Oct&nbsp;26,&nbsp;2026&nbsp;at&nbsp;5:21 
PM&nbsp;Peter&nbsp;Huang&nbsp;<[email protected]&gt;
&gt;&nbsp;wrote:
&gt;
&gt;&nbsp;&gt;&nbsp;Hi&nbsp;Weiqing,
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;Thanks&nbsp;for&nbsp;this&nbsp;feedback&nbsp;with&nbsp;detailed&nbsp;insight.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;1.&nbsp;Reader&nbsp;integration.
&gt;&nbsp;&gt;&nbsp;Looks&nbsp;like&nbsp;it&nbsp;is&nbsp;an&nbsp;existing&nbsp;issue&nbsp;of&nbsp;RateLimitedSourceReader.&nbsp;There
&gt;&nbsp;&gt;&nbsp;should&nbsp;be&nbsp;a&nbsp;separate&nbsp;PR&nbsp;to&nbsp;fix&nbsp;it.
&gt;&nbsp;&gt;&nbsp;At&nbsp;the&nbsp;same&nbsp;time,&nbsp;the&nbsp;functionality&nbsp;needs&nbsp;to&nbsp;be&nbsp;added&nbsp;into&nbsp;both
&gt;&nbsp;&gt;&nbsp;RateLimitedSourceReader&nbsp;and&nbsp;SourceReaderBase.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;2.&nbsp;Recovering&nbsp;after&nbsp;backoff.
&gt;&nbsp;&gt;&nbsp;It&nbsp;is&nbsp;algorithm&nbsp;dependent.&nbsp;The&nbsp;RateLimitCalculator&nbsp;is&nbsp;defined&nbsp;as&nbsp;an
&gt;&nbsp;&gt;&nbsp;interface.&nbsp;FLIP-610&nbsp;provides&nbsp;a&nbsp;default&nbsp;algorithm.
&gt;&nbsp;&gt;&nbsp;A&nbsp;user&nbsp;may&nbsp;define&nbsp;a&nbsp;customized&nbsp;solution&nbsp;according&nbsp;to&nbsp;their&nbsp;needs.&nbsp;Please
&gt;&nbsp;&gt;&nbsp;refer&nbsp;to&nbsp;the&nbsp;PoC&nbsp;for&nbsp;details.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;3.&nbsp;Timeouts&nbsp;and&nbsp;restarts.
&gt;&nbsp;&gt;&nbsp;The&nbsp;proposal&nbsp;mainly&nbsp;targets&nbsp;to&nbsp;adaptively&nbsp;control&nbsp;the&nbsp;flink&nbsp;job&nbsp;after&nbsp;it
&gt;&nbsp;&gt;&nbsp;runs&nbsp;smoothly&nbsp;at&nbsp;the&nbsp;beginning.&nbsp;If&nbsp;it&nbsp;is&nbsp;not&nbsp;stable&nbsp;at&nbsp;the&nbsp;beginning,
&gt;&nbsp;&gt;&nbsp;the&nbsp;user&nbsp;needs&nbsp;to&nbsp;fix&nbsp;the&nbsp;external&nbsp;dependencies&nbsp;or&nbsp;start&nbsp;with
&gt;&nbsp;&gt;&nbsp;a&nbsp;conservative&nbsp;max&nbsp;record&nbsp;per&nbsp;second&nbsp;limit&nbsp;in&nbsp;the&nbsp;configuration.
&gt;&nbsp;&gt;&nbsp;Obviously,&nbsp;source&nbsp;lag&nbsp;will&nbsp;be&nbsp;expected.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;4.&nbsp;Delivering&nbsp;unequal&nbsp;allocations.
&gt;&nbsp;&gt;&nbsp;The&nbsp;PoC&nbsp;defines&nbsp;a&nbsp;default&nbsp;balanced&nbsp;calculation&nbsp;according&nbsp;to&nbsp;the&nbsp;subtask
&gt;&nbsp;&gt;&nbsp;throughput.
&gt;&nbsp;&gt;&nbsp;Please&nbsp;review&nbsp;if&nbsp;it&nbsp;is&nbsp;generic&nbsp;enough.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;It&nbsp;is&nbsp;the&nbsp;initial&nbsp;PoC&nbsp;<https://github.com/apache/flink/pull/29627&gt;of&nbsp;the
&gt;&nbsp;&gt;&nbsp;proposal.&nbsp;Please&nbsp;comment&nbsp;on&nbsp;it&nbsp;directly.
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;Best&nbsp;Regards
&gt;&nbsp;&gt;&nbsp;Peter&nbsp;Huang
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&nbsp;On&nbsp;Tue,&nbsp;Oct&nbsp;13,&nbsp;2026&nbsp;at&nbsp;11:58 
PM&nbsp;Weiqing&nbsp;Yang&nbsp;<[email protected]&gt;
&gt;&nbsp;&gt;&nbsp;wrote:
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;Hi&nbsp;Peter,
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;Thanks&nbsp;for&nbsp;the&nbsp;proposal.&nbsp;Using&nbsp;observed&nbsp;throughput&nbsp;for&nbsp;backoff&nbsp;makes
&gt;&nbsp;sense
&gt;&nbsp;&gt;&gt;&nbsp;because&nbsp;it&nbsp;avoids&nbsp;repeatedly&nbsp;reducing&nbsp;a&nbsp;target&nbsp;the&nbsp;source&nbsp;may&nbsp;never&nbsp;have
&gt;&nbsp;&gt;&gt;&nbsp;reached.&nbsp;A&nbsp;few&nbsp;questions&nbsp;on&nbsp;how&nbsp;the&nbsp;pieces&nbsp;fit&nbsp;together:
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;1.&nbsp;Reader&nbsp;integration.&nbsp;The&nbsp;proposal&nbsp;adds&nbsp;the&nbsp;update&nbsp;hook&nbsp;to
&gt;&nbsp;&gt;&gt;&nbsp;RateLimitedSourceReader,&nbsp;while&nbsp;SourceReaderBase&nbsp;already&nbsp;manages&nbsp;its&nbsp;own
&gt;&nbsp;&gt;&gt;&nbsp;limiter.&nbsp;How&nbsp;would&nbsp;updates&nbsp;reach&nbsp;readers&nbsp;using&nbsp;that&nbsp;existing&nbsp;path?&nbsp;If
&gt;&nbsp;&gt;&gt;&nbsp;wrapping&nbsp;is&nbsp;intended,&nbsp;how&nbsp;would&nbsp;their&nbsp;checkpoint&nbsp;callbacks&nbsp;and&nbsp;split
&gt;&nbsp;&gt;&gt;&nbsp;pausing&nbsp;be&nbsp;preserved?
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;2.&nbsp;Recovering&nbsp;after&nbsp;backoff.&nbsp;With&nbsp;the&nbsp;activation&nbsp;threshold&nbsp;now&nbsp;added,&nbsp;I
&gt;&nbsp;&gt;&gt;&nbsp;wondered&nbsp;about&nbsp;recovery&nbsp;after&nbsp;backoff.&nbsp;A&nbsp;checkpoint&nbsp;interval&nbsp;of&nbsp;ten
&gt;&nbsp;&gt;&gt;&nbsp;minutes
&gt;&nbsp;&gt;&gt;&nbsp;gives&nbsp;a&nbsp;threshold&nbsp;of&nbsp;three&nbsp;minutes.&nbsp;If&nbsp;throttling&nbsp;improves&nbsp;checkpoint
&gt;&nbsp;&gt;&gt;&nbsp;duration&nbsp;from&nbsp;four&nbsp;minutes&nbsp;to&nbsp;two,&nbsp;would&nbsp;“no&nbsp;adjustment&nbsp;below&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;threshold”&nbsp;also&nbsp;stop&nbsp;the&nbsp;source&nbsp;from&nbsp;gradually&nbsp;increasing&nbsp;its&nbsp;rate
&gt;&nbsp;again?
&gt;&nbsp;&gt;&gt;&nbsp;How&nbsp;should&nbsp;that&nbsp;gate&nbsp;work&nbsp;alongside&nbsp;the&nbsp;relative&nbsp;trend&nbsp;check?
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;3.&nbsp;Timeouts&nbsp;and&nbsp;restarts.&nbsp;The&nbsp;feedback&nbsp;loop&nbsp;learns&nbsp;from&nbsp;completed
&gt;&nbsp;&gt;&gt;&nbsp;checkpoints.&nbsp;What&nbsp;happens&nbsp;if&nbsp;a&nbsp;checkpoint&nbsp;times&nbsp;out&nbsp;before&nbsp;it&nbsp;can
&gt;&nbsp;provide
&gt;&nbsp;&gt;&gt;&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;sample?&nbsp;What&nbsp;rate&nbsp;would&nbsp;the&nbsp;controller&nbsp;start&nbsp;with&nbsp;after&nbsp;a&nbsp;coordinator
&gt;&nbsp;&gt;&gt;&nbsp;restart?
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;4.&nbsp;Delivering&nbsp;unequal&nbsp;allocations.&nbsp;The&nbsp;new&nbsp;allocator&nbsp;returns&nbsp;a&nbsp;rate&nbsp;for
&gt;&nbsp;&gt;&gt;&nbsp;each&nbsp;reader,&nbsp;but&nbsp;the&nbsp;delivery&nbsp;section&nbsp;still&nbsp;describes&nbsp;broadcasting&nbsp;one
&gt;&nbsp;&gt;&gt;&nbsp;total&nbsp;and&nbsp;dividing&nbsp;it&nbsp;equally.&nbsp;How&nbsp;would&nbsp;each&nbsp;reader&nbsp;receive&nbsp;its
&gt;&nbsp;&gt;&gt;&nbsp;individual
&gt;&nbsp;&gt;&gt;&nbsp;allocation?
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;Best,
&gt;&nbsp;&gt;&gt;&nbsp;Weiqing
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;On&nbsp;Tue,&nbsp;Oct&nbsp;13,&nbsp;2026&nbsp;at&nbsp;9:54
 AM&nbsp;Peter&nbsp;Huang&nbsp;<[email protected]
&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;wrote:
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;Hi&nbsp;Yanquan,
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;Thanks&nbsp;for&nbsp;the&nbsp;feedback&nbsp;and&nbsp;questions.&nbsp;Sorry&nbsp;for&nbsp;the&nbsp;late&nbsp;reply&nbsp;as&nbsp;I
&gt;&nbsp;am
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;working&nbsp;on&nbsp;an&nbsp;internal&nbsp;solution&nbsp;for&nbsp;testing&nbsp;end&nbsp;to&nbsp;end.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;1.&nbsp;Lack&nbsp;of&nbsp;source-level&nbsp;attribution
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;For&nbsp;Flink&nbsp;jobs&nbsp;that&nbsp;consume&nbsp;data&nbsp;from&nbsp;multiple&nbsp;sources,&nbsp;users&nbsp;can
&gt;&nbsp;&gt;&gt;&nbsp;leverage
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;the&nbsp;new&nbsp;API&nbsp;introduced&nbsp;in&nbsp;DataStreamSource&nbsp;to&nbsp;configure
&gt;&nbsp;source-specific
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;RateLimitParams,&nbsp;rather&nbsp;than&nbsp;relying&nbsp;on&nbsp;a&nbsp;global&nbsp;configuration.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;This&nbsp;provides&nbsp;greater&nbsp;flexibility&nbsp;and&nbsp;enables&nbsp;independent
&gt;&nbsp;rate-limiting
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;behavior&nbsp;for&nbsp;each&nbsp;source&nbsp;based&nbsp;on&nbsp;its&nbsp;workload&nbsp;characteristics&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;throughput&nbsp;requirements.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;2.&nbsp;Sensitivity&nbsp;to&nbsp;small&nbsp;absolute&nbsp;checkpoint&nbsp;durations
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;The&nbsp;activation&nbsp;threshold&nbsp;is&nbsp;defined&nbsp;as&nbsp;a&nbsp;configurable&nbsp;fraction&nbsp;of&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;checkpoint&nbsp;interval.&nbsp;For&nbsp;example,&nbsp;if&nbsp;the&nbsp;checkpoint&nbsp;interval&nbsp;is&nbsp;10
&gt;&nbsp;&gt;&gt;&nbsp;minutes
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;and&nbsp;source.dynamic.rate-limit.trend-threshold&nbsp;is&nbsp;set&nbsp;to&nbsp;0.3,&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;activation
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;threshold&nbsp;would&nbsp;be&nbsp;3&nbsp;minutes&nbsp;(10&nbsp;×&nbsp;0.3).
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;If&nbsp;the&nbsp;checkpoint&nbsp;duration&nbsp;remains&nbsp;below&nbsp;3&nbsp;minutes,&nbsp;no&nbsp;dynamic
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;rate-limiting&nbsp;adjustment&nbsp;is&nbsp;necessary.&nbsp;This&nbsp;approach&nbsp;allows&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;activation
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;threshold&nbsp;to&nbsp;scale&nbsp;proportionally&nbsp;with&nbsp;the&nbsp;configured&nbsp;checkpoint
&gt;&nbsp;&gt;&gt;&nbsp;interval,
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;avoiding&nbsp;unnecessary&nbsp;rate&nbsp;adjustments&nbsp;when&nbsp;checkpoint&nbsp;duration&nbsp;is
&gt;&nbsp;&gt;&gt;&nbsp;within&nbsp;an
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;acceptable&nbsp;range.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;3.&nbsp;Coordination&nbsp;semantics.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;As&nbsp;you&nbsp;mentioned,&nbsp;rate&nbsp;updates&nbsp;are&nbsp;soft&nbsp;control&nbsp;signals&nbsp;and&nbsp;are
&gt;&nbsp;&gt;&gt;&nbsp;therefore
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;loss-tolerant.&nbsp;The&nbsp;coordination&nbsp;mechanism&nbsp;and&nbsp;loss-handling&nbsp;semantics
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;follow&nbsp;the&nbsp;same&nbsp;approach&nbsp;as&nbsp;WatermarkAlignmentEvent.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;4.&nbsp;unaligned&nbsp;checkpoints
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;The&nbsp;proposal&nbsp;supports&nbsp;aligned&nbsp;checkpoints&nbsp;only.&nbsp;If&nbsp;users&nbsp;configure
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;unaligned
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;checkpoints,&nbsp;all&nbsp;dynamic&nbsp;rate-limiting&nbsp;configurations&nbsp;will&nbsp;be&nbsp;ignored
&gt;&nbsp;&gt;&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;will&nbsp;have&nbsp;no&nbsp;effect.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;The&nbsp;Proposal&nbsp;is&nbsp;updated&nbsp;accordingly.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;Best&nbsp;Regards
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;Peter&nbsp;Huang
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;On&nbsp;Thu,&nbsp;Oct&nbsp;8,&nbsp;2026&nbsp;at&nbsp;3:11
 AM&nbsp;Yanquan&nbsp;Lv&nbsp;<[email protected]&gt;&nbsp;wrote:
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Hi&nbsp;Peter,
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Thanks&nbsp;for&nbsp;putting&nbsp;together&nbsp;this&nbsp;proposal.&nbsp;I&nbsp;agree&nbsp;that&nbsp;static&nbsp;rate
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;limiting&nbsp;has&nbsp;its&nbsp;limitations,&nbsp;especially&nbsp;for&nbsp;pipelines&nbsp;involving
&gt;&nbsp;large
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;language&nbsp;model&nbsp;(LLM)&nbsp;inference,&nbsp;where&nbsp;downstream&nbsp;processing&nbsp;capacity
&gt;&nbsp;&gt;&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;latency&nbsp;can&nbsp;fluctuate&nbsp;significantly.&nbsp;However,&nbsp;I&nbsp;have&nbsp;a&nbsp;few&nbsp;questions
&gt;&nbsp;&gt;&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;concerns&nbsp;about&nbsp;the&nbsp;current&nbsp;design&nbsp;that&nbsp;I&nbsp;would&nbsp;like&nbsp;to&nbsp;discuss&nbsp;with
&gt;&nbsp;&gt;&gt;&nbsp;you
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;the&nbsp;community.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;1.&nbsp;Lack&nbsp;of&nbsp;source-level&nbsp;attribution
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;For&nbsp;a&nbsp;job&nbsp;with&nbsp;multiple&nbsp;sources,&nbsp;even&nbsp;if&nbsp;the&nbsp;increase&nbsp;in&nbsp;checkpoint
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;duration&nbsp;is&nbsp;caused&nbsp;by&nbsp;only&nbsp;one&nbsp;source,&nbsp;every&nbsp;SourceCoordinator
&gt;&nbsp;&gt;&gt;&nbsp;observes
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;duration&nbsp;of&nbsp;the&nbsp;same&nbsp;global&nbsp;checkpoint.&nbsp;As&nbsp;a&nbsp;result,&nbsp;all&nbsp;sources
&gt;&nbsp;with
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;dynamic&nbsp;rate&nbsp;limiting&nbsp;enabled&nbsp;may&nbsp;independently&nbsp;interpret&nbsp;the
&gt;&nbsp;slowdown
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;as&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;signal&nbsp;to&nbsp;reduce&nbsp;their&nbsp;rates,&nbsp;including&nbsp;sources&nbsp;that&nbsp;did&nbsp;not
&gt;&nbsp;&gt;&gt;&nbsp;contribute
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;to
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;the&nbsp;checkpoint&nbsp;slowdown.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;2.&nbsp;Sensitivity&nbsp;to&nbsp;small&nbsp;absolute&nbsp;checkpoint&nbsp;durations
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Using&nbsp;only&nbsp;the&nbsp;relative&nbsp;change&nbsp;in&nbsp;checkpoint&nbsp;duration&nbsp;can&nbsp;make&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;algorithm&nbsp;overly&nbsp;sensitive&nbsp;when&nbsp;the&nbsp;absolute&nbsp;durations&nbsp;are&nbsp;small.
&gt;&nbsp;For
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;example,&nbsp;an&nbsp;increase&nbsp;from&nbsp;100&nbsp;ms&nbsp;to&nbsp;1&nbsp;second&nbsp;represents&nbsp;a&nbsp;tenfold
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;increase
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;and&nbsp;would&nbsp;strongly&nbsp;indicate&nbsp;a&nbsp;worsening&nbsp;trend,&nbsp;even&nbsp;though&nbsp;a
&gt;&nbsp;1-second
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;checkpoint&nbsp;may&nbsp;still&nbsp;be&nbsp;perfectly&nbsp;healthy&nbsp;and&nbsp;far&nbsp;below&nbsp;the
&gt;&nbsp;configured
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;checkpoint&nbsp;timeout.&nbsp;Could&nbsp;the&nbsp;algorithm&nbsp;introduce&nbsp;an&nbsp;activation
&gt;&nbsp;&gt;&gt;&nbsp;threshold
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;based&nbsp;on&nbsp;the&nbsp;checkpoint&nbsp;timeout,&nbsp;or&nbsp;a&nbsp;separately&nbsp;configured&nbsp;target
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;duration,&nbsp;and&nbsp;ignore&nbsp;relative&nbsp;fluctuations&nbsp;while&nbsp;the&nbsp;checkpoint
&gt;&nbsp;&gt;&gt;&nbsp;duration
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;remains&nbsp;below&nbsp;that&nbsp;threshold?&nbsp;This&nbsp;could&nbsp;prevent&nbsp;unnecessary
&gt;&nbsp;&gt;&gt;&nbsp;throttling
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;caused&nbsp;by&nbsp;large&nbsp;relative&nbsp;changes&nbsp;from&nbsp;a&nbsp;very&nbsp;small&nbsp;baseline.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;3.&nbsp;Coordination&nbsp;semantics&nbsp;and&nbsp;unaligned&nbsp;checkpoints
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;The&nbsp;new&nbsp;bidirectional&nbsp;coordination&nbsp;between&nbsp;the&nbsp;SourceOperators&nbsp;and
&gt;&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;SourceCoordinator&nbsp;also&nbsp;introduces&nbsp;additional&nbsp;failure-handling&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;compatibility&nbsp;concerns.&nbsp;The&nbsp;proposal&nbsp;does&nbsp;not&nbsp;specify&nbsp;how&nbsp;the&nbsp;loss
&gt;&nbsp;of
&gt;&nbsp;&gt;&gt;&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;ReportedThroughputEvent&nbsp;or&nbsp;DynamicRateLimitEvent&nbsp;should&nbsp;be&nbsp;handled.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;Since&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;rate&nbsp;update&nbsp;is&nbsp;a&nbsp;soft&nbsp;control&nbsp;signal,&nbsp;should&nbsp;DynamicRateLimitEvent
&gt;&nbsp;be
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;loss-tolerant,&nbsp;similar&nbsp;to&nbsp;WatermarkAlignmentEvent,&nbsp;rather&nbsp;than
&gt;&nbsp;&gt;&gt;&nbsp;allowing
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;an
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;occasional&nbsp;delivery&nbsp;failure&nbsp;to&nbsp;trigger&nbsp;task&nbsp;failover?
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;The&nbsp;proposal&nbsp;also&nbsp;does&nbsp;not&nbsp;discuss&nbsp;unaligned&nbsp;checkpoints.&nbsp;While&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;OperatorEvent&nbsp;mechanism&nbsp;itself&nbsp;appears&nbsp;to&nbsp;be&nbsp;compatible&nbsp;with
&gt;&nbsp;unaligned
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;checkpoints,&nbsp;the&nbsp;assumption&nbsp;behind&nbsp;the&nbsp;control&nbsp;signal&nbsp;may&nbsp;no&nbsp;longer
&gt;&nbsp;&gt;&gt;&nbsp;hold.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Unaligned&nbsp;checkpoints&nbsp;allow&nbsp;barriers&nbsp;to&nbsp;overtake&nbsp;buffered&nbsp;records
&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;are
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;designed&nbsp;to&nbsp;make&nbsp;checkpoint&nbsp;duration&nbsp;largely&nbsp;independent&nbsp;of&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;current
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;throughput&nbsp;and&nbsp;backpressure.&nbsp;In&nbsp;that&nbsp;case,&nbsp;a&nbsp;checkpoint-duration
&gt;&nbsp;trend
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;may
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;not&nbsp;reliably&nbsp;indicate&nbsp;that&nbsp;the&nbsp;source&nbsp;rate&nbsp;is&nbsp;too&nbsp;high.&nbsp;Has&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;algorithm
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;been&nbsp;evaluated&nbsp;for&nbsp;aligned&nbsp;checkpoints,&nbsp;unaligned&nbsp;checkpoints,&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;checkpoints&nbsp;that&nbsp;switch&nbsp;from&nbsp;aligned&nbsp;to&nbsp;unaligned&nbsp;after&nbsp;an&nbsp;alignment
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;timeout?&nbsp;Would&nbsp;these&nbsp;modes&nbsp;require&nbsp;different&nbsp;feedback&nbsp;signals&nbsp;or
&gt;&nbsp;&gt;&gt;&nbsp;control
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;strategies?
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Peter&nbsp;Huang&nbsp;<[email protected]&gt;&nbsp;于2026年10月1日周四&nbsp;02:38写道:
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Hi&nbsp;Everyone,
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;I&nbsp;would&nbsp;like&nbsp;to&nbsp;start&nbsp;a&nbsp;discussion&nbsp;on&nbsp;FLIP-XXX:&nbsp;Dynamic&nbsp;Rate
&gt;&nbsp;&gt;&gt;&nbsp;Limiting
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;for
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;FLIP-27&nbsp;Source&nbsp;[1].
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Flink's&nbsp;FLIP-27&nbsp;Source&nbsp;API&nbsp;already&nbsp;supports&nbsp;rate&nbsp;limiting
&gt;&nbsp;&gt;&gt;&nbsp;(RateLimiter
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;/
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;RateLimiterStrategy&nbsp;/&nbsp;RateLimitedSourceReader&nbsp;in&nbsp;flink-core),&nbsp;but
&gt;&nbsp;&gt;&gt;&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;limit
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;is&nbsp;static:&nbsp;it's&nbsp;fixed&nbsp;once&nbsp;at&nbsp;source&nbsp;construction&nbsp;time&nbsp;and&nbsp;has&nbsp;no
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;visibility&nbsp;into&nbsp;how&nbsp;the&nbsp;job&nbsp;is&nbsp;actually&nbsp;running.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Two&nbsp;pain&nbsp;points&nbsp;observed&nbsp;in&nbsp;this&nbsp;static&nbsp;rate&nbsp;limit&nbsp;feature.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;1.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;It&nbsp;is&nbsp;hard&nbsp;to&nbsp;set&nbsp;up&nbsp;a&nbsp;static&nbsp;limit&nbsp;for&nbsp;different&nbsp;scenarios,
&gt;&nbsp;for
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;example,&nbsp;periodical&nbsp;traffic&nbsp;peak,&nbsp;regional&nbsp;failover&nbsp;situation,
&gt;&nbsp;&gt;&gt;&nbsp;and
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;etc.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;2.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;For&nbsp;pipelines&nbsp;that&nbsp;throughput&nbsp;is&nbsp;bounded&nbsp;by&nbsp;in&nbsp;process&nbsp;RPC&nbsp;or
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;downstream
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;service.&nbsp;Users&nbsp;prefer&nbsp;to&nbsp;slow&nbsp;down&nbsp;the&nbsp;process&nbsp;rather&nbsp;than
&gt;&nbsp;impact
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;these
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;services&nbsp;or&nbsp;job&nbsp;failure&nbsp;due&nbsp;to&nbsp;checkpoint&nbsp;timeout.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;The&nbsp;proposal&nbsp;aims&nbsp;to&nbsp;add&nbsp;features&nbsp;below&nbsp;to&nbsp;improve&nbsp;the&nbsp;resiliency
&gt;&nbsp;of
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Flink
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;application&nbsp;with&nbsp;adjustable&nbsp;ratelimit&nbsp;with&nbsp;the&nbsp;feedback&nbsp;loop&nbsp;from
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;checkpoint&nbsp;time:
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;1.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;Add&nbsp;a&nbsp;dynamic&nbsp;rate&nbsp;limit&nbsp;to&nbsp;the&nbsp;Source&nbsp;interface&nbsp;that&nbsp;can
&gt;&nbsp;adjust
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;itself
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;automatically,&nbsp;using&nbsp;the&nbsp;historical&nbsp;checkpoint&nbsp;completion&nbsp;time
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;tracked
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;by&nbsp;the&nbsp;SourceCoordinator&nbsp;as&nbsp;the&nbsp;feedback&nbsp;signal&nbsp;(checkpoints
&gt;&nbsp;&gt;&gt;&nbsp;getting
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;slower&nbsp;→&nbsp;back&nbsp;off;&nbsp;checkpoints&nbsp;healthy&nbsp;→&nbsp;ramp&nbsp;back&nbsp;up).
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;2.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;Expose&nbsp;the&nbsp;tuning&nbsp;knobs&nbsp;as&nbsp;standard&nbsp;Flink&nbsp;ConfigOptions&nbsp;instead
&gt;&nbsp;&gt;&gt;&nbsp;of&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;hand-rolled&nbsp;parameters&nbsp;object,&nbsp;so&nbsp;the&nbsp;feature&nbsp;is&nbsp;configurable
&gt;&nbsp;the
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;same
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;way
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;as&nbsp;any&nbsp;other&nbsp;Flink&nbsp;job&nbsp;setting.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;3.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;Base&nbsp;the&nbsp;actual&nbsp;rate&nbsp;adjustment&nbsp;on&nbsp;the&nbsp;source&nbsp;operator's
&gt;&nbsp;current
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;observed&nbsp;throughput,&nbsp;not&nbsp;on&nbsp;the&nbsp;previously-broadcast&nbsp;target
&gt;&nbsp;rate,
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;so&nbsp;a
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;throttle/ramp&nbsp;decision&nbsp;takes&nbsp;effect&nbsp;immediately&nbsp;instead&nbsp;of
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;compounding
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;off
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&nbsp;&nbsp;&nbsp;a&nbsp;stale&nbsp;number.
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Looking&nbsp;forward&nbsp;to&nbsp;your&nbsp;feedback!
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Best&nbsp;Regards
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;Peter&nbsp;Huang
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;[1]
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;https://docs.google.com/document/d/1oOUBY6cbLnbvA3Xs9Hm8irvxStPHy5jIEjFec_46rNg/edit?tab=t.0#heading=h.exegx0l01gnh
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;&nbsp;&gt;
&gt;&nbsp;&gt;&gt;
&gt;&nbsp;&gt;
&gt;
&gt;&nbsp;Unless&nbsp;otherwise&nbsp;stated&nbsp;above:
&gt;
&gt;&nbsp;IBM&nbsp;United&nbsp;Kingdom&nbsp;Limited
&gt;&nbsp;Registered&nbsp;in&nbsp;England&nbsp;and&nbsp;Wales&nbsp;with&nbsp;number&nbsp;741598
&gt;&nbsp;Registered&nbsp;office:&nbsp;Building&nbsp;C,&nbsp;IBM&nbsp;Hursley&nbsp;Office,&nbsp;Hursley&nbsp;Park&nbsp;Road,
&gt;&nbsp;Winchester,&nbsp;Hampshire&nbsp;SO21&nbsp;2JN
&gt;

Reply via email to