Hi, Everyone,
Below are the weekly meeting minutes of the Operator Group.
Date: 2021/9/23
Host: Chi-Sheng Liu
Participants:
朱哲廣、Brandonlin、Chi-Sheng Liu、王友廷
Discussion
- 原先正在進行notebook operation的refactoring,但開發到一半現在maven
module之間的關係實在太過複雜,導致現在的架構其實很不容易做到我們單獨針對k8s這樣的環境下進行更精細的操作。具體來說:
- rest api
controller跟notemanager都放在sumarine-server-core下,他們會相依於submarine-server-api下面的一些共用的interface/class(Submitter或Notebook)
-
submarine-submitter-k8s是相依於submarine-server-api跟submarine-server-core
- sumarine-server-core透過reflection的方式在runtime取得k8sSubmitter的instance
- 這幾個module之間的相依關係有些太過複雜,導致我們原先想做到的把businees
logic留在sumarine-server-core下面的notebookManager、
k8sSubmitter單純的與k8s互動且返回來自於k8s的處理結果變得難以做到(因為跟notemanager在compile階段根本不會知道他接上的會是哪種實作的submitter)。
Conclusion
- 先將一些目前確定不會用到的package給移除,重新調整module之間的定位跟相依關係之後, 再來一起進行refactoring。
The Operater group Meeting is on every Thursday 22:00(GMT+8), feel free to
join the discussion.
Sync Up:
https://docs.google.com/document/d/16pUO3TP4SxSeLduG817GhVAjtiph9HYpRHo_JgduDvw/edit
Slack Developer:
https://join.slack.com/t/the-asf/shared_invite/zt-vlfbf7ch-HkbNHiU_uDlcH_RvaHv9gQ
YouTube: https://www.youtube.com/channel/UCmy7EV9WD9YM_iOpcGwIQPA
Cheers,
Liang-Chun