GitHub user Alanxtl added a comment to the discussion: [AI] AI gateway milestones
其他的我觉得没问题挺好的 我有两个疑惑的点 1. 两层分离的endpoint 有必要吗？本来endpoint是没有snapshot的 然后加了snapshot导致不能实时更新 现在又要引入一个没有snapshot的第二层 那这个第二层的读取依然要加锁 无锁读取依然实现不了 感觉就很多余 2. 关于 Scorer 这个东西，我觉得得先明确一下现在我们ai-gateway的用户群体是谁 如果是面向给下游做二级分发的人 这个东西完全可以让使用者自己定义 我们再弄一个加权模型就感觉不太聪明的样子 如果是面向普通llm使用者那我觉得就用healthy这个指标就够了呀 3. Multi-Kind 统一 这个事情我觉得很好 但是 “多 cluster kind 的健康检查如何统一” 这个事情我觉得还得再考虑一下 想一下这个是应该给使用者开放接口让他们自己实现 还是我们内置实现 GitHub link: https://github.com/apache/dubbo-go-pixiu/discussions/696#discussioncomment-17206755 ---- This is an automatically sent email for [email protected]. To unsubscribe, please send an email to: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
