如何 增加 doris ROUTINE LOAD​ 处理 频率

2022-07-07 Thread magpie
你好: 我新安装了doris,做应用尝试。目前接人kafka数据碰到了问题,请求帮助。目前 FE 1个,BE 4个。 ROUTINE LOAD 配置如下: CREATE ROUTINE LOAD cloud.kafka_ods_wm_job ON ods_wm * PROPERTIES ( "desired_concurrent_number"="20", "max_batch_interval" = "5", "strict_mode" = "false", "format" = "json" ) FROM KAFKA ( "kafka_b

Re: 回复:如何 增加 doris ROUTINE LOAD​ 处理 频率

2022-07-07 Thread magpie
王总: 谢谢你的回复。 现状是 kafka 有20个分区。忙时 10万条每秒。一条约2.5k。 我们把 max_consumer_num_per_group 设成20 push_write_mbytes_per_sec 为 25 调整参数,再试 发件人:"王磊" 发送时间:2022-07-07 18:57:55 (星期四) 收件人: "陈爱国(magpie)" 抄送: "dev@doris.apache.org" 主题: 回复:如何 增加 doris

num of tablet being scheduled failed 太多了,通过修改参数能改善吗?

2022-08-25 Thread magpie
你好: 我三台服务器安装了doris,1FE+2BE。每台BE服务器,装两个BE节点。目前doris运行正常。 看日志,显示大量“(tablet scheduler|39) [TabletScheduler.removeTabletCtx():1349] remove the tablet 16007. because: schedule failed too many times and unable to find low backend” 1.执行,命令 show proc "/cluster_balance/sched_stat";得到如下返回值。 2 猜想