Jdbc Catalog 相当于通过一个jdbc client 访问mysql 库,这种聚合查询,会将数据读取到doris后,在doris中进行聚合。 所以效率取决于jdbc client 拉取数据的时间。
另一种就是直接把mysql的数据insert 到doris中,然后再doris中查询,那样会快很多 -- Best Regards Mingyu Chen Email: morning...@apache.org 在 2024-04-08 16:30:08,"ha.fen...@aisino.com" <ha.fen...@aisino.com> 写道: >使用如下方式建立CATALOG: >CREATE CATALOG jdbc_test PROPERTIES ( > "type"="jdbc", > "user"="root", > "password"="root", > "jdbc_url" = "jdbc:mysql://10.0.20.57:3306", > "driver_url" = > "file:///opt/soft/doris/apache-doris-2.1.0-bin-arm64/mysql-connector-java-5.1.49.jar", > "driver_class" = "com.mysql.jdbc.Driver", > "only_specified_database" = "true", > "include_database_list" = "test", > "connection_pool_min_size" = "1", > "connection_pool_max_size" = "10" >); >使用如下语句聚合一个200万数据表,时间大概90秒,部署环境只是在一台8G内存的测试机器,doris 2.1.0配置基本没有改动 >select namecode,sum(je) from table1 group by namecode; >问题: >1、目前的速度确实比直接在mysql客户段查询要快,这条语句在客户端执行了几分钟都没有执行完,但是对于用户点击查询要等1分半钟还是有点慢,是不是部署成集群会快很多? >2、使用jdbc外表的形式有没有其他优化方式,是不是就没法使用数据存储在doris中,建表、索引、分区、分桶等之类的优化?