Jdbc Catalog 相当于通过一个jdbc client 访问mysql 库,这种聚合查询,会将数据读取到doris后,在doris中进行聚合。
所以效率取决于jdbc client 拉取数据的时间。

另一种就是直接把mysql的数据insert 到doris中,然后再doris中查询,那样会快很多




--

Best Regards
Mingyu Chen

Email:
morning...@apache.org





在 2024-04-08 16:30:08,"ha.fen...@aisino.com" <ha.fen...@aisino.com> 写道:
>使用如下方式建立CATALOG:
>CREATE CATALOG jdbc_test PROPERTIES (
>    "type"="jdbc",
>    "user"="root",
>    "password"="root",
>    "jdbc_url" = "jdbc:mysql://10.0.20.57:3306",
>    "driver_url" = 
> "file:///opt/soft/doris/apache-doris-2.1.0-bin-arm64/mysql-connector-java-5.1.49.jar",
>    "driver_class" = "com.mysql.jdbc.Driver",
>    "only_specified_database" = "true",
>    "include_database_list" = "test",
>    "connection_pool_min_size" = "1",
>    "connection_pool_max_size" = "10"
>);
>使用如下语句聚合一个200万数据表,时间大概90秒,部署环境只是在一台8G内存的测试机器,doris 2.1.0配置基本没有改动
>select namecode,sum(je) from table1 group by namecode;
>问题:
>1、目前的速度确实比直接在mysql客户段查询要快,这条语句在客户端执行了几分钟都没有执行完,但是对于用户点击查询要等1分半钟还是有点慢,是不是部署成集群会快很多?
>2、使用jdbc外表的形式有没有其他优化方式,是不是就没法使用数据存储在doris中,建表、索引、分区、分桶等之类的优化?

Reply via email to