DS??????????
????????dolphinscheduler????????????????????ds????????????ds????????????????????????????????????????
????????????????ds??????????????????????????????kafka??????????hudi????????Task??????????????????????????ds????????????????????????????
1.kafka??????hudi????????????????????????????????????????????????????????????????datax????????????????????????????kafka????????????????????kafka??????????????????????kafka??????????????
switch (dbType) {
case HIVE:
dataxSubTask = new HiveSubTask(taskExecutionContext, logger);
break;
case KAFKA:
dataxSubTask = new KafkaSubTask(taskExecutionContext, logger);
break;
default:
dataxSubTask = new CommonSubTask(taskExecutionContext, logger);
break;
}
2.kafka??????hudi????????????????????spark????????????????????????????????sparkTask??????????????????????????????????????hudi??????????
??????????????????????????????????????????????????????????????????????????????hudi??????????????????????ds??????