1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
| graph TD
%% 数据输入层
A[外部数据源] -->|DataX/SFTP| B[Kafka]
A -->|批量导入| C[HDFS]
B -->|实时流| D[Flink]
C -->|ETL| E[Hive]
%% 计算层
D -->|实时处理| F[Spark]
E -->|离线分析| F
F -->|结果存储| G[MySQL/Redis]
%% 资源调度与协调
I[ZooKeeper] -->|协调| B
I -->|选举| J[DolphinScheduler]
J -->|调度任务| E
J -->|触发作业| D
J -->|调用| K[DataX]
%% 监控与治理
L[Prometheus] -->|指标采集| M[Grafana]
L -->|监控| N[Nacos]
N -->|配置中心| D
%% 存储层
C -->|分布式存储| O[Hadoop HDFS]
G -->|缓存| P[Redis]
G -->|结构化存储| Q[MySQL]
%% 文件传输
R[SFTP] -->|文件上传| C
|
