Hadoop 系列索引¶
HDFS / YARN 核心原理与 Vertica Eon 公共存储实践。按初学者学习路径排列,从基础到深入。
学习路径¶
入门 — 先看这些¶
- HDFS 架构原理 — 组件职责与元数据机制(EditLog/FSImage/心跳),一切的基础
- HDFS 读写流程与副本放置策略 — 数据如何流入流出:pipeline 写、就近读、副本布局
读完这两篇,你对 HDFS「是什么」、数据怎么进出有了基本概念。
进阶 — 深入核心机制¶
- HDFS 高可用(QJM、ZKFC、Federation) — 生产可靠性:QJM 多数派、ZKFC 故障转移、Federation
- HDFS 小文件问题与治理 — 第一个实战问题:NameNode 内存膨胀的诊断与治理
- 纠删码 vs 三副本存储策略 — 存储成本优化:EC 原理、取舍与迁移
- HDFS 数据湖存储底座(与 Iceberg 的关系) — 场景化:HDFS 作为湖仓底座的选型与分工
学完这四篇,你具备了 HDFS 生产环境的核心判断力。
实战 — 部署与运维¶
- HDFS 高可用集群部署实战(QJM 手动切换版) — 动手:3 台机器搭双 NN + QJM
- Vertica Eon Communal Storage 运维实战 — 收束到 Vertica 主领域:Eon 公共存储运维与故障案例
计算层¶
- YARN 架构原理 — 资源管理与作业调度,与 HDFS 合成完整 Hadoop
相关¶
- ZooKeeper 系列 — HDFS HA 选主依赖的协调层(读 HDFS 高可用(QJM、ZKFC、Federation) 前建议先读)
- Vertica COPY 小文件加载优化 — 小文件治理在 Vertica 侧的姊妹篇