MFF4030 — Nền tảng dữ liệu lớn mô phỏng
Ngân hàng số mô phỏng sinh sự kiện liên tục. Mỗi ô dưới đây là một công cụ; đăng nhập bằng tài khoản
hvNN và mật khẩu được phát (cùng một mật khẩu cho mọi công cụ).
Ngân hàng → ① Redpanda (luồng) → ② Hồ dữ liệu bronze → ③ Spark làm sạch, chấm điểm
→ silver, gold → ⑤ Kho PostgreSQL / Trino → ⑥ Superset. ④ Airflow điều phối cả chuỗi;
JupyterLab để khám phá.
Quy tắc dùng chung
- Đọc được mọi dữ liệu chung; chỉ ghi được vào vùng của mình:
silver/hvNN/,gold/hvNN/, schemahvNNtrong kho. - Cụm Spark dùng chung cho cả lớp: xong việc thì
ss.stop(); JupyterLab rảnh 30 phút tự tắt, bài trongcua_toi/vẫn còn. - Quy trình Airflow của bạn nằm ở
cua_toi/quy_trinh/*.yaml: sửa, lưu, chờ 30 giây.