Mục Lục

Lời Tựa

• Ai Nên Đọc Cuốn Sách Này?
• Phạm Vi Của Cuốn Sách
• Bố Cục Cuốn Sách
• Tài Liệu Tham Khảo và Đọc Thêm
• O’Reilly Safari
• Cách Liên Hệ Chúng Tôi
• Lời Cảm Ơn

1. Những Đánh Đổi Trong Kiến Trúc Hệ Thống Dữ Liệu

• Hệ Thống Phân Tích so với Hệ Thống Vận Hành
  • Phân Biệt Xử Lý Giao Dịch và Phân Tích
  • Kho Dữ Liệu (Data Warehouse)
    • Từ kho dữ liệu đến data lake
    • Vượt ra ngoài data lake
  • Hệ Thống Nguồn và Dữ Liệu Dẫn Xuất
• Đám Mây (Cloud) so với Tự Vận Hành (Self-Hosting)
  • Ưu và Nhược Điểm của Dịch Vụ Đám Mây
  • Kiến Trúc Hệ Thống Cloud-Native
    • Phân tầng dịch vụ đám mây
    • Tách biệt lưu trữ và tính toán
  • Vận Hành Trong Kỷ Nguyên Đám Mây
• Hệ Thống Phân Tán so với Hệ Thống Đơn Nút
  • Vấn Đề Với Hệ Thống Phân Tán
  • Microservices và Serverless
  • Điện Toán Đám Mây so với Siêu Máy Tính
• Hệ Thống Dữ Liệu, Pháp Luật và Xã Hội
• Tóm Tắt
  • Tài Liệu Tham Khảo

2. Xác Định Các Yêu Cầu Phi Chức Năng

• Nghiên Cứu Điển Hình: Timeline Mạng Xã Hội
  • Biểu Diễn Người Dùng, Bài Đăng và Lượt Theo Dõi
  • Tạo và Cập Nhật Timeline
• Mô Tả Hiệu Suất
  • Độ Trễ và Thời Gian Phản Hồi
  • Trung Bình, Trung Vị và Phân Vị
  • Sử Dụng Chỉ Số Thời Gian Phản Hồi
• Độ Tin Cậy và Khả Năng Chịu Lỗi
  • Khả Năng Chịu Lỗi (Fault Tolerance)
  • Lỗi Phần Cứng và Phần Mềm
    • Chịu lỗi phần cứng qua dự phòng
    • Lỗi phần mềm
  • Con Người và Độ Tin Cậy
• Khả Năng Mở Rộng (Scalability)
  • Mô Tả Tải
  • Kiến Trúc Shared-Memory, Shared-Disk và Shared-Nothing
  • Nguyên Tắc Mở Rộng
• Khả Năng Bảo Trì (Maintainability)
  • Tính Vận Hành được: Làm Cho Vận Hành Dễ Dàng
  • Tính Đơn Giản: Quản Lý Sự Phức Tạp
  • Tính Tiến Hóa: Làm Cho Thay Đổi Dễ Dàng
• Tóm Tắt
  • Tài Liệu Tham Khảo

3. Mô Hình Dữ Liệu và Ngôn Ngữ Truy Vấn

• Mô Hình Quan Hệ (Relational Model) so với Mô Hình Tài Liệu (Document Model)
  • Sự Không Khớp Giữa Đối Tượng và Quan Hệ
    • Object-relational mapping (ORM)
    • Mô hình tài liệu cho quan hệ one-to-many
  • Chuẩn Hóa, Phi Chuẩn Hóa và Join
    • Đánh đổi của chuẩn hóa
    • Phi chuẩn hóa trong nghiên cứu điển hình mạng xã hội
  • Quan Hệ Many-to-One và Many-to-Many
  • Star và Snowflake: Schema cho Phân Tích
  • Khi Nào Dùng Mô Hình Nào
    • Tính linh hoạt schema trong mô hình tài liệu
    • Tính cục bộ dữ liệu cho đọc và ghi
    • Ngôn ngữ truy vấn cho tài liệu
    • Sự hội tụ của cơ sở dữ liệu tài liệu và quan hệ
• Mô Hình Dữ Liệu Dạng Đồ Thị (Graph-Like)
  • Property Graph
  • Ngôn Ngữ Truy Vấn Cypher
  • Truy Vấn Đồ Thị trong SQL
  • Triple-Store và SPARQL
    • Mô hình dữ liệu RDF
    • Ngôn ngữ truy vấn SPARQL
  • Datalog: Truy Vấn Quan Hệ Đệ Quy
  • GraphQL
• Event Sourcing và CQRS
• Dataframe, Ma Trận và Mảng
• Tóm Tắt
  • Tài Liệu Tham Khảo

4. Lưu Trữ và Truy Xuất

• Lưu Trữ và Lập Chỉ Mục cho OLTP
  • Lưu Trữ Log-Structured
    • Định dạng file SSTable
    • Xây dựng và hợp nhất SSTable
    • Bloom filter
    • Chiến lược compaction
  • B-Tree
    • Làm B-tree đáng tin cậy
    • Các biến thể của B-tree
  • So Sánh B-Tree và LSM-Tree
    • Hiệu suất đọc
    • Ghi tuần tự so với ghi ngẫu nhiên
    • Write amplification
    • Sử dụng dung lượng đĩa
  • Chỉ Mục Đa Cột và Thứ Cấp
    • Lưu giá trị trong chỉ mục
  • Giữ Mọi Thứ Trong Bộ Nhớ
• Lưu Trữ Dữ Liệu cho Phân Tích
  • Kho Dữ Liệu Đám Mây (Cloud Data Warehouses)
  • Lưu Trữ Hướng Cột (Column-Oriented Storage)
    • Nén cột (Column Compression)
    • Thứ tự sắp xếp trong lưu trữ cột
    • Ghi vào lưu trữ hướng cột
  • Thực Thi Truy Vấn: Biên Dịch và Vector Hóa
  • Materialized View và Data Cube
• Chỉ Mục Đa Chiều và Toàn Văn Bản
  • Tìm Kiếm Toàn Văn Bản (Full-Text Search)
  • Vector Embedding
• Tóm Tắt
  • Tài Liệu Tham Khảo

5. Mã Hóa và Tiến Hóa Schema

• Các Định Dạng Mã Hóa Dữ Liệu
  • Định Dạng Đặc Thù Ngôn Ngữ
  • JSON, XML và Các Biến Thể Nhị Phân
    • JSON Schema
    • Mã hóa nhị phân
  • Protocol Buffers
    • Field tag và tiến hóa schema
  • Avro
    • Schema của người viết và schema của người đọc
    • Quy tắc tiến hóa schema
    • Nhưng schema của người viết là gì?
    • Schema được tạo động
  • Ưu Điểm của Schema
• Các Phương Thức Truyền Dữ Liệu (Dataflow)
  • Dataflow Qua Cơ Sở Dữ Liệu
    • Các giá trị được ghi vào những thời điểm khác nhau
    • Lưu trữ lưu trữ
  • Dataflow Qua Dịch Vụ: REST và RPC
    • Web service
    • Vấn Đề với RPC (remote procedure calls)
    • Load balancer, service discovery và service mesh
    • Mã hóa dữ liệu và tiến hóa cho RPC
  • Durable Execution và Workflow
    • Durable execution
  • Kiến Trúc Hướng Sự Kiện (Event-Driven)
    • Message broker
    • Distributed actor framework
• Tóm Tắt
  • Tài Liệu Tham Khảo

6. Replication - Sao Chép Dữ Liệu

• Single-Leader Replication
  • Replication Đồng Bộ so với Bất Đồng Bộ
  • Thiết Lập Follower Mới
  • Xử Lý Khi Nút Gặp Sự Cố
    • Lỗi follower: Đồng bộ bù
    • Lỗi leader: Failover
  • Triển Khai Replication Log
    • Statement-based replication
    • Write-ahead log (WAL) shipping
    • Logical (row-based) log replication
• Vấn Đề Với Replication Lag
  • Đọc Những Gì Bạn Vừa Ghi
  • Monotonic Read
  • Consistent Prefix Read
  • Giải Pháp cho Replication Lag
• Multi-Leader Replication
  • Vận Hành Phân Tán Địa Lý
    • Topology multi-leader replication
    • Vấn đề với các topology khác nhau
  • Sync Engine và Local-First Software
    • Cộng tác thời gian thực, offline-first và local-first app
    • Ưu và nhược điểm của sync engine
  • Xử Lý Xung Đột Ghi
    • Tránh xung đột
    • Last write wins (bỏ các ghi đồng thời)
    • Giải quyết xung đột thủ công
    • Giải quyết xung đột tự động
  • CRDT và Operational Transformation
    • Xung đột là gì?
• Leaderless Replication
  • Ghi vào Cơ Sở Dữ Liệu Khi Một Nút Bị Tắt
    • Bắt kịp các ghi bị bỏ lỡ
    • Quorum cho đọc và ghi
  • Giới Hạn của Quorum Consistency
    • Theo dõi staleness
  • Hiệu Suất Single-Leader so với Leaderless Replication
    • Vận hành đa vùng
  • Phát Hiện Ghi Đồng Thời
    • Quan hệ “happens-before” và đồng thời
    • Nắm bắt quan hệ happens-before
    • Version vector
• Tóm Tắt
  • Tài Liệu Tham Khảo

7. Sharding - Phân Mảnh Dữ Liệu

• Ưu và Nhược Điểm của Sharding
  • Sharding cho Đa Thuê (Multitenancy)
• Sharding Dữ Liệu Key-Value
  • Sharding theo Khoảng Key
    • Cân bằng lại dữ liệu sharded theo khoảng key
  • Sharding theo Hash của Key
    • Hash modulo số nút
    • Số shard cố định
    • Sharding theo khoảng hash
    • Consistent hashing
  • Workload Lệch Tải và Giải Quyết Hot Spot
  • Vận Hành: Cân Bằng Lại Tự Động hay Thủ Công
• Định Tuyến Yêu Cầu (Request Routing)
• Sharding và Chỉ Mục Thứ Cấp (Secondary Indexes)
  • Chỉ Mục Thứ Cấp Cục Bộ (Local)
  • Chỉ Mục Thứ Cấp Toàn Cục (Global)
• Tóm Tắt
  • Tài Liệu Tham Khảo

8. Transactions - Giao Dịch

• Transaction Là Gì?
  • Ý Nghĩa của ACID
    • Atomicity (Tính nguyên tử)
    • Consistency (Tính nhất quán)
    • Isolation (Tính cô lập)
    • Durability (Tính bền vững)
  • Thao Tác Trên Đơn Đối Tượng và Đa Đối Tượng
    • Ghi đơn đối tượng
    • Sự cần thiết của multi-object transaction
    • Xử lý lỗi và hủy bỏ
• Các Mức Isolation Yếu
  • Read Committed
    • Không đọc bẩn (No dirty reads)
    • Không ghi bẩn (No dirty writes)
    • Triển khai read committed
  • Snapshot Isolation và Repeatable Read
    • Multi-version concurrency control (MVCC)
    • Quy tắc hiển thị cho snapshot nhất quán
    • Index và snapshot isolation
    • Snapshot isolation, repeatable read và sự nhầm lẫn đặt tên
  • Ngăn Chặn Lost Update
    • Thao tác ghi nguyên tử (atomic write)
    • Khóa tường minh (explicit locking)
    • Tự động phát hiện lost update
    • Ghi có điều kiện (compare-and-set)
    • Giải quyết xung đột và replication
  • Write Skew và Phantom
    • Đặc điểm của write skew
    • Thêm ví dụ về write skew
    • Phantom gây ra write skew
    • Vật chất hóa xung đột (materializing conflicts)
• Serializability
  • Thực Thi Tuần Tự Thực Sự
    • Đóng gói transaction trong stored procedure
    • Ưu và nhược điểm của stored procedure
    • Sharding
    • Tóm tắt về thực thi tuần tự
  • Two-Phase Locking (2PL)
    • Triển khai two-phase locking
    • Hiệu suất của two-phase locking
    • Predicate lock
    • Index-range lock
  • Serializable Snapshot Isolation (SSI)
    • Kiểm soát đồng thời bi quan so với lạc quan
    • Quyết định dựa trên tiền đề lỗi thời
    • Phát hiện đọc MVCC cũ
    • Phát hiện ghi ảnh hưởng đến đọc trước
    • Hiệu suất của serializable snapshot isolation
• Distributed Transactions
  • Two-Phase Commit (2PC)
    • Hệ thống các cam kết
    • Lỗi coordinator
    • Three-phase commit
  • Distributed Transaction Qua Nhiều Hệ Thống Khác Nhau
    • Xử lý tin nhắn exactly-once
    • XA transaction
    • Giữ khóa trong khi đang chờ
    • Khôi phục từ lỗi coordinator
    • Vấn đề với XA transaction
  • Distributed Transaction Nội Bộ Cơ Sở Dữ Liệu
    • Xử lý tin nhắn exactly-once xem xét lại
• Tóm Tắt
  • Tài Liệu Tham Khảo

9. Rắc Rối Với Hệ Thống Phân Tán

• Lỗi và Sự Cố Một Phần
• Mạng Không Đáng Tin Cậy
  • Giới Hạn của TCP
  • Lỗi Mạng Trong Thực Tế
  • Phát Hiện Lỗi
  • Timeout và Độ Trễ Không Có Giới Hạn
    • Tắc nghẽn mạng và hàng đợi
  • Mạng Đồng Bộ so với Bất Đồng Bộ
    • Chúng ta không thể đơn giản làm cho độ trễ mạng có thể dự đoán được sao?
• Đồng Hồ Không Đáng Tin Cậy
  • Đồng Hồ Đơn Điệu so với Đồng Hồ Thời Gian Thực
    • Đồng hồ thời gian thực
    • Đồng hồ đơn điệu
  • Đồng Bộ và Độ Chính Xác Đồng Hồ
  • Phụ Thuộc vào Đồng Hồ Đồng Bộ
    • Timestamp cho thứ tự sự kiện
    • Đọc đồng hồ với khoảng tin cậy
    • Đồng hồ đồng bộ cho snapshot toàn cục
  • Tạm Dừng Tiến Trình (Process Pauses)
    • Đảm bảo thời gian phản hồi
    • Giới hạn tác động của garbage collection
• Kiến Thức, Sự Thật và Dối Trá
  • Đa Số Quyết Định
  • Distributed Lock và Lease
    • Ngăn chặn zombie và yêu cầu trễ bằng fencing token
    • Fencing với nhiều replica
  • Byzantine Fault
    • Các dạng nói dối yếu
  • Mô Hình Hệ Thống và Thực Tế
    • Định nghĩa tính đúng đắn của thuật toán
    • An toàn và liveness
    • Ánh xạ mô hình hệ thống vào thế giới thực
  • Phương Pháp Hình Thức và Kiểm Tra Ngẫu Nhiên
    • Model checking và ngôn ngữ đặc tả
    • Fault injection
    • Kiểm tra mô phỏng xác định
• Tóm Tắt
  • Tài Liệu Tham Khảo

10. Tính Nhất Quán và Đồng Thuận (Consensus)

• Linearizability
  • Điều Gì Làm Cho Hệ Thống Linearizable?
  • Dựa Vào Linearizability
    • Khóa và bầu cử leader
    • Ràng buộc và đảm bảo tính duy nhất
    • Phụ thuộc thời gian đa kênh
  • Triển Khai Hệ Thống Linearizable
    • Linearizability và quorum
  • Chi Phí của Linearizability
    • Định lý CAP
    • Linearizability và độ trễ mạng
• Bộ Tạo ID và Đồng Hồ Logic
  • Đồng Hồ Logic (Logical Clocks)
    • Lamport timestamp
    • Hybrid logical clock
    • Lamport/hybrid logical clock so với vector clock
  • Bộ Tạo ID Linearizable
    • Triển khai bộ tạo ID linearizable
    • Thực thi ràng buộc bằng đồng hồ logic
• Consensus (Đồng Thuận)
  • Nhiều Dạng Consensus
    • Consensus đơn giá trị
    • Compare-and-set như consensus
    • Shared log như consensus
    • Fetch-and-add như consensus
    • Atomic commit như consensus
  • Consensus Trong Thực Tế
    • Sử dụng shared log
    • Từ single-leader replication đến consensus
    • Sự tinh tế của consensus
    • Ưu và nhược điểm của consensus
  • Dịch Vụ Phối Hợp (Coordination Services)
    • Phân bổ công việc cho các nút
    • Service discovery
• Tóm Tắt
  • Tài Liệu Tham Khảo

11. Xử Lý Theo Lô (Batch Processing)

• ……
• Tóm Tắt
  • Tài Liệu Tham Khảo

12. Xử Lý Luồng (Stream Processing)

• ……
• Tóm Tắt
  • Tài Liệu Tham Khảo

13. Triết Học Của Hệ Thống Luồng

• ……
• Tóm Tắt
  • Tài Liệu Tham Khảo

14. Làm Điều Đúng Đắn

• ……
• Tóm Tắt
  • Tài Liệu Tham Khảo

Bảng Chú Giải Thuật Ngữ

Thông Tin Xuất Bản

• Về Tác Giả
• Thông Tin Ấn Bản