[Update]Experience Gateway Manager

Bài toán cần giải quyết

Hiện tại, hệ thống server chính của tôi đặt tại Hà Nội và sử dụng mạng dùng chung nên không thể NAT port. Ban đầu, tôi sử dụng Cloudflare Tunnel để giải quyết, tuy nhiên giải pháp này bộc lộ hai nhược điểm chí mạng:

1. Phụ thuộc cáp quang biển: Traffic từ Việt Nam đi qua Cloudflare thường bị điều hướng vòng sang Singapore hoặc Taiwan. Khi đứt cáp, truy cập bị gián đoạn và tốc độ giảm sút nghiêm trọng.
2. Giới hạn giao thức: Cloudflare Tunnel không hỗ trợ tốt các giao thức ngoại lai (như UDP), gây cản trở cho nhiều services đặc thù.

Mục tiêu đặt ra là tạo ra một hệ thống Gateway quản lý mạng để cài đặt trên một thiết bị siêu nhỏ gọn (như Wyse 3040 với cấu hình thấp), đặt tại một địa điểm khác có khả năng mở port. Thiết bị Gateway này sẽ đón luồng truy cập và định tuyến (routing) luồng dữ liệu ngược về server chính ở Hà Nội. Nhờ việc kết nối giữa Gateway và Server hoàn toàn là đường truyền trong nước, tốc độ và độ ổn định được đảm bảo tuyệt đối, không còn lo ngại đứt cáp quốc tế, đồng thời tự do sử dụng mọi loại giao thức (TCP, UDP).

Kiến trúc & Thiết kế

Dự án được phát triển theo triết lý "SQLite là nguồn chân lý" (Desired State). Hệ thống được chia làm 2 thành phần chính để đảm bảo bảo mật và giới hạn đặc quyền:

• WebUI (PHP Slim & SQLite): Chạy trên Nginx/Caddy với quyền hạn thấp, cung cấp giao diện quản lý Bootstrap + Alpine.js nhanh chóng, hỗ trợ quản lý Proxy, Forwarding, VPN, thiết bị, và Health Check.
• Local Agent (Golang): Một agent siêu nhẹ chạy ngầm ở port 9090 với quyền root. Agent này chỉ giao tiếp với localhost để nhận lệnh từ WebUI, chịu trách nhiệm áp dụng cấu hình thực tế cho Caddy, Nftables và thao tác với OpenVPN.

Thách thức & Giải pháp

1. Quản lý cấu hình mạng an toàn: Can thiệp trực tiếp vào nftables hoặc cấu hình Caddy rất dễ làm sập kết nối. EGM giải quyết bằng cách sinh ra file cấu hình (Generate), kiểm tra tính hợp lệ (Validate) trước khi áp dụng (Apply), đồng thời hỗ trợ cơ chế lưu nhiều bản Revisions để Rollback nhanh chóng khi có sự cố.
2. Luồng xử lý bất đồng bộ không cần Redis: Để hệ thống nhẹ nhất có thể, tôi đã thiết kế một FIFO queue ngay trên SQLite với kĩ thuật row-level locking (bảng app_locks) để quản lý các tiến trình tốn thời gian (như System Update/Upgrade package Debian) mà không cần đến Redis hay worker node phức tạp.