Gaussian Splatting là kỹ thuật dựng lại một cảnh 3D chân thực từ ảnh hoặc video bằng hàng triệu “đốm” Gauss mờ có màu, có thể hiển thị mượt theo thời gian thực trên máy tính, kính VR và cả trình duyệt. So với các phương pháp trước, nó cho hình ảnh gần như ảnh chụp với tốc độ dựng và hiển thị nhanh hơn nhiều, nhưng chưa thay thế hoàn toàn mô hình lưới đa giác truyền thống.
Gaussian Splatting là gì?
Gaussian Splatting (cụ thể là 3D Gaussian Splatting, viết tắt 3DGS) là cách biểu diễn và hiển thị một cảnh 3D bằng rất nhiều hình elip mờ trong không gian, mỗi hình mang màu sắc và độ trong suốt riêng. Khi chồng hàng triệu “đốm” này lên nhau từ góc nhìn của camera, ta nhận được hình ảnh trông như ảnh chụp thật.
Định nghĩa — Gaussian Splatting: Kỹ thuật dựng cảnh 3D bằng các điểm Gauss (Gaussian — phân bố hình chuông, trong 3D có dạng elip mờ). “Splatting” nghĩa là “vẩy” từng điểm lên màn hình rồi hòa trộn màu để tạo ảnh cuối.
Hãy hình dung tranh chấm điểm (pointillism) ở dạng ba chiều: đứng xa thấy cảnh liền mạch, lại gần mới thấy vô số đốm màu, không có “bề mặt” tam giác rõ ràng.
Kỹ thuật này được công bố trong bài báo “3D Gaussian Splatting for Real-Time Radiance Field Rendering” tại SIGGRAPH 2023 bởi nhóm nghiên cứu từ Inria (Pháp) và Viện Max Planck (Đức). Nó thuộc họ radiance field (trường bức xạ — cách mô tả ánh sáng phát ra từ mọi điểm theo mọi hướng), cùng nhánh với NeRF nhưng nhanh hơn nhiều ở khâu hiển thị.
Gaussian Splatting hoạt động như thế nào?
Gaussian Splatting hoạt động theo ba bước: tìm vị trí camera từ ảnh, khởi tạo các điểm Gauss từ đám mây điểm thô, rồi tối ưu hóa chúng cho đến khi ảnh render khớp với ảnh chụp.
Bước 1: Xác định vị trí camera
Từ bộ ảnh đầu vào, phần mềm chạy Structure from Motion (SfM — kỹ thuật suy ra vị trí máy ảnh và điểm 3D từ nhiều ảnh), phổ biến nhất là COLMAP. Kết quả là vị trí, hướng của từng ảnh và một đám mây điểm thưa.
Bước 2: Khởi tạo các điểm Gauss
Mỗi điểm trong đám mây thưa trở thành một Gauss ban đầu. Mỗi Gauss có vị trí, kích thước theo ba trục, hướng xoay, độ mờ đục và màu phụ thuộc góc nhìn.
Bước 3: Tối ưu hóa
Hệ thống render cảnh từ đúng góc của từng ảnh gốc, so sánh với ảnh thật rồi điều chỉnh các tham số bằng gradient descent (thuật toán giảm dần sai số). Trong quá trình này, Gauss ở vùng thiếu chi tiết sẽ được nhân bản hoặc tách nhỏ, Gauss gần như trong suốt bị loại bỏ. Sau vài nghìn đến vài chục nghìn vòng lặp, cảnh có thể chứa từ vài trăm nghìn đến vài triệu Gauss.
Điểm khác biệt quan trọng: 3DGS không dùng mạng nơ-ron để render như NeRF. Nó dùng rasterization (raster hóa — cách GPU vẽ hình truyền thống), nên tốc độ hiển thị rất cao. Đây là lý do nó phù hợp với VR, nơi cần tốc độ khung hình cao để tránh chóng mặt.
Ưu điểm và hạn chế
Gaussian Splatting mạnh ở độ chân thực và tốc độ hiển thị, nhưng yếu ở khả năng chỉnh sửa, tương tác vật lý và dung lượng tệp.
| Khía cạnh | Ưu điểm | Hạn chế |
|---|---|---|
| Chất lượng hình ảnh | Gần như ảnh chụp, giữ chi tiết mảnh như lá, tóc, kính mờ | Vùng ít ảnh dễ xuất hiện “đốm bay” (floaters), mờ nhòe |
| Tốc độ | Hiển thị thời gian thực trên GPU phổ thông | Kính VR độc lập vẫn cần tối ưu, giảm số Gauss |
| Đầu vào | Chỉ cần ảnh/video điện thoại | Cần quay đúng kỹ thuật, đủ góc |
| Chỉnh sửa | Có công cụ cắt, dọn, ghép cảnh | Khó sửa chi tiết như mô hình lưới |
| Ánh sáng | Giữ nguyên ánh sáng lúc chụp | Không đổi ánh sáng động như vật thể PBR |
| Tương tác | Dùng tốt làm phông nền | Không có bề mặt sẵn cho va chạm vật lý |
| Dung lượng | Có định dạng nén đang phát triển | Tệp thô có thể lên hàng trăm MB |
Nếu bạn cần cân nhắc giữa các phương pháp số hóa, bài so sánh NeRF, Photogrammetry và Gaussian Splatting sẽ giúp chọn đúng công nghệ cho từng mục đích.
Quy trình tạo một cảnh Gaussian Splatting
Một cảnh splat chất lượng phụ thuộc phần lớn vào khâu ghi hình. Quy trình tham khảo:
- Khảo sát hiện trường:
xác định phạm vi, ánh sáng, vật thể chuyển động (người, xe, cây lay) và vùng phản chiếu mạnh như kính, mặt nước. - Ghi hình:
quay chậm, vòng quanh đối tượng ở nhiều độ cao; ảnh liền kề chồng lấp nhiều. Khóa
phơi sáng
và cân bằng trắng nếu được. - Lọc dữ liệu:
loại ảnh mờ do rung, trích khung hình từ video ở tần suất phù hợp. - Căn chỉnh camera:
chạy SfM (COLMAP hoặc công cụ tích hợp sẵn), kiểm tra tỷ lệ ảnh được căn chỉnh thành công. - Huấn luyện splat:
dùng phần mềm desktop hoặc dịch vụ đám mây, chọn số vòng lặp theo yêu cầu chất lượng. - Dọn dẹp và tối ưu:
xóa floaters, cắt vùng thừa, giảm số Gauss, nén tệp. - Tích hợp:
đưa vào Unity, Unreal, trình xem web hoặc nền tảng tham quan ảo; thêm điểm thông tin, âm thanh, điều hướng.
Góc kỹ thuật cho đội phát triển
Về mặt dữ liệu, mỗi Gauss lưu vị trí (3 số thực), tỷ lệ (3), quaternion xoay (4), opacity (1) và màu dưới dạng hệ số spherical harmonics (SH — hàm điều hòa cầu, mô tả màu thay đổi theo hướng nhìn). Với SH bậc 3, phần màu chiếm 48 số thực, tổng cộng khoảng 59 số thực mỗi Gauss, nên vài triệu Gauss dễ dàng tạo tệp PLY hàng trăm MB.
Pipeline render
Ma trận hiệp phương sai 3D được dựng từ tỷ lệ và hướng xoay: Σ = R·S·Sᵀ·Rᵀ. Khi render, mỗi Gauss được chiếu thành elip 2D trên màn hình, chia vào các ô (tile) 16×16 pixel, sắp xếp theo độ sâu bằng radix sort trên GPU, rồi hòa trộn alpha từ trước ra sau:
C = Σ_i c_i · α_i · Π_{j<i} (1 − α_j)Việc sắp xếp theo độ sâu mỗi khung hình là điểm nghẽn chính. Trên VR phải render hai mắt, nên cần giảm số Gauss, dùng sắp xếp gần đúng hoặc chia cảnh theo cấp độ chi tiết (LOD).
Công cụ và hệ sinh thái
- Huấn luyện:
mã nguồn gốc của Inria, Nerfstudio (phương pháp splatfacto), thư viện gsplat, các phần mềm desktop như Postshot, và ứng dụng di động/đám mây như Luma, Polycam, Scaniverse. - Chỉnh sửa và xem:
SuperSplat
(trình biên tập web của PlayCanvas), các viewer WebGL/WebGPU mã nguồn mở. - Engine:
plugin cộng đồng và thương mại cho Unity, Unreal Engine. - Nén:
giảm bậc SH, lượng tử hóa thuộc tính, định dạng nén như SPZ; việc chuẩn hóa splat trong hệ sinh thái glTF cũng đang được thảo luận.
Các công cụ này cập nhật rất nhanh, nên hãy kiểm tra phiên bản và giấy phép mới nhất trước khi đưa vào sản phẩm thương mại.
Kết hợp với lưới và AI
Trong thực tế, nhiều dự án dùng mô hình lai: splat cho phông nền chân thực, lưới đơn giản (collision mesh) ẩn bên dưới cho va chạm và điều hướng. Các hướng nghiên cứu mới như 2D Gaussian Splatting giúp trích xuất bề mặt tốt hơn, 4D Gaussian cho cảnh động, và kết hợp với mô hình tạo sinh để dựng splat từ ít ảnh. Bài Generative AI tạo mô hình 3D mô tả thêm cách AI tạo sinh giao thoa với các biểu diễn này.
Ứng dụng thực tế tại Việt Nam
Gaussian Splatting đặc biệt phù hợp với Việt Nam ở các lĩnh vực cần số hóa không gian thật nhanh, rẻ và đẹp. Các ví dụ dưới đây là kịch bản minh họa.
Du lịch và điểm đến: Một khu du lịch sinh thái có thể ghi hình bằng drone và máy ảnh cầm tay để tạo cảnh splat cho website, cho phép khách “đi dạo” trước khi đặt vé. So với ảnh 360 độ đứng yên tại từng điểm, splat cho phép di chuyển tự do hơn. Xem thêm giải pháp tham quan ảo 360 du lịch.
Bất động sản và nội thất: Căn hộ mẫu đã hoàn thiện có thể được số hóa trong một buổi để khách xem trên web hoặc kính VR, giữ đúng chất liệu gỗ, vải, ánh sáng thật.
Di sản và bảo tàng: Đình, chùa, hiện vật có nhiều chi tiết chạm khắc là đối tượng phù hợp. Splat giữ được cảm giác vật liệu cũ, rêu phong mà mô hình lưới nhẹ khó tái hiện. Bài số hóa di sản và bảo tàng ảo phân tích sâu hơn.
Sự kiện và thương hiệu: Ghi lại một không gian trưng bày, gian hàng triển lãm để tái sử dụng trên mạng xã hội hoặc website sau sự kiện.
Lưu ý: nắng gắt và lượng khách đông ở điểm du lịch Việt Nam khiến nên ghi hình vào sáng sớm hoặc ngày âm u.
Chi phí tham khảo
| Hạng mục | Khoảng chi phí (tham khảo, tùy phạm vi dự án) |
|---|---|
| Cảnh nhỏ (phòng, gian hàng) | Thấp đến trung bình, chủ yếu là công ghi hình và hậu kỳ |
| Công trình, khu ngoài trời có drone | Trung bình đến cao, phụ thuộc diện tích và giấy phép bay |
| Tích hợp vào ứng dụng VR/web tương tác | Tách riêng, phụ thuộc tính năng |
Câu hỏi thường gặp (FAQ)
Gaussian Splatting khác gì so với ảnh 360 độ?
Ảnh 360 độ chỉ cho xoay nhìn quanh tại một điểm cố định. Gaussian Splatting tái tạo không gian 3D thật, cho phép người xem di chuyển, đổi góc nhìn, cảm nhận chiều sâu, đặc biệt rõ khi xem bằng kính VR.
Có thể tạo Gaussian Splatting bằng điện thoại không?
Có. Nhiều ứng dụng cho phép quay video bằng điện thoại và xử lý trên đám mây hoặc ngay trên máy. Chất lượng phụ thuộc lớn vào cách quay: chậm, đủ góc, ánh sáng ổn định.
Gaussian Splatting có chạy được trên kính VR độc lập không?
Có thể, nhưng cần tối ưu: giảm số Gauss, nén dữ liệu và chia cảnh hợp lý. Khả năng thực tế phụ thuộc thiết bị cụ thể, nên kiểm tra trên kính mục tiêu sớm trong dự án.
Có in 3D hoặc dùng cho mô phỏng vật lý được không?
Không trực tiếp. Splat không có bề mặt kín như lưới tam giác. Cần chuyển đổi sang lưới bằng phương pháp trích xuất bề mặt hoặc kết hợp photogrammetry.
Gaussian Splatting có thay thế NeRF không?
Trong nhiều ứng dụng thời gian thực, Gaussian Splatting đã được ưu tiên hơn NeRF nhờ tốc độ hiển thị. Tuy vậy, hai hướng vẫn đang giao thoa và các nghiên cứu mới thường kết hợp ý tưởng của cả hai.
Kết luận
Gaussian Splatting là bước tiến lớn trong việc biến thế giới thật thành không gian 3D có thể khám phá: chỉ cần ảnh hoặc video, kết quả gần như ảnh chụp và hiển thị mượt theo thời gian thực. Hiểu rõ Gaussian Splatting là gì, điểm mạnh và giới hạn của nó, sẽ giúp doanh nghiệp chọn đúng chỗ để dùng: phông nền chân thực, tham quan ảo, lưu giữ không gian, thay vì kỳ vọng nó thay mọi mô hình 3D. Nếu bạn muốn thử nghiệm số hóa một không gian cụ thể, hãy liên hệ đội ngũ tư vấn để được đánh giá nhu cầu và phương án ghi hình phù hợp.
