Hướng dẫn sử dụng SAM 2 của Meta để tạo Focus Cam tự động

Tóm tắt Video về Mô Hình Segment Anything 2 (SAM 2) của Meta

Key Concepts:

• Phân đoạn hình ảnh (Image Segmentation): Semantic Segmentation, Instance Segmentation
• Segment Anything Model (SAM) và Segment Anything Model 2 (SAM 2)
• Image Encoder, Memory Attention, Memory Bank, Prompt Encoder, Mask Decoder
• Stateful Inference
• Checkpoint, Config file
• Object Tracking, Real-time application support

1. Giới thiệu về Bài Toán Phân Đoạn Hình Ảnh

• Phân đoạn hình ảnh (Image Segmentation) là một trong những bài toán cơ bản và phổ biến nhất trong thị giác máy tính, bên cạnh image classification và object detection.
• Mục tiêu: Xác định lớp hoặc đối tượng mà mỗi pixel trong ảnh thuộc về.
  • Semantic Segmentation: Quan tâm đến lớp (ví dụ: pixel nào thuộc về lớp "xe", pixel nào thuộc về lớp "người").
  • Instance Segmentation: Quan tâm đến đối tượng cụ thể (ví dụ: xe số 1, xe số 2, người số 1, người số 2).
• Các mô hình phân đoạn hình ảnh tiêu biểu: DeepLab, UNet, YOLOv8, YOLOv7.
• Hạn chế của các mô hình truyền thống:
  • Chỉ phân đoạn được các đối tượng đã xuất hiện trong bộ dữ liệu huấn luyện.
  • Khi áp dụng cho video, mỗi khung hình được xử lý độc lập, dẫn đến kết quả không mượt mà khi chuyển cảnh.

2. Giới Thiệu Mô Hình Segment Anything 2 (SAM 2)

• SAM 2: Mô hình phân đoạn hình ảnh của Meta, ra mắt tháng 7/2024, là phiên bản nâng cấp của SAM (tháng 5/2023).
• Ưu điểm vượt trội:
  • Chọn và theo dõi bất kỳ đối tượng nào: Người dùng có thể chỉ định đối tượng cần phân đoạn trong một khung hình, và mô hình sẽ tự động theo dõi và phân đoạn đối tượng đó trong các khung hình tiếp theo.
  • Phân đoạn tốt các đối tượng lạ: Có khả năng phân đoạn các đối tượng chưa từng gặp trong quá trình huấn luyện.
  • Hỗ trợ ứng dụng tương tác thời gian thực: Được thiết kế để xử lý hiệu quả và hỗ trợ suy luận phát trực tuyến.
• Lưu ý quan trọng: SAM 2 hỗ trợ các ứng dụng thời gian thực, nhưng bản thân mô hình không chạy được trong thời gian thực do kích thước lớn và yêu cầu tính toán cao.

3. Demo và Kết Quả

• Trang chủ của SAM 2 cung cấp bản demo để người dùng trải nghiệm khả năng phân đoạn.
• Người dùng có thể upload video của mình (tối đa 70MB) và tương tác trực tiếp.
• Ví dụ: Phân đoạn các làn đường trong video giao thông bằng cách click vào một điểm trên mỗi làn đường trong khung hình đầu tiên. Sau đó, mô hình sẽ tự động theo dõi và phân đoạn các làn đường này trong toàn bộ video.
• Kết quả cho thấy khả năng theo dõi và phân đoạn đối tượng mượt mà và ổn định.

4. Cách Thức Hoạt Động của SAM 2

• SAM 2 không chỉ xử lý mỗi khung hình độc lập mà còn ghi nhớ kết quả phân đoạn của các khung hình trước để đảm bảo tính liên tục.
• Cơ chế hoạt động: Gồm bốn thành phần liên kết theo chu trình:
  1. Image Encoder: Trích xuất đặc trưng từ mỗi khung hình (sử dụng CNN hoặc Vision Transformer). Kết quả là một embedding vector chứa thông tin về đặc trưng của toàn bộ khung hình.
  2. Memory Attention: Nhận input từ embedding vector của khung hình hiện tại và memory embedding từ memory bank (embedding của các khung hình trước). Giúp mô hình biết được vị trí và hình dạng của các đối tượng đã được theo dõi, từ đó giúp quá trình phân đoạn ổn định hơn.
  3. Prompt Encoder và Mask Decoder:
     • Prompt Encoder: Mã hóa các tín hiệu đầu vào (prompts) từ khung hình trước hoặc từ người dùng (ví dụ: mặt nạ của đối tượng đã được dự báo, điểm click, bounding box).
     • Mask Decoder: Tổng hợp thông tin từ memory attention và prompt encoder để tạo ra segmentation mask cho khung hình hiện tại.
  4. Memory Encoder và Memory Bank:
     • Memory Encoder: Tạo ra memory embedding mới từ segmentation mask của khung hình hiện tại.
     • Memory Bank: Lưu trữ memory embedding mới để sử dụng cho các khung hình tiếp theo.
• Ưu điểm của cơ chế này:
  • Tính liên tục và ổn định: Tránh hiện tượng nhấp nhô trong phân đoạn video.
  • Tương tác linh hoạt: Người dùng có thể thêm hoặc điều chỉnh prompts ở bất kỳ khung hình nào, và hệ thống sẽ tự động cập nhật các segmentation mask.

5. Hướng Dẫn Sử Dụng SAM 2 từ GitHub của Meta

• Truy cập trang GitHub của SAM 2 và tìm đến thư mục "Notebooks".
• Mở file "video_predictor_example.ipynb".
• Các bước thực hiện:
  1. Setup môi trường: Cài đặt và import các thư viện cần thiết.
  2. Load video predictor: Sử dụng hàm build_video_predictor với các tham số:
     • checkpoint: File mô hình đã được huấn luyện.
     • config file: File cấu hình tương ứng với mô hình.
     • device: GPU hoặc CPU.
  3. Trích xuất frame từ video: Tách video thành các frame riêng lẻ và lưu trữ vào một thư mục.
  4. Khởi tạo trạng thái suy luận (initialize the state): Sử dụng cơ chế stateful inference để ghi nhớ thông tin từ các khung hình trước.
  5. Chỉ ra tọa độ của các đối tượng trong khung hình đầu tiên: Với mỗi đối tượng, chỉ ra ít nhất một điểm bên trong đối tượng đó.
  6. Chạy segmentation trên toàn bộ video: Sử dụng hàm propagate_in_video.
  7. Hiển thị kết quả: In ra các khung hình đã được phân đoạn.
• Lưu ý: Cần định nghĩa lại tọa độ ban đầu của các đối tượng cho mỗi video đầu vào.

6. Kết Luận

• SAM 2 là một mô hình mạnh mẽ cho bài toán phân đoạn hình ảnh, đặc biệt là trong video.
• Khả năng theo dõi và phân đoạn đối tượng mượt mà, ổn định, cùng với khả năng phân đoạn các đối tượng lạ, mở ra nhiều ứng dụng tiềm năng trong thị giác máy tính.
• Người dùng có thể tận dụng hướng dẫn trên GitHub của Meta để xây dựng các ứng dụng dựa trên SAM 2.

7. Giới thiệu các khóa học AI, Data Science, Machine Learning

• Python và AI cơ bản
• Data và Machine Learning nâng cao
• Deep Learning for Computer Vision cơ bản
• Deep Learning for Computer Vision nâng cao
• Toán dành cho AI