Khóa học Fundamentals of NLP (Zalo: 0349942449)

Tóm tắt nội dung video về xử lý dữ liệu liên tục và rời rạc

Key Concepts:

• Binding Continuous Data: Nhóm các giá trị liên tục tương đồng vào một khoảng giá trị cố định.
• Normalization: Chuẩn hóa dữ liệu số về khoảng [0, 1].
• Standardization: Chuẩn hóa dữ liệu số theo phân phối Gaussian (mean = 0, standard deviation = 1).
• Categorical Data: Dữ liệu phân loại (ví dụ: màu sắc, loại sản phẩm).
• One-Hot Encoding: Biểu diễn dữ liệu category bằng vector nhị phân, mỗi category là một vector với một giá trị 1 và các giá trị còn lại là 0.
• Integer Mapping: Gán mỗi category một số nguyên duy nhất.
• Binary Mapping: Gán mỗi category một giá trị nhị phân (0 hoặc 1), thường dùng cho dữ liệu có hai giá trị.

1. Binding Continuous Data (Nhóm dữ liệu liên tục)

• Vấn đề: Dữ liệu liên tục (ví dụ: giá nhà) có thể có vô số giá trị, gây khó khăn cho việc xử lý.
• Giải pháp: Nhóm các giá trị gần nhau vào một khoảng, gán cho khoảng đó một giá trị đại diện. Ví dụ: giá nhà từ 0-1 triệu đô la chia thành 10 khoảng, mỗi khoảng 100.000 đô la.
• Ưu điểm: Giảm số lượng giá trị cần xử lý, giúp quá trình xử lý nhanh và dễ dàng hơn.
• Nhược điểm: Các giá trị gần nhau có thể thuộc hai nhóm khác nhau (ví dụ: 29 tuổi và 30 tuổi).
• Khi nào nên dùng: Khi số lượng giá trị có thể xảy ra là gần như vô hạn và việc giảm số lượng giá trị là cần thiết.
• Khi nào không nên dùng: Khi kết quả đầu ra (output) rất nhạy cảm với sự thay đổi nhỏ của giá trị (ví dụ: giá vàng, ngoại hối). Trong trường hợp này, việc nhóm các giá trị có thể làm mất đi thông tin quan trọng.

Ví dụ:

• Nên dùng: Nhóm độ tuổi để đơn giản hóa phân tích, miễn là sự khác biệt nhỏ về tuổi không quá quan trọng.
• Không nên dùng: Xử lý giá vàng, vì sự thay đổi nhỏ về giá có thể ảnh hưởng lớn đến lãi/lỗ.

2. Scaling Numeric Data (Chuẩn hóa dữ liệu số)

• Vấn đề: Các cột dữ liệu số có thể có khoảng giá trị rất khác nhau (ví dụ: điểm SAT từ 0-1600, điểm IELTS từ 0-9). Điều này có thể khiến model machine learning bị "bias" về các cột có giá trị lớn hơn.
• Giải pháp: Chuẩn hóa dữ liệu để đưa các giá trị về cùng một khoảng. Có hai phương pháp chính:
  • Normalization (Chuẩn hóa về [0, 1]):
    • Công thức: x_normalized = (x - x_min) / (x_max - x_min)
    • Ưu điểm: Đơn giản, dễ hiểu.
    • Nhược điểm: Dữ liệu không theo phân phối chuẩn.
  • Standardization (Chuẩn hóa theo phân phối Gaussian):
    • Công thức: x_standardized = (x - mean) / standard_deviation
    • Ưu điểm: Phù hợp với dữ liệu có phân phối Gaussian.
    • Nhược điểm: Giá trị có thể nằm ngoài khoảng [0, 1].
• Khi nào nên dùng:
  • Normalization: Khi dữ liệu không có phân phối cụ thể hoặc khi muốn giữ các giá trị trong khoảng [0, 1].
  • Standardization: Khi dữ liệu có phân phối Gaussian.

Ví dụ:

• Chuẩn hóa điểm SAT và IELTS để model không bị bias về điểm SAT.

3. Categorical Data (Dữ liệu phân loại)

• Vấn đề: Model machine learning chỉ làm việc với số, không thể xử lý trực tiếp dữ liệu category.
• Giải pháp: Chuyển đổi dữ liệu category sang dạng số. Có ba phương pháp chính:
  • One-Hot Encoding:
    • Tạo một vector cho mỗi category, chỉ có một giá trị 1 (hot) và các giá trị còn lại là 0.
    • Phù hợp khi thứ tự của các category không quan trọng.
    • Ví dụ: Màu sắc (đỏ, xanh, vàng) -> [1, 0, 0], [0, 1, 0], [0, 0, 1].
  • Integer Mapping:
    • Gán mỗi category một số nguyên duy nhất.
    • Phù hợp khi thứ tự của các category quan trọng.
    • Ví dụ: Xếp hạng học lực (xuất sắc, giỏi, khá, trung bình, yếu) -> 1, 2, 3, 4, 5.
  • Binary Mapping:
    • Gán mỗi category một giá trị nhị phân (0 hoặc 1).
    • Phù hợp khi chỉ có hai category.
    • Ví dụ: Giới tính (nam, nữ) -> 0, 1.

Ví dụ:

• One-Hot Encoding: Chuyển đổi cột "màu sắc" của sản phẩm sang dạng số.
• Integer Mapping: Chuyển đổi cột "xếp hạng học lực" của học sinh sang dạng số.
• Binary Mapping: Chuyển đổi cột "giới tính" của khách hàng sang dạng số.

4. Bài tập thực hành

• Bài 1: Chuẩn hóa cột dân số, diện tích và mật độ dân số bằng normalization.
• Bài 2: Chuẩn hóa cột dân số, diện tích và mật độ dân số bằng standardization.
• Bài 3: Chuyển đổi cột màu sắc bằng one-hot encoding.

5. Kết luận

Video cung cấp kiến thức và hướng dẫn thực hành về các phương pháp xử lý dữ liệu liên tục, rời rạc và category, giúp chuẩn bị dữ liệu tốt hơn cho các model machine learning. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán.