Tuyển sinh khóa Large Language Model (Advanced DL for NLP)

Tóm tắt Nội dung Video về Khóa Học Deep Learning for NLP Nâng Cao

Key Concepts:

• Chat GPT, GPT-3.5, GPT-1, GPT-2, GPT-3
• Generative Pre-trained Transformer (GPT)
• Transformer (Kiến trúc nền tảng cho LLMs)
• Large Language Models (LLMs)
• NLP (Xử lý ngôn ngữ tự nhiên)
• Word Embedding (Word2Vec, GloVe, FastText, BERT)
• Back of Words, TF-IDF
• Deep Learning for NLP

1. Giới thiệu về Sự Phát Triển của AI và Chat GPT:

• Sự ra đời của Chat GPT vào cuối năm 2022 đã tạo ra một cơn sốt toàn cầu và thúc đẩy sự phát triển của nhiều mô hình AI khác.
• Chat GPT được xây dựng bởi Open AI dựa trên kiến trúc GPT-3.5, một phiên bản sau GPT-1, GPT-2 và GPT-3.
• GPT là một họ các mạng nơ-ron cao cấp dùng để giải quyết các bài toán trong mảng xử lý ngôn ngữ tự nhiên.
• GPT là viết tắt của Generative Pre-trained Transformer.
  • Generative: Khả năng tạo sinh dữ liệu hoặc thông tin mới.
  • Pre-trained: Mô hình được huấn luyện trước với bộ dữ liệu lớn.
  • Transformer: Kiến trúc nền tảng cho các mô hình ngôn ngữ lớn (LLMs).

2. Kiến Trúc Transformer:

• Transformer được giới thiệu lần đầu vào năm 2017 trong bài báo "Attention is All You Need" của Google Brain.
• Hầu hết các kiến trúc đằng sau các công cụ AI ngày nay đều được xây dựng, phát triển và mở rộng dựa trên Transformer.
• Việc nắm vững kiến thức về Transformer và GPT là rất quan trọng đối với những người học hoặc tìm hiểu về AI theo định hướng xử lý ngôn ngữ tự nhiên.

3. Giới Thiệu Khóa Học Deep Learning for NLP Nâng Cao:

• Khóa học tập trung vào deep learning cho NLP nâng cao, hay còn gọi là large language model.
• Khóa học bao gồm bốn module chính:
  • NLP Foundation
  • Transformer
  • GPT Family
  • Advanced Topic

4. Nội Dung Chi Tiết của Từng Module:

• Module 1: NLP Foundation:

  • Tổng hợp và ôn tập lại các kiến thức cơ bản về xử lý ngôn ngữ tự nhiên.
  • Các kỹ thuật cơ bản như Back of Words, TF-IDF và những hạn chế của chúng.
  • Các mô hình Word Embedding cơ bản (Word2Vec, GloVe, FastText) và nâng cao (BERT và các biến thể).
  • Cách các thuật toán trong machine learning xử lý các bài toán trong NLP và những hạn chế của chúng.
  • Ứng dụng của deep learning trong xử lý ngôn ngữ tự nhiên.
  • So sánh, đánh giá ứng dụng của AI và deep learning trong NLP và thị giác máy tính.

• Module 2: Transformer:

  • Tìm hiểu chi tiết về kiến trúc của Transformer.
  • Tìm hiểu về từng thành phần cụ thể trong Transformer, cách chúng được xây dựng, tác dụng và cách chúng kết nối với nhau.
  • Thực hành xây dựng mô hình Transformer dựa trên bài báo gốc "Attention is All You Need".

• Module 3: GPT Family:

  • Tìm hiểu về kiến trúc của GPT, các phiên bản và biến thể đã được xây dựng và mở rộng từ kiến trúc gốc.
  • Cách Chat GPT được xây dựng.
  • Tập trung vào ba phiên bản quan trọng nhất của GPT: GPT-1, GPT-2 và GPT-3.

• Module 4: Advanced Topic:

  • Tìm hiểu về các kiến trúc quan trọng khác trong các mô hình ngôn ngữ lớn.
  • Các kỹ thuật nâng cao trong xử lý ngôn ngữ tự nhiên.
  • 1/3 thời lượng sẽ dành để nói về các chủ đề mà học viên quan tâm và bình chọn.

5. Kết Luận:

• Khóa học Deep Learning for NLP nâng cao sẽ trang bị cho học viên những kiến thức cần thiết để trở thành một data scientist, machine learning engineer hoặc AI engineer đi theo mảng xử lý ngôn ngữ tự nhiên.
• Liên hệ thông qua số Zalo để biết thêm thông tin chi tiết về khóa học.