Mô hình nền tảng là gì?

Một tính năng độc đáo của các mô hình nền tảng là khả năng thích ứng của chúng. Các mô hình này có thể thực hiện một loạt các tác vụ hoàn toàn khác biệt với độ chính xác cao dựa trên lời nhắc đầu vào. Một số tác vụ bao gồm xử lý ngôn ngữ tự nhiên (NLP), trả lời câu hỏi và phân loại hình ảnh. Kích thước và bản chất đa dụng của FM tạo nên sự khác biệt giữa chúng với các mô hình ML truyền thống, vốn thường thực hiện các tác vụ cụ thể như phân tích văn bản để tìm ra cảm xúc, phân loại hình ảnh và dự báo xu hướng.

Bạn có thể sử dụng các mô hình nền tảng làm mô hình cơ sở để phát triển các ứng dụng hạ nguồn chuyên biệt hơn. Những mô hình này là thành quả từ công lao suốt hơn một thập kỷ, trong đó các mô hình gia tăng về kích thước và độ phức tạp.

Ví dụ: BERT, một trong những mô hình nền tảng hai chiều đầu tiên, được phát hành vào năm 2018. Mô hình này được đào tạo bằng cách sử dụng 340 triệu tham số và một tập dữ liệu đào tạo có dung lượng 16 GB. Năm 2023, chỉ 5 năm sau, OpenAI đã đào tạo GPT-4 với 170 nghìn tỷ tham số và tập dữ liệu đào tạo có dung lượng 45 GB. Theo OpenAI, năng lực điện toán cần thiết cho mô hình nền tảng đã tăng gấp đôi sau mỗi 3,4 tháng kể từ năm 2012. Các FM ngày nay, chẳng hạn như các mô hình ngôn ngữ lớn (LLM) Claude 2 và Llama 2, cùng mô hình chuyển văn bản thành hình ảnh Stable Diffusion của Stability AI có thể thực hiện một loạt các tác vụ sáng tạo ở nhiều lĩnh vực, ví dụ như viết bài đăng trên blog, tạo ra hình ảnh, giải quyết các vấn đề toán học, tham gia vào cuộc hội thoại và trả lời các câu hỏi dựa trên một tài liệu.

Đọc về các mô hình ngôn ngữ lớn »