Hiểu hình ảnh

Các mô hình Gemini được xây dựng từ đầu theo hướng đa phương thức, mở ra nhiều nhiệm vụ xử lý hình ảnh và thị giác máy tính, bao gồm nhưng không giới hạn ở việc chú thích hình ảnh, phân loại và trả lời câu hỏi bằng hình ảnh mà không cần phải huấn luyện các mô hình học máy chuyên biệt.

Lưu ý: Ngoài các khả năng đa phương thức chung, các mô hình Gemini (2.0 trở lên) còn có độ chính xác cao hơn cho các trường hợp sử dụng cụ thể như phát hiện đối tượng và phân đoạn thông qua quá trình huấn luyện bổ sung. Hãy xem phần Tính năng để biết thêm thông tin chi tiết.

Truyền hình ảnh cho Gemini

Bạn có thể cung cấp hình ảnh làm dữ liệu đầu vào cho Gemini bằng 2 phương thức:

• Truyền dữ liệu hình ảnh nội tuyến: Phù hợp với các tệp nhỏ hơn (tổng kích thước yêu cầu nhỏ hơn 20 MB, bao gồm cả câu lệnh).
• Tải hình ảnh lên bằng File API: Nên dùng cho các tệp lớn hơn hoặc để dùng lại hình ảnh trong nhiều yêu cầu.

Truyền dữ liệu hình ảnh cùng dòng

Bạn có thể truyền dữ liệu hình ảnh cùng dòng trong yêu cầu đến generateContent. Bạn có thể cung cấp dữ liệu hình ảnh dưới dạng chuỗi được mã hoá Base64 hoặc bằng cách đọc trực tiếp các tệp cục bộ (tuỳ thuộc vào ngôn ngữ).

Ví dụ sau đây cho thấy cách đọc hình ảnh từ một tệp cục bộ và truyền hình ảnh đó đến API generateContent để xử lý.

Bạn cũng có thể tìm nạp hình ảnh từ một URL, chuyển đổi hình ảnh đó thành byte và truyền đến generateContent như trong các ví dụ sau.

Lưu ý: Dữ liệu hình ảnh nội tuyến giới hạn tổng kích thước yêu cầu của bạn (lời nhắc bằng văn bản, hướng dẫn của hệ thống và byte nội tuyến) ở mức 20 MB. Đối với các yêu cầu lớn hơn, hãy tải tệp hình ảnh lên bằng File API. Files API cũng hiệu quả hơn cho các trường hợp sử dụng cùng một hình ảnh nhiều lần.

Tải hình ảnh lên bằng File API

Đối với các tệp lớn hoặc để có thể sử dụng cùng một tệp hình ảnh nhiều lần, hãy sử dụng Files API. Mã sau đây tải một tệp hình ảnh lên, sau đó dùng tệp đó trong một lệnh gọi đến generateContent. Hãy xem hướng dẫn về Files API để biết thêm thông tin và ví dụ.

Đưa ra câu lệnh bằng nhiều hình ảnh

Bạn có thể cung cấp nhiều hình ảnh trong một câu lệnh bằng cách thêm nhiều đối tượng hình ảnh Part vào mảng contents. Đây có thể là sự kết hợp giữa dữ liệu nội tuyến (tệp cục bộ hoặc URL) và các tham chiếu đến File API.

Phát hiện vật thể

Từ Gemini 2.0 trở đi, các mô hình được huấn luyện thêm để phát hiện các đối tượng trong hình ảnh và lấy toạ độ hộp giới hạn của các đối tượng đó. Toạ độ, so với kích thước hình ảnh, tỷ lệ thành [0, 1000]. Bạn cần giảm tỷ lệ các toạ độ này dựa trên kích thước hình ảnh gốc.

Lưu ý: Mô hình này cũng hỗ trợ việc tạo khung hình chữ nhật dựa trên các chỉ dẫn tuỳ chỉnh, chẳng hạn như: "Hiện khung hình chữ nhật của tất cả các đối tượng màu xanh lục trong hình ảnh này". Công cụ này cũng hỗ trợ các nhãn tuỳ chỉnh như "gắn nhãn cho các mặt hàng có chứa chất gây dị ứng".

Để xem thêm ví dụ, hãy tham khảo các sổ tay sau trong Sổ tay về Gemini:

• Sổ tay về khả năng nhận biết không gian 2D
• Sổ tay thử nghiệm về thao tác trỏ 3D

Phân đoạn

Bắt đầu từ Gemini 2.5, các mô hình không chỉ phát hiện mà còn phân đoạn các mục và cung cấp mặt nạ đường viền của các mục đó.

Mô hình này dự đoán một danh sách JSON, trong đó mỗi mục đại diện cho một mặt nạ phân đoạn. Mỗi mục đều có một khung hình chữ nhật ("box_2d") ở định dạng [y0, x0, y1, x1] với các toạ độ được chuẩn hoá từ 0 đến 1000, một nhãn ("label") xác định đối tượng và cuối cùng là mặt nạ phân đoạn bên trong khung hình chữ nhật, dưới dạng png được mã hoá base64 là bản đồ xác suất có giá trị từ 0 đến 255. Bạn cần đổi kích thước mặt nạ cho phù hợp với kích thước của khung hình chữ nhật, sau đó nhị phân hoá ở ngưỡng tin cậy (127 cho điểm giữa).

Lưu ý: Để có kết quả tốt hơn, hãy tắt tư duy bằng cách đặt ngân sách tư duy thành 0. Hãy xem mã mẫu bên dưới để biết ví dụ.

Hãy xem ví dụ về phân đoạn trong hướng dẫn về sổ tay để biết một ví dụ chi tiết hơn.

Định dạng hình ảnh được hỗ trợ

Gemini hỗ trợ các loại MIME sau đây cho định dạng hình ảnh:

• PNG - image/png
• JPEG - image/jpeg
• WEBP - image/webp
• HEIC - image/heic
• HEIF - image/heif

Tính năng

Tất cả các phiên bản mô hình Gemini đều là mô hình đa phương thức và có thể được sử dụng trong nhiều tác vụ xử lý hình ảnh và thị giác máy tính, bao gồm nhưng không giới hạn ở việc chú thích hình ảnh, trả lời câu hỏi bằng hình ảnh, phân loại hình ảnh, phát hiện và phân đoạn đối tượng.

Gemini có thể giảm nhu cầu sử dụng các mô hình học máy chuyên biệt, tuỳ thuộc vào yêu cầu về chất lượng và hiệu suất của bạn.

Ngoài các chức năng chung, một số phiên bản mô hình sau này được huấn luyện đặc biệt để cải thiện độ chính xác của các tác vụ chuyên biệt:

• Các mô hình Gemini 2.0 được huấn luyện thêm để hỗ trợ tính năng phát hiện đối tượng nâng cao.

• Các mô hình Gemini 2.5 được huấn luyện thêm để hỗ trợ tính năng phân đoạn nâng cao, ngoài tính năng phát hiện đối tượng.

Hạn chế và thông tin kỹ thuật chính

Giới hạn về tệp

Gemini 2.5 Pro/Flash, 2.0 Flash, 1.5 Pro và 1.5 Flash hỗ trợ tối đa 3.600 tệp hình ảnh cho mỗi yêu cầu.

Cách tính toán mã thông báo

• Gemini 1.5 Flash và Gemini 1.5 Pro: 258 mã thông báo nếu cả hai chiều <= 384 pixel. Các hình ảnh lớn hơn được xếp thành ô (ô tối thiểu 256px, tối đa 768px, được đổi kích thước thành 768x768), mỗi ô có giá 258 mã thông báo.
• Gemini 2.0 Flash và Gemini 2.5 Flash/Pro: 258 mã thông báo nếu cả hai phương diện đều <= 384 pixel. Các hình ảnh lớn hơn được chia thành các ô có kích thước 768x768 pixel, mỗi ô có giá 258 mã thông báo.

Công thức sơ bộ để tính số lượng ô như sau:

• Tính kích thước đơn vị cắt xén, xấp xỉ bằng: floor(min(width, height) / 1.5).
• Chia từng chiều cho kích thước đơn vị cắt và nhân với nhau để có số lượng ô.

Ví dụ: đối với hình ảnh có kích thước 960x540, kích thước đơn vị cắt sẽ là 360. Chia mỗi chiều cho 360 và số lượng ô là 3 * 2 = 6.

Mẹo và phương pháp hay nhất

• Xác minh rằng hình ảnh được xoay đúng cách.
• Sử dụng hình ảnh rõ ràng, không bị mờ.
• Khi sử dụng một hình ảnh có văn bản, hãy đặt câu lệnh dạng văn bản sau phần hình ảnh trong mảng contents.

Bước tiếp theo

Hướng dẫn này cho bạn biết cách tải tệp hình ảnh lên và tạo đầu ra văn bản từ dữ liệu đầu vào là hình ảnh. Để tìm hiểu thêm, hãy xem các tài nguyên sau:

• Files API: Tìm hiểu thêm về cách tải lên và quản lý tệp để sử dụng với Gemini.
• Hướng dẫn hệ thống: Hướng dẫn hệ thống giúp bạn điều hướng hành vi của mô hình dựa trên nhu cầu và trường hợp sử dụng cụ thể của bạn.
• Chiến lược đưa ra câu lệnh cho tệp: Gemini API hỗ trợ đưa ra câu lệnh bằng dữ liệu văn bản, hình ảnh, âm thanh và video, còn được gọi là câu lệnh đa phương thức.
• Hướng dẫn về sự an toàn: Đôi khi, các mô hình AI tạo sinh tạo ra kết quả không mong muốn, chẳng hạn như kết quả không chính xác, thiên vị hoặc phản cảm. Hậu xử lý và đánh giá của con người là những bước cần thiết để hạn chế nguy cơ gây hại từ những kết quả như vậy.