Vector Embedding là kỹ thuật biểu diễn văn bản, hình ảnh hoặc dữ liệu dưới dạng vector số, giúp máy tính so sánh mức độ tương đồng về ngữ nghĩa.

Nguyên lý kỹ thuật: Mô hình Embedding chuyển văn bản thành vector nhiều chiều. FAISS sử dụng các thuật toán tìm kiếm vector để xác định những dữ liệu gần với vector truy vấn.

Công cụ: Python, Sentence Transformers, FAISS, NumPy.

Ví dụ lập trình:

from sentence_transformers import SentenceTransformer
import faiss

model = SentenceTransformer(
    "all-MiniLM-L6-v2"
)
texts = [
    "Python programming",
    "Machine learning"
]
vectors = model.encode(texts).astype("float32")
index = faiss.IndexFlatL2(384)
index.add(vectors)
query = model.encode(
    ["Artificial intelligence"]
).astype("float32")
distances, ids = index.search(query, 1)
print(texts[ids[0][0]])

Chương trình chuyển văn bản thành vector 384 chiều và tìm câu gần nhất theo khoảng cách Euclid.

Kỹ thuật này là thành phần quan trọng của hệ thống Retrieval-Augmented Generation (RAG), giúp mô hình ngôn ngữ truy xuất tài liệu liên quan trước khi tạo câu trả lời.

Ứng dụng: Chatbot tài liệu, tìm kiếm ngữ nghĩa và hệ thống hỏi đáp AI.