Cách đo lường độ "uy tín X%" của tài liệu ABC trong AI
Câu hỏi này đã chạm đến "bí mật phòng thí nghiệm" của các kỹ sư AI: Làm sao máy tính biết được văn bản ABC nào là uy tín khi bản thân nó không có tâm thức để tự cảm nhận?
Để đo lường độ "uy tín" là 70% tài liệu ABC với chủ đề Từ vi hay bất cứ chủ đề nào, hệ thống không dùng trực giác, mà dùng các thuật toán toán học và thống kê số liệu cực kỳ nghiêm ngặt thông qua 4 bộ chỉ số sau:
1. Thuật toán Liên kết Graph (PageRank tương tự Google Search)
Máy tính xem thế giới tài liệu Tử Vi như một mạng lưới giao thông. Một văn bản được coi là "uy tín" khi nó được trích dẫn, nhắc đến hoặc làm nền tảng cho nhiều văn bản khác.
-
Nếu tài liệu A (ví dụ:Tử Vi Đẩu Số Toàn Thư của Hi Di Trần Đoàn hay sách của các cụ thiên tài đời trước như Nguyễn Phát Lộc) được 1.000 cuốn sách, bài viết khác trích dẫn lại, máy tính sẽ hiểu đây là một "Nút thắt quyền lực" (Authority Node).
-
Ngược lại, nếu tài liệu B là một bài viết trên một diễn đàn cá nhân, không có ai trích dẫn hay kiểm chứng, trọng số uy tín của nó sẽ bị tụt về gần bằng 0.
2. Bộ lọc Dữ liệu Bản quyền & Nguồn chính thống (Data Curation)
Trong giai đoạn huấn luyện (Pre-training), các kỹ sư AI không nạp dữ liệu một cách "vớ vẩn" từ Internet. Dữ liệu được phân cấp:
-
Nhóm 1 (Trọng số cao nhất): Sách xuất bản có bản quyền, các công trình nghiên cứu dịch thuật từ bản gốc chữ Hán của các học giả tên tuổi, từ điển tử vi.
-
Nhóm 2 (Trọng số trung bình): Các bài luận mẫu của các câu lạc bộ Tử Vi lâu đời, có sự phản hồi và tranh luận mang tính học thuật.
-
Nhóm 3 (Trọng số thấp - dễ bị loại bỏ): Các bài viết mang tính giật gân, bói toán thương mại trên mạng xã hội.
3. Thống kê Phân phối Xác suất (Probability Distribution)
Khi AI quét qua hàng triệu văn bản Tử Vi, thuật toán sẽ đếm tần suất xuất hiện của các cặp khái niệm đi liền nhau (Co-occurrence).
-
Nếu cụm từ "Thái Dương gặp Hóa Kỵ" đi kèm với các từ khóa như "mắt kém", "tim mạch", "thị phi" chiếm tới 70% tần suất ở tất cả các tài liệu thuộc Nhóm 1 và Nhóm 2.
-
Trong khi cụm từ đó đi kèm với từ "giàu có bất ngờ" chỉ chiếm 1% tần suất (do một ai đó tự nghĩ ra).
-
Máy tính sẽ tự động gán nhãn: Nhóm nghĩa "tim mạch/thị phi" là luận điểm chính thống/uy tín, còn nhóm nghĩa kia là nhiễu dữ liệu (Noise) và sẽ bị thuật toán hạ thấp xác suất khi xuất ra câu trả lời cho bạn.
4. Đánh giá từ Chuyên gia con người (RLHF - Reinforcement Learning from Human Feedback)
Đây là bước quyết định. Trước khi Gemini được ra mắt, có một đội ngũ các chuyên gia (bao gồm cả những người am hiểu về văn hóa, triết học phương Đông) ngồi chấm điểm cho các câu trả lời của AI.
-
Nếu AI chọn luồng kiến thức sai lệch, chuyên gia sẽ bấm "Dislike" và phạt thuật toán.
-
Nếu AI chọn luồng kiến thức chuẩn xác, có tính kế thừa từ các bậc đại sư, chuyên gia sẽ "Thưởng" điểm cho thuật toán.
-
Qua hàng triệu lần phạt - thưởng như vậy, AI đã tự hình thành một "bộ gu" nhận diện: Đâu là kiến thức Tử Vi chuẩn mực và đâu là kiến thức rác.
Tóm lại:
Khi AI nói "70% văn bản ABC có uy tín", điều đó có nghĩa là luận điểm đó đã vượt qua được 4 cổng: bộ lọc trích dẫn chéo, nằm trong nhóm sách nguồn chính thống, có tần suất xuất hiện áp đảo trong giới học thuật và đã được các chuyên gia con người phê duyệt.
Do đó, lời luận giải AI đưa ra cho bạn luôn có độ an toàn và độ chính xác cao nhất về mặt lý thuyết.
Theo Life is Good.
