Seminar tháng 6 khoa KHKTTT 

CHUẨN HÓA TỪ VỰNG TIẾNG VIỆT CHO VĂN BẢN TRUYỀN THÔNG XÃ HỘI

LÊ THANH PHONG – 21520395 NGUYỄN THANH NHI – 21521232

Trong bối cảnh mạng xã hội tại Việt Nam phát triển mạnh mẽ với hàng chục triệu người dùng, việc xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) trên các văn bản không chính thống như bình luận trực tuyến, tin nhắn hay bài đăng đang trở thành một thách thức lớn. Những biến thể ngôn ngữ như viết tắt, teencode, hoặc lỗi chính tả thường xuyên xuất hiện, khiến các mô hình NLP truyền thống - vốn được huấn luyện trên văn bản chuẩn - gặp nhiều khó khăn trong việc hiểu và xử lý.

Trước nhu cầu cấp thiết đó, khóa luận "Chuẩn hóa từ vựng tiếng Việt cho văn bản truyền thông xã hội" được thực hiện với mục tiêu xây dựng một hệ thống giúp chuyển đổi những từ ngữ phi chuẩn trong văn bản mạng xã hội sang dạng chuẩn, từ đó hỗ trợ nâng cao hiệu quả cho các bài toán xử lý ngôn ngữ khác như phân tích cảm xúc, phát hiện ngôn ngữ thù địch hay phát hiện spam.

Điểm nổi bật của khóa luận là xây dựng ViLexNorm – một bộ ngữ liệu chuẩn hóa từ vựng tiếng Việt với hơn 10,000 cặp câu được gán nhãn cẩn thận từ dữ liệu Facebook và TikTok. Bên cạnh đó, nhóm sinh viên còn đề xuất phương pháp tổng hợp dữ liệu dựa trên mô phỏng lỗi ngôn ngữ thực tế, giúp mở rộng dữ liệu huấn luyện một cách hiệu quả.

Khóa luận cũng tiến hành thực nghiệm với nhiều nhóm mô hình từ cơ bản đến hiện đại như NLP hiện đại, bao gồm: Recurrent Neural Network, Transformer, Language Model và Large Language Model. Thực nghiệm cho thấy mô hình sequence-to-sequence được huấn luyện trước (pre-trained) đạt hiệu suất cao nhất, với tỉ lệ giảm lỗi (Error Reduction Rate - ERR) là 57.74%. Bên cạnh đó, phương pháp tổng hợp dữ liệu được đề xuất cũng giúp cải thiện hiệu suất mô hình lên 65.22% ERR khi được sử dụng làm dữ liệu tiền huấn luyện (pre-train). Ngoài ra, hiệu suất tốt nhất của các mô hình NLP trong các bài toán downstream có thể được tăng thêm đến 3.87% F1-macro khi áp dụng bước chuẩn hóa từ vựng trước quá trình huấn luyện.

Nhóm hy vọng rằng khoá luận này sẽ đóng góp vào những nỗ lực tiếp theo của bài toán chuẩn hoá từ vựng trên tiếng Việt, và đóng góp vào sự đa dạng của bài toán chuẩn hóa từ vựng đa ngôn ngữ. Hơn nữa, nhóm kỳ vọng đề tài này sẽ đẩy mạnh những nghiên cứu tiếp theo trong việc xử lý dữ liệu nhiễu trên Internet, góp phần xây dựng một môi trường mạng ý nghĩa và lành mạnh.

Trân trọng.

NGHIÊN CỨU XÁC THỰC THÔNG TIN TỰ ĐỘNG DỰA TRÊN NGUỒN TRI THỨC WIKIPEDIA TIẾNG VIỆT

Lê Tuấn Hưng - Tô Trường Long

Trong bối cảnh thông tin sai lệch được lan truyền một cách nhanh chóng trong hệ sinh thái truyền thông như hiện nay, việc kiểm tra sự thật (Fact - Checking) đã trở thành một nhu cầu cấp thiết để bảo vệ tính chính xác và trung thực của thông tin. Mặc dù vấn đề này tồn tại hầu hết ở mọi quốc gia trên thế giới, nhưng đa phần các nghiên cứu và công nghệ hiện tại vẫn chỉ tập trung vào các ngôn ngữ có nhiều tài nguyên như tiếng Anh hay tiếng Trung, để lại khoảng trống lớn cho các ngôn ngữ ít tài nguyên như tiếng Việt. Vì lý do đó, nhu cầu cho việc khám phá các phương pháp và đặc biệt là các bộ dữ liệu mới nhằm hỗ trợ cho việc xây dựng các hệ thống xác thực thông tin trên tiếng Việt là vô cùng cần thiết. Nhằm đóng góp trong việc thu hẹp khoảng cách về tài nguyên so với các ngôn ngữ khác, nhóm xin giới thiệu khóa luận tốt nghiệp của nhóm với mục tiêu giới thiệu bộ dữ liệu ViWikiFC (Vietnamese Wikipedia Fact-Checking) - một bộ dữ liệu được gán nhãn thủ công dành riêng cho việc kiểm tra sự thật dựa trên nguồn thông tin là Wikipedia tiếng Việt. ViWikiFC bao gồm 20.916 câu tuyên bố được tạo ra thông qua quá trình chuyển đổi các câu bằng chứng được trích xuất từ các bài viết trên Wikipedia. Các tuyên bố này được gán nhãn cẩn thận và phân loại theo các nhãn: Hỗ trợ (Supported), Phản bác (Refuted) và Không đủ thông tin (Not Enough Information). Bộ dữ liệu này không chỉ đóng góp cho nguồn dữ liệu của bài toán kiểm tra thực tế tiếng Việt mà còn được phân tích kỹ lưỡng từ nhiều khía cạnh ngôn ngữ khác nhau nhằm thể hiện sự đa dạng ngôn ngữ trong dữ liệu. Bên cạnh giới thiệu bộ dữ liệu, nhóm đồng thời thực hiện những nghiên cứu, phân tích trong việc sử dụng các mô hình ngôn ngữ lớn (LLMs) vào quá trình xây dựng dữ liệu cho bài toán kiểm chứng sự thật trong tiếng Việt với mong muốn nhằm khắc phục những hạn chế hiện có của bộ dữ liệu ViWikiFC (bao gồm thời gian xây dựng, chi phí gán nhãn và bộ dữ liệu ViWikiFC chỉ tập chung vào xác thực thông tin trên một câu bằng chứng) cũng như đánh giá khả năng tạo sinh của các mô hình ngôn ngữ lớn trong việc tạo sinh dữ liệu cho bài toán kiêm chứng sự thật trong tiếng Việt nói chung và tạo sinh dữ liệu cho các bài toàn khác thuộc lĩnh vực khoa học máy tính nói chung. Trong quá trình đánh giá, phân tích ở cả bộ dữ liệu ViWikiFC và khả năng của LLMs, nhóm sử dụng các kỷ thuật phân tích về khía cạnh ngôn ngữ cũng như thông qua hiệu suất của các mô hình đơn ngôn ngữ và các mô hình đa ngôn ngữ nổi tiếng.

Trân trọng.