Công ty phần mềm IBS Software đã ứng dụng thành công Amazon Bedrock để xây dựng một giải pháp AI, tự động hóa việc xử lý hàng nghìn email logistics song ngữ (tiếng Anh và tiếng Nhật) mỗi ngày. Bằng cách sử dụng tính năng model distillation (tinh lọc mô hình), IBS Software không chỉ đạt độ chính xác 95% mà còn giảm chi phí vận hành tới 14 lần, một bài toán thực tế cho các doanh nghiệp muốn tối ưu hóa quy trình bằng AI.
Trước đây, hệ thống của IBS Software phải xử lý thủ công một lượng lớn email chứa thông tin vận đơn hàng không (AWB), chi tiết chuyến bay, trọng lượng và hướng dẫn giao hàng. Việc xây dựng một giải pháp Nhận dạng thực thể có tên (NER) hiệu quả gặp nhiều thách thức, đặc biệt là cân bằng giữa độ chính xác, chi phí và tốc độ xử lý cho hai ngôn ngữ. Sau khi thử nghiệm nhiều phương pháp, IBS Software đã chọn Amazon Bedrock để giải quyết bài toán này.
Tổng quan giải pháp: Tinh lọc mô hình AI trên Amazon Bedrock
Mục tiêu của IBS Software là xây dựng một hệ thống NER song ngữ có khả năng trích xuất 23 loại thực thể khác nhau từ email logistics. Các rủi ro chính bao gồm việc duy trì độ chính xác cao trên cả hai ngôn ngữ, quản lý chi phí inference ở quy mô lớn và đảm bảo độ trễ thấp để xử lý theo thời gian thực.
Giải pháp được chọn là sử dụng tính năng model distillation trên Amazon Bedrock. Kỹ thuật này cho phép “chưng cất” tri thức từ một mô hình lớn và mạnh mẽ (Amazon Nova Pro) sang một mô hình nhỏ hơn, hiệu quả hơn (Amazon Nova Lite). Nhờ đó, mô hình nhỏ hơn vẫn giữ được độ chính xác cao tương đương các mô hình tiên tiến nhất, nhưng lại tối ưu hơn về tốc độ và chi phí.
Sơ đồ dưới đây minh họa luồng xử lý NER song ngữ end-to-end trên nền tảng Amazon Bedrock.
Quá trình triển khai và kết quả
Đội ngũ gồm 9 kỹ sư và nhà nghiên cứu của IBS đã mất khoảng 4 tháng để phát triển và triển khai giải pháp này. Quá trình bao gồm các giai đoạn chính:
- Tháng 1: Chuẩn bị và gán nhãn bộ dữ liệu gồm 500 email song ngữ.
- Tháng 2: Gặp khó khăn với các framework mã nguồn mở như PyTorch và TextBrewer do sự phức tạp trong việc cấu hình và thiếu hạ tầng quản lý.
- Tháng 3: Tinh lọc mô hình thành công bằng Amazon Bedrock (chuyển giao tri thức từ Nova Pro sang Nova Lite).
- Tháng 4: Triển khai lên môi trường production và tối ưu hóa.
Kết quả cuối cùng, giải pháp đạt điểm F1-Score 95.085% trên bộ dữ liệu thử nghiệm. Mô hình Nova Lite sau khi được tinh lọc đã giữ lại 98% hiệu suất của mô hình “thầy” Nova Pro, trong khi giúp giảm 14 lần chi phí inference trong môi trường production. Việc sử dụng các dịch vụ được quản lý hoàn toàn của Amazon Bedrock cũng giúp IBS Software không cần phải tự xây dựng và quản lý hạ tầng hosting cho mô hình.
Phân tích và kiến trúc triển khai
Trong quá trình đánh giá, đội ngũ nhận thấy mô hình con có điểm F1-Score trên văn bản tiếng Nhật thấp hơn 2.565% so với tiếng Anh. Nguyên nhân chủ yếu đến từ sự phức tạp của ký tự kanji, sự mơ hồ về ranh giới thực thể trong văn bản tiếng Nhật và số lượng dữ liệu huấn luyện tiếng Nhật ít hơn. Để khắc phục, IBS đã tăng cường dữ liệu huấn luyện tiếng Nhật bằng các ví dụ tổng hợp và áp dụng các quy tắc hậu xử lý.
Kiến trúc triển khai trên AWS được thiết kế để xử lý email theo thời gian thực:
- Thu thập email: Các email định dạng .eml được chuyển đến một bucket trên Amazon S3.
- Tiền xử lý: Một hàm AWS Lambda được kích hoạt để trích xuất nội dung và metadata từ email.
- Inference: Văn bản được gửi đến endpoint của Amazon Bedrock, nơi mô hình Nova Lite đã được tinh lọc thực hiện trích xuất thực thể.
- Hậu xử lý: Áp dụng các quy tắc xác thực và lọc theo ngưỡng độ tin cậy.
- Lưu trữ: Kết quả trích xuất dưới dạng JSON có cấu trúc được lưu vào Amazon DynamoDB.
Toàn bộ pipeline này xử lý mỗi email trong vòng chưa đầy 2 giây, đáp ứng yêu cầu xử lý thời gian thực của IBS Software.
Bài học cho doanh nghiệp
Câu chuyện thành công của IBS Software cho thấy các dịch vụ AI được quản lý như Amazon Bedrock có thể giúp doanh nghiệp giải quyết các bài toán phức tạp một cách hiệu quả. Thay vì vật lộn với các framework mã nguồn mở, doanh nghiệp có thể tận dụng hạ tầng sẵn có để tập trung vào việc chuẩn bị dữ liệu chất lượng cao và tinh chỉnh mô hình cho phù hợp với bài toán kinh doanh.
Bài học quan trọng nhất là khả năng đạt được hiệu suất cao với chi phí tối ưu. Kỹ thuật model distillation đã chứng minh rằng các doanh nghiệp không nhất thiết phải sử dụng các mô hình AI lớn nhất và đắt đỏ nhất để có được kết quả chính xác, đặc biệt là đối với các tác vụ cần triển khai ở quy mô lớn.
