Các doanh nghiệp cần tận dụng các mô hình AI tạo sinh mới nhất, nhưng thường đối mặt với thách thức về năng lực tính toán và các yêu cầu nghiêm ngặt về xử lý dữ liệu, đặc biệt là tại châu Âu. Để giải quyết vấn đề này, Amazon Web Services (AWS) đã giới thiệu tính năng Cross-Region Inference (CRIS) trên Amazon Bedrock. Tính năng này tự động định tuyến các yêu cầu inference (suy luận) qua nhiều AWS Region, giúp xây dựng các ứng dụng AI có khả năng phục hồi cao mà vẫn tuân thủ các quy định về địa lý dữ liệu.
Cross-Region Inference (CRIS) là gì?
Cross-Region Inference (CRIS), hay suy luận đa vùng, là một tính năng được quản lý trong Amazon Bedrock, có khả năng định tuyến các yêu cầu suy luận mô hình đến các AWS Region được hỗ trợ. Các “cấu hình suy luận” (inference profiles) là tài nguyên trong Bedrock xác định các Region mà yêu cầu có thể được chuyển đến. Cơ chế định tuyến của CRIS được thiết kế để tối ưu hóa throughput (thông lượng) của mô hình với độ trễ thấp nhất có thể.
Để hiểu cách CRIS hoạt động, cần nắm rõ hai khái niệm chính:
- Source Region (Region nguồn): Region nơi doanh nghiệp thực hiện lệnh gọi API có chỉ định cấu hình suy luận.
- Destination Region (Region đích): Một Region mà dịch vụ Amazon Bedrock có thể định tuyến yêu cầu từ Region nguồn đến.
Các loại cấu hình Inference: Toàn cầu và theo Địa lý
Amazon Bedrock cung cấp các cấu hình suy luận do hệ thống định nghĩa, được đặt tên theo mô hình và khu vực địa lý mà chúng hỗ trợ. Có hai loại chính: toàn cầu và theo địa lý cụ thể.
Global Inference (Suy luận toàn cầu)
Cấu hình suy luận toàn cầu định tuyến các yêu cầu đến bất kỳ AWS Region thương mại nào được hỗ trợ. Dữ liệu đầu vào (prompts) được truyền đến một Region đích để thực hiện suy luận, và kết quả được trả về Region nguồn. Toàn bộ dữ liệu được mã hóa và lưu thông trên mạng lưới an toàn của AWS.
Việc sử dụng tất cả các Region có sẵn giúp ứng dụng AI trở nên linh hoạt hơn, chống chịu tốt hơn trước các sự cố thiếu hụt năng lực trong giờ cao điểm. Hơn nữa, một số mô hình còn có giá chiết khấu khi sử dụng qua CRIS toàn cầu.
EU Geography-based Inference (Suy luận theo địa lý EU)
Các cấu hình Geographic CRIS (Geo CRIS) được tạo ra để phục vụ các yêu cầu cụ thể về địa lý, khác với cấu hình toàn cầu. Trong đó, cấu hình EU CRIS được thiết kế đặc biệt để giúp khách hàng giải quyết các vấn đề về lưu trữ và xử lý dữ liệu tại Liên minh châu Âu (EU).
Khi sử dụng cấu hình EU CRIS, các quy tắc sau được áp dụng:
- Yêu cầu từ một Region nguồn trong EU chỉ có thể được định tuyến đến các AWS Region khác trong EU.
- Yêu cầu từ Region nguồn trong EU không thể được định tuyến đến các Region ngoài EU (ví dụ: Zurich và London không được coi là Region đích).
- Yêu cầu từ Region London chỉ có thể được định tuyến giữa các Region EU có sẵn và chính London.
- Tương tự, yêu cầu từ Region Zurich chỉ có thể được định tuyến giữa các Region EU và Zurich.
Điều này mang lại sự đảm bảo rằng dữ liệu của khách hàng được xử lý trong phạm vi địa lý đã chọn, đáp ứng các yêu cầu của quy định như GDPR.
Bảo mật và kiểm soát với Cross-Region Inference
Bảo mật dữ liệu khách hàng là ưu tiên hàng đầu của AWS, và điều này được thể hiện rõ trong thiết kế của CRIS. Dữ liệu truyền tải giữa các Region luôn được mã hóa và di chuyển hoàn toàn trên mạng lưới nội bộ của AWS, không đi qua Internet công cộng.
Doanh nghiệp có toàn quyền kiểm soát thông qua AWS Identity and Access Management (AWS IAM). Với IAM, quản trị viên có thể định nghĩa chính xác những ứng dụng hoặc người dùng nào được phép gọi các mô hình hoặc cấu hình CRIS khác nhau. Điều này giúp thực thi nguyên tắc “đặc quyền tối thiểu” và ngăn chặn việc dữ liệu nhạy cảm bị xử lý ở một Region không mong muốn.
Ngoài ra, các cấu hình suy luận theo địa lý là tĩnh. Điều này có nghĩa là AWS sẽ không tự ý thêm Region mới vào một cấu hình. Nếu cần, AWS sẽ phát hành một cấu hình mới với ID mới, mang lại sự minh bạch và khả năng dự đoán cho mục đích tuân thủ.
Minh bạch và khả năng giám sát
Nhiều quy định về xử lý dữ liệu yêu cầu doanh nghiệp phải duy trì hồ sơ về các hoạt động này. Cả hai loại CRIS toàn cầu và theo địa lý đều hỗ trợ việc này.
Với AWS CloudTrail, khách hàng có thể liên tục giám sát hoạt động tài khoản. CloudTrail ghi lại lịch sử các lệnh gọi API, bao gồm cả các lệnh gọi đến mô hình trên Bedrock. Metadata của mỗi lệnh gọi được ghi lại mặc định, cho phép xem Region nguồn và đích của yêu cầu suy luận.
Nếu cần thông tin chi tiết hơn, khách hàng có thể bật tính năng Model Invocation Logging. Tính năng này thu thập toàn bộ yêu cầu, phản hồi và metadata. Quan trọng là, tất cả các bản ghi (log) đều được lưu trữ tại Region nguồn, giúp đơn giản hóa việc quản lý và duy trì tuân thủ.
Làm thế nào để kiểm tra các cấu hình CRIS có sẵn?
Khách hàng có thể kiểm tra các cấu hình hệ thống hiện có bằng nhiều cách:
- Tham khảo trang tài liệu chính thức liệt kê tất cả các cấu hình.
- Xem trực tiếp trên AWS Console trong mục “cross-Region inference”.
- Sử dụng các AWS SDK, chẳng hạn như Boto3, để truy vấn thông tin qua API.
Ý nghĩa đối với doanh nghiệp và tuân thủ GDPR
AWS khẳng định khách hàng có thể sử dụng các dịch vụ của mình, bao gồm Amazon Bedrock với CRIS, để xử lý dữ liệu cá nhân theo đúng quy định GDPR. Amazon Bedrock là một trong những dịch vụ tuân thủ Quy tắc Bảo vệ Dữ liệu của CISPE, một chứng nhận độc lập về khả năng tuân thủ GDPR cho các nhà cung cấp hạ tầng đám mây.
CRIS mang lại cho doanh nghiệp sự lựa chọn linh hoạt. Họ có thể chọn cấu hình toàn cầu để tối ưu khả năng phục hồi và chi phí, hoặc chọn cấu hình theo địa lý như EU CRIS để đáp ứng các yêu cầu tuân thủ nghiêm ngặt và khẩu vị rủi ro của mình.
Tính năng Cross-Region Inference (CRIS) của Amazon Bedrock là một công cụ mạnh mẽ, cho phép các ứng dụng AI tạo sinh truy cập các mô hình không có sẵn ở Region chính và tăng khả năng phục hồi. Quan trọng hơn, với các cấu hình được giới hạn theo địa lý như EU CRIS, AWS cung cấp cho doanh nghiệp sự linh hoạt cần thiết để đổi mới với AI trong khi vẫn đảm bảo tuân thủ các quy định phức tạp về xử lý dữ liệu như GDPR.
