Các tiêu chí đánh giá mô hình học máy

Trong bài đăng này, bạn sẽ tìm hiểu về định nghĩa chất lượng của các mô hình AI / Machine Learning [ML]. Hiểu rõ về các mô hình AI chất lượng cao và thấp sẽ giúp bạn thiết kế kiểm tra kiểm soát chất lượng để thử nghiệm các mô hình Machine Learning và thực hành đảm bảo chất lượng liên quan [QA] . Bài viết này sẽ là một bài đọc tốt cho các chuyên gia QA nói chung. Tuy nhiên, nó cũng sẽ giúp thiết lập quan điểm cho các nhà khoa học dữ liệu và các chuyên gia về Machine Learning.

Sau đây là một số đặc điểm chất lượng chính được mô tả chi tiết để đánh giá chất lượng của các mô hình AI:

• Chức năng phù hợp
• Bảo trì
• Khả năng sử dụng
• Hiệu quả
• Bảo vệ
• Tính di động

Khi thiết kế thực hành QA và kiểm tra kiểm soát chất lượng liên quan, tất cả những điều trên sẽ cần được xem xét cho mục đích thử nghiệm.

Trong bài viết này, các chủ đề sau sẽ được thảo luận:

• Định nghĩa về chất lượng sản phẩm / dịch vụ
• Thuộc tính chất lượng sản phẩm phần mềm [ISO 25000]
• Đánh giá chất lượng của các mô hình học máy

Định nghĩa về chất lượng sản phẩm / dịch vụ

Chất lượng của một sản phẩm hoặc dịch vụ, nói chung, có thể được định nghĩa theo các điều sau:

• Mức độ xuất sắc liên quan đến mức độ, các sản phẩm và / hoặc dịch vụ đáp ứng nhu cầu của các bên liên quan kinh doanh như khách hàng, nhà đầu tư, nhân viên, nhà cung cấp, đối tác, vv Nói cách khác, sự hài lòng của các bên liên quan do năng suất và an toàn cao hơn kết quả của việc sử dụng các sản phẩm / dịch vụ là một thước đo tốt về chất lượng về mức độ xuất sắc.
• Mức độ nhất quán và bền vững liên quan đến việc các sản phẩm và / hoặc dịch vụ có đáp ứng nhu cầu của các bên liên quan kinh doanh trong một thời gian dài hơn không
• Mức độ cải tiến liên tục phù hợp với việc các sản phẩm và / hoặc dịch vụ có được cải tiến liên tục để đáp ứng nhu cầu của khách hàng một cách bền vững hay không.

Cung cấp sản phẩm và / hoặc dịch vụ chất lượng cao cho các bên liên quan [chẳng hạn như khách hàng] sẽ giúp doanh nghiệp không chỉ đạt được kết quả tuyệt vời liên quan đến doanh thu / lợi nhuận mà còn nắm bắt cơ hội tăng trưởng để lớn hơn và tốt hơn trên thị trường.

Để đạt được những điều trên, sau đây là các quy trình chính cần được thông qua:

• Quản trị : Quản lý chất lượng sản phẩm và / hoặc dịch vụ liên tục và có hành động phù hợp trong trường hợp chất lượng giảm sút
• Đảm bảo : Đảm bảo rằng chất lượng được duy trì một cách bền vững / liên tục
• Cải thiện : Đảm bảo rằng chất lượng được cải thiện trong một khoảng thời gian với sự phát triển của các yêu cầu kinh doanh và các bên liên quan.

Thuộc tính chất lượng sản phẩm phần mềm [ISO 25000]

Sau đây là một số tiêu chí dựa trên chất lượng sản phẩm phần mềm được xác định:

• Chức năng phù hợp
• Bảo trì
• Khả năng sử dụng
• Bảo vệ
• Hiệu quả
• độ tin cậy
• Tính di động

Các tiêu chí trên được quy định bởi loạt ISO 25000, còn được gọi là thông số kỹ thuật của SQuaRe. SQuaRe là viết tắt của Đánh giá và Yêu cầu Chất lượng Hệ thống và Phần mềm.

Đánh giá chất lượng của các mô hình học máy

Dựa trên các tiêu chí được đề cập ở trên để đánh giá chất lượng phần mềm, những điều sau đây áp dụng cho các mô hình Machine Learning:

Hình 1. Thuộc tính chất lượng của các mô hình học máy

• Sự phù hợp về chức năng : Các mô hình nên có các đặc điểm sau thỏa mãn các tiêu chí phù hợp về chức năng của đánh giá chất lượng:
  • Tính đầy đủ / Chính xác: Các mô hình nên tính đến tất cả các tính năng góp phần vào dự đoán mô hình. Nó nên sử dụng các chiến lược lựa chọn tính năng phù hợp [như tầm quan trọng của tính năng, phương thức trình bao, v.v.] để sử dụng hầu hết các tính năng quan trọng. Kiểm tra kiểm soát chất lượng nên xem xét xác nhận một số điều sau đây:
    • Các tính năng phù hợp nhất đã được chọn
    • Các tính năng quan trọng trong một khoảng thời gian cần thiết phải bỏ một hoặc nhiều tính năng hiện có hoặc bao gồm các tính năng mới
  • Độ chính xác: Mô hình nên có hiệu suất rất cao dựa trên kết quả chính xác / thu hồi. Các thử nghiệm nên được thực hiện để kiểm tra / theo dõi hiệu suất của mô hình và nâng cao cảnh báo lỗi trong trường hợp hiệu suất giảm.
• Khả năng bảo trì : Các mô hình rất dễ thay đổi và thử nghiệm. Các khía cạnh quan trọng của khả năng bảo trì là khả năng thay đổi và kiểm tra.
  • Khả năng thay đổi: Mô hình nên dễ dàng thay đổi từ một số quan điểm sau:
    • Các tính năng của các mô hình phải dễ dàng thay đổi theo nghĩa các tính năng mới có thể được chọn hoặc trích xuất và các tính năng hiện có sẽ có thể bị loại bỏ dựa trên các chiến lược lựa chọn tính năng như trình bao bọc, phương thức nhúng, v.v. xem xét trong khi đánh giá khía cạnh thay đổi của các mô hình [tính năng].
  • Khả năng kiểm tra: Các mô hình ML được tuyên bố là không thể kiểm tra được do các phép thử không được tìm thấy có mặt [và do đó, không thể được gọi] cho các mô hình ML. Do đó, khả năng kiểm tra mô hình ML nên được khám phá dựa trên các giả thuyết giả. Dưới đây trình bày một số kỹ thuật để kiểm tra các mô hình ML dựa trên giả thuyết:
    • Thử nghiệm biến chất trong đó quan hệ biến chất dựa trên một hoặc nhiều thuộc tính được sử dụng để thử nghiệm các cặp đầu vào-đầu ra.
    • So sánh kết quả đầu ra từ các mô hình được tạo bằng các thuật toán khác nhau
    • So sánh kết quả đầu ra trên các lát dữ liệu khác nhau nơi các lát dữ liệu được tạo dựa trên các đặc điểm nhất định của dữ liệu.
• Tính khả dụng : Các mô hình rất dễ hiểu và học hỏi. Điều này áp dụng cho sự hiểu biết về đầu vào và đầu ra từ mô hình, thuật toán Machine Learning được sử dụng để xây dựng mô hình, các tính năng của mô hình, vv Khía cạnh có thể được theo dõi / theo dõi theo thời gian bằng cách sử dụng các đánh giá thủ công.
• Hiệu quả : Các mô hình có chất lượng cao hơn sẽ có xu hướng thực thi nhanh hơn và chiếm ít tài nguyên hơn so với đối tác của nó. Nhóm QA nên đo thời gian và tài nguyên cần thiết cho việc thực hiện mô hình liên quan đến từng dự đoán.
• Bảo mật : Sau đây là một số khía cạnh liên quan đến bảo mật cần được kiểm tra và giám sát theo thời gian.
  • Quyền riêng tư dữ liệu trên đường ống ML: Dữ liệu chảy qua đường ống ML bao gồm các giai đoạn như thu thập dữ liệu, khám phá dữ liệu, chuẩn bị dữ liệu, trích xuất tính năng, lựa chọn tính năng cần được kiểm soát truy cập để tránh truy cập trái phép vào dữ liệu.
  • Tuân thủ dữ liệu / tính năng: Nhiều lần, dữ liệu không được phép sử dụng làm các tính năng rò rỉ vào mô hình do trộn lẫn bộ dữ liệu và tạo một tính năng mới. Điều này cần phải được theo dõi theo thời gian.
  • Ngộ độc dữ liệu: Cần phải xem xét dữ liệu theo thời gian để tránh sử dụng dữ liệu bất lợi như một phần của tính năng.
• Tính di động : Các mô hình rất dễ cài đặt. Ngoài ra, chúng có thể dễ dàng được thay thế bằng các mô hình tận dụng các thuật toán Machine Learning khác.

Tài liệu tham khảo

• Thông số kỹ thuật ISO 25000

Bạn cũng có thể muốn kiểm tra một số bài viết liên quan sau đây được xuất bản trên QA / Kiểm tra và Hệ thống học máy:

• Thử nghiệm biến chất của các mô hình học máy
• Tại sao các hệ thống máy học không thể kiểm tra?
• Kiểm tra tính năng của các mô hình ML
• QA của các mô hình ML với chu trình PDCA

Tóm lược

Trong bài đăng này, chủ đề liên quan đến việc xác định và đánh giá chất lượng của các mô hình Machine Learning đã được mô tả. Trong trường hợp bạn thích bài viết, xin vui lòng chia sẻ. Hãy bình luận hoặc để lại đề xuất liên quan đến nội dung của bài viết và giúp tôi cung cấp chi tiết hơn.