Học máy Azure là gì?

Azure Machine Learning là một dịch vụ đám mây để tăng tốc và quản lý vòng đời của dự án machine learning. Các chuyên gia máy học, nhà khoa học dữ liệu và kỹ sư có thể sử dụng nó trong quy trình làm việc hàng ngày của họ: Huấn luyện và triển khai các mô hình cũng như quản lý MLOps.

Bạn có thể tạo mô hình trong Azure Machine Learning hoặc sử dụng mô hình được tạo từ nền tảng nguồn mở, chẳng hạn như Pytorch, TensorFlow hoặc scikit-learning. Các công cụ MLOps giúp bạn theo dõi, đào tạo lại và triển khai lại các mô hình.

Azure Machine Learning dành cho các cá nhân và nhóm triển khai MLOps trong tổ chức của họ để đưa các mô hình machine learning vào sản xuất trong một môi trường sản xuất an toàn và có thể kiểm tra được.

Các nhà khoa học dữ liệu và kỹ sư ML sẽ tìm thấy các công cụ để tăng tốc và tự động hóa quy trình làm việc hàng ngày của họ. Các nhà phát triển ứng dụng sẽ tìm thấy các công cụ để tích hợp các mô hình vào các ứng dụng hoặc dịch vụ. Các nhà phát triển nền tảng sẽ tìm thấy một bộ công cụ mạnh mẽ, được hỗ trợ bởi các API Trình quản lý tài nguyên Azure lâu bền, để xây dựng công cụ ML nâng cao.

Các doanh nghiệp làm việc trên đám mây Microsoft Azure sẽ thấy tính năng kiểm soát truy cập dựa trên vai trò và bảo mật (RBAC) quen thuộc cho cơ sở hạ tầng. Bạn có thể thiết lập một dự án để từ chối quyền truy cập vào dữ liệu được bảo vệ và chọn các thao tác.

Các dự án máy học thường yêu cầu một nhóm có nhiều kỹ năng khác nhau để xây dựng và duy trì. Azure Machine Learning có các công cụ giúp bạn:

• Cộng tác với nhóm của bạn thông qua sổ ghi chép dùng chung, tính toán tài nguyên, dữ liệu và môi trường
• Phát triển các mô hình cho sự công bằng và khả năng giải thích, theo dõi và khả năng kiểm toán để đáp ứng các yêu cầu tuân thủ kiểm toán và truyền thống
• Triển khai các mô hình ML một cách nhanh chóng và dễ dàng trên quy mô lớn, đồng thời quản lý và điều hành chúng một cách hiệu quả với MLOps
• Chạy khối lượng công việc máy học ở mọi nơi với tính năng quản trị, bảo mật và tuân thủ tích hợp sẵn

Bất kỳ ai trong nhóm ML đều có thể sử dụng các công cụ ưa thích của họ để hoàn thành công việc. Cho dù bạn đang chạy thử nghiệm nhanh, điều chỉnh siêu tham số, xây dựng đường ống dẫn hay quản lý suy luận, thì bạn đều có thể sử dụng các giao diện quen thuộc bao gồm:

• Phòng học máy Azure
• SDK Python (v2)
• CLI (v2) )
• Trình quản lý tài nguyên Azure API REST

Khi tinh chỉnh mô hình và cộng tác với những người khác trong suốt phần còn lại của chu trình phát triển Machine Learning, bạn có thể chia sẻ và tìm nội dung, tài nguyên cũng như chỉ số cho các dự án của mình trên giao diện người dùng studio Azure Machine Learning.

Studio Azure Machine Learning cung cấp nhiều trải nghiệm soạn thảo tùy thuộc vào loại dự án và mức độ trải nghiệm ML trước đây của bạn mà không cần phải cài đặt bất kỳ thứ gì.

• Sổ ghi chép: viết và chạy mã của riêng bạn trong các máy chủ Jupyter Notebook được quản lý được tích hợp trực tiếp trong studio.
• Trực quan hóa số liệu chạy: phân tích và tối ưu hóa các thử nghiệm của bạn bằng trực quan hóa.

  

• Trình thiết kế Azure Machine Learning: sử dụng trình thiết kế để đào tạo và triển khai các mô hình máy học mà không cần viết bất kỳ mã nào. Kéo và thả các bộ dữ liệu và thành phần để tạo các quy trình ML. Hãy thử hướng dẫn thiết kế .
• Giao diện người dùng học máy tự động: Tìm hiểu cách tạo thử nghiệm ML tự động với giao diện dễ sử dụng.
• Ghi nhãn dữ liệu: Sử dụng ghi nhãn dữ liệu Azure Machine Learning để phối hợp hiệu quả các dự án ghi nhãn hình ảnh hoặc văn bản .

Azure Machine Learning tích hợp với nền tảng đám mây Azure để tăng cường bảo mật cho các dự án ML.

Tích hợp bảo mật bao gồm:

• Azure Virtual Networks (VNets) với các nhóm bảo mật mạng
• Azure Key Vault nơi bạn có thể lưu các bí mật bảo mật, chẳng hạn như thông tin truy cập cho các tài khoản lưu trữ
• Azure Container Registry được thiết lập phía sau VNet

Xem Hướng dẫn: Thiết lập không gian làm việc an toàn .

Các tích hợp khác với dịch vụ Azure hỗ trợ dự án máy học từ đầu đến cuối. Chúng bao gồm:

• Azure Synapse Analytics để xử lý và truyền dữ liệu với Spark
• Azure Arc, nơi bạn có thể chạy các dịch vụ Azure trong môi trường Kubernetes
• Các tùy chọn lưu trữ và cơ sở dữ liệu, chẳng hạn như Cơ sở dữ liệu Azure SQL, Azure Storage Blobs, v.v.
• Dịch vụ ứng dụng Azure cho phép bạn triển khai và quản lý các ứng dụng do ML cung cấp

Thông thường, các mô hình được phát triển như một phần của dự án với mục tiêu và mục tiêu. Các dự án thường liên quan đến nhiều hơn một người. Khi thử nghiệm với dữ liệu, thuật toán và mô hình, quá trình phát triển là lặp đi lặp lại.

Mặc dù vòng đời của dự án có thể thay đổi theo từng dự án, nhưng nó thường giống như sau:

Một không gian làm việc tổ chức một dự án và cho phép cộng tác cho nhiều người dùng, tất cả đều làm việc hướng tới một mục tiêu chung. Người dùng trong không gian làm việc có thể dễ dàng chia sẻ kết quả chạy thử nghiệm của họ trong giao diện người dùng studio hoặc sử dụng nội dung được tạo phiên bản cho các công việc như môi trường và tham chiếu bộ nhớ.

Để biết thêm thông tin, hãy xem Quản lý không gian làm việc Azure Machine Learning .

Khi một dự án đã sẵn sàng để vận hành, công việc của người dùng có thể được tự động hóa trong quy trình máy học và được kích hoạt theo lịch trình hoặc yêu cầu HTTPS.

Các mô hình có thể được triển khai cho giải pháp suy luận được quản lý, cho cả triển khai hàng loạt và theo thời gian thực, loại bỏ việc quản lý cơ sở hạ tầng thường được yêu cầu để triển khai các mô hình.

Trong Azure Machine Learning, bạn có thể chạy tập lệnh đào tạo của mình trên đám mây hoặc xây dựng mô hình từ đầu. Khách hàng thường mang theo các mô hình mà họ đã xây dựng và đào tạo trong các khung nguồn mở để họ có thể vận hành chúng trên đám mây.

Các nhà khoa học dữ liệu có thể sử dụng các mô hình trong Azure Machine Learning mà họ đã tạo trong các khung Python phổ biến, chẳng hạn như:

• PyTorch
• TenorFlow
• scikit-học
• XGBoost
• LightGBM

Các ngôn ngữ và khuôn khổ khác cũng được hỗ trợ, bao gồm:

• .R
• .NET

Xem Tích hợp mã nguồn mở với Azure Machine Learning .

Trong một quy trình lặp đi lặp lại, tốn thời gian, trong máy học cổ điển, các nhà khoa học dữ liệu sử dụng kinh nghiệm và trực giác trước đó để chọn thuật toán và tính năng dữ liệu phù hợp cho đào tạo. Máy học tự động (AutoML) tăng tốc quá trình này và có thể được sử dụng thông qua giao diện người dùng studio hoặc Python SDK.

Xem Học máy tự động là gì?

Tối ưu hóa siêu tham số, hoặc điều chỉnh siêu tham số, có thể là một công việc tẻ nhạt. Azure Machine Learning có thể tự động hóa tác vụ này cho các lệnh được tham số hóa tùy ý mà không cần sửa đổi nhiều đối với định nghĩa công việc của bạn. Kết quả được hình dung trong studio.

Xem Cách điều chỉnh siêu đường kính .

Hiệu quả đào tạo cho công việc học sâu và đôi khi là đào tạo máy học cổ điển có thể được cải thiện đáng kể thông qua đào tạo phân tán đa nút. Các cụm điện toán Azure Machine Learning cung cấp các tùy chọn GPU mới nhất.

Được hỗ trợ thông qua các cụm tính toán Azure Machine Learning Kubernetes và Azure Machine Learning:

• PyTorch
• TenorFlow
• Bộ KH&ĐT

Phân phối MPI có thể được sử dụng cho Horovod hoặc logic đa nút tùy chỉnh. Ngoài ra, Apache Spark được hỗ trợ qua các cụm Azure Synapse Analytics Spark (bản xem trước).

Xem Đào tạo phân tán với Azure Machine Learning .

Mở rộng quy mô dự án máy học có thể yêu cầu mở rộng quy mô đào tạo mô hình song song. Mẫu này phổ biến đối với các tình huống như dự báo nhu cầu, trong đó một mô hình có thể được đào tạo cho nhiều cửa hàng.

Để đưa một mô hình vào sản xuất, nó được triển khai. Các điểm cuối được quản lý của Azure Machine Learning trừu tượng hóa cơ sở hạ tầng cần thiết cho cả tính điểm (suy luận) theo lô hoặc theo thời gian thực (trực tuyến).

Chấm điểm hàng loạt hoặc suy luận hàng loạt liên quan đến việc gọi một điểm cuối có tham chiếu đến dữ liệu. Điểm cuối lô chạy các công việc không đồng bộ để xử lý dữ liệu song song trên các cụm điện toán và lưu trữ dữ liệu để phân tích thêm.

Tính điểm theo thời gian thực hoặc tham luận trực tuyến bao gồm việc gọi một điểm cuối bằng một hoặc nhiều triển khai mô hình và nhận phản hồi trong thời gian gần như thực thông qua HTTP. Lưu lượng truy cập có thể được chia thành nhiều lần triển khai, cho phép thử nghiệm các phiên bản mô hình mới bằng cách chuyển hướng một số lượng lưu lượng truy cập ban đầu và tăng lên sau khi niềm tin vào mô hình mới được thiết lập.

Nhìn thấy:

• Triển khai mô hình với điểm cuối được quản lý theo thời gian thực
• Sử dụng các điểm cuối hàng loạt để ghi điểm

DevOps cho các mô hình máy học, thường được gọi là MLOps, là một quá trình phát triển các mô hình cho sản xuất. Vòng đời của một mô hình từ đào tạo đến triển khai phải được kiểm tra nếu không thể lặp lại.

Tìm hiểu thêm về MLOps trong Azure Machine Learning .

Azure Machine Learning được xây dựng có lưu ý đến vòng đời của mô hình. Bạn có thể kiểm tra vòng đời của mô hình theo một cam kết và môi trường cụ thể.

Một số tính năng chính cho phép MLOps bao gồm:

• githội nhập
• tích hợp MLflow
• lập lịch đường ống học máy
• Tích hợp Azure Event Grid cho trình kích hoạt tùy chỉnh
• Dễ sử dụng với các công cụ CI/CD như GitHub Actions hoặc Azure DevOps

Ngoài ra, Azure Machine Learning bao gồm các tính năng để theo dõi và kiểm tra:

• Tạo tác công việc, chẳng hạn như ảnh chụp nhanh mã, nhật ký và các kết quả đầu ra khác
• Mối quan hệ giữa công việc và nội dung, chẳng hạn như vùng chứa, dữ liệu và tài nguyên điện toán

Bắt đầu sử dụng Azure Machine Learning:

• Thiết lập không gian làm việc Azure Machine Learning
• Hướng dẫn: Xây dựng dự án máy học đầu tiên
• Làm thế nào để chạy công việc đào tạo