Sự miêu tả
Mục tiêu học tập của phòng thí nghiệm này là để
· Cần cài đặt hai tiện ích bổ sung Splunk để thực hiện phân tích máy học
· Khám phá một số bộ dữ liệu bảo mật được cung cấp cùng với phần mềm Splunk bằng MLTK
· Xây dựng bộ phân loại/bộ hồi quy ML bằng cách sử dụng các bộ dữ liệu này, sau đó so sánh các thước đo hiệu suất như ma trận nhầm lẫn, độ chính xác, khả năng thu hồi, độ chính xác và điểm F1
· Tải tập dữ liệu của riêng bạn vào Splunk
· Khám phá tập dữ liệu của riêng bạn bằng MLTK
· Xây dựng bộ phân loại ML bằng cách sử dụng tập dữ liệu của bạn, sau đó so sánh các biện pháp đo lường hiệu suất như ma trận nhầm lẫn, độ chính xác, thu hồi, độ chính xác và điểm F1
· Khám phá Bộ dữ liệu KDDcup99 và phân loại dữ liệu bằng các phương pháp ML khác nhau
Bài nộp của bạn cho phòng thí nghiệm này sẽ bao gồm một tài liệu Word chứa câu trả lời của bạn cho
Phần A. 1 a] và b];
Giới thiệu
Splunk là SEIM cấp doanh nghiệp phổ biến hỗ trợ các khả năng sau. theo dõi, tìm kiếm, phân tích và trực quan hóa bằng cách sử dụng lượng lớn dữ liệu. Đây là một ứng dụng rộng rãi được sử dụng trên một số lĩnh vực bao gồm giám sát cơ sở hạ tầng và ứng dụng, giám sát dịch vụ CNTT và kinh doanh, bảo mật, ứng dụng IoT, phân tích kinh doanh và khai thác quy trình;
Splunk chứa Bộ công cụ học máy [MLTK] có thể được sử dụng để triển khai các ứng dụng học máy, bao gồm cả các ứng dụng trong An ninh mạng. MLTK được xây dựng dựa trên Thư viện Python dành cho máy tính khoa học [PSC] và hệ sinh thái này bao gồm thư viện máy học phổ biến nhất được gọi là sci-kit learn, cũng như các thư viện hỗ trợ khác như NumPy, SciPy, Pandas và Statsmodels
Trong phòng thí nghiệm trước, bạn đã học cách sử dụng Splunk bằng cách hoàn thành Hướng dẫn tìm kiếm. Trong phòng thí nghiệm này, bạn sẽ sử dụng MLTK để hoàn thành một số bài tập phân tích An ninh mạng. Đối với phòng thí nghiệm này, bạn sẽ cần cài đặt hai tiện ích bổ sung Splunk theo thứ tự sau
· Python cho Điện toán khoa học [PSC] [chọn Mac hoặc Windows tùy thuộc vào hệ điều hành của bạn]
· Bộ công cụ học máy Splunk
Phần A. Làm việc với các trường hợp sử dụng bảo mật trong Splunk
Đăng nhập vào bạn Splunk Enterprise [bản dùng thử]. Cài đặt các tiện ích bổ sung sau như được giải thích bên dưới
· Python cho máy tính khoa học [dành cho Mac hoặc Windows tùy thuộc vào hệ điều hành của bạn]
· Bộ công cụ học máy Splunk
Cài đặt các tiện ích bổ sung như sau
Chọn mục Ứng dụng ở trên cùng bên trái rồi chọn mục ‘Quản lý ứng dụng’ từ menu thả xuống. Nhấp vào nút 'Cài đặt ứng dụng từ tệp' ở trên cùng bên phải như được hiển thị trên ảnh chụp màn hình bên dưới. Sử dụng hai tệp TGZ được cung cấp bằng cách duyệt đến vị trí bạn lưu chúng để cài đặt PSC trước rồi đến MLTK
Bạn cũng có thể hoàn tất cài đặt bằng cách tự tải xuống các tiện ích bổ sung nhưng bạn có thể gặp một số khó khăn
Splunk Machine Learning Toolkit [MLTK] hỗ trợ áp dụng các kỹ thuật và phương pháp học máy đối với dữ liệu của bạn. Bài viết này thảo luận về cách bắt đầu với MLTK bao gồm cài đặt, một số thử nghiệm ban đầu và ví dụ
Splunk MLTK bao gồm các phương pháp để phân tích dữ liệu bao gồm các thuật toán như hồi quy, bất thường và phát hiện ngoại lệ. Đây là những điều cần thiết để hiểu, mô hình hóa và phát hiện các xu hướng trong dữ liệu của bạn mà không dễ dàng xác định được bằng quan sát. Bộ công cụ học máy cũng cho phép các bộ dữ liệu ví dụ và trực quan hóa tùy chỉnh để thực hành các lệnh Ngôn ngữ xử lý Splunk [SPL] của bạn. Nó cũng cung cấp một trợ lý để tạo mô hình phân tích dữ liệu của bạn, giúp bạn bắt đầu nhanh hơn với Machine Learning
Cài đặt Bộ công cụ học máy Splunk
Bạn phải cài đặt hai ứng dụng để cài đặt và định cấu hình Splunk MLTK đúng cách. Cả hai ứng dụng này đều có sẵn trên Splunkbase. Các ứng dụng này chỉ cần được cài đặt trên Đầu tìm kiếm của bạn và bạn nên sử dụng quy trình cài đặt ứng dụng thông thường mà bạn sẽ tuân theo đối với bất kỳ ứng dụng nào khác
Bước 1 – Cài đặt tiện ích bổ sung Python cho máy tính khoa họcỨng dụng đầu tiên bạn cần cài đặt là tiện ích bổ sung Python For Scientific Computing. Có ba phiên bản, dựa trên hệ điều hành của bạn, Windows 64-bit và Linux 32/64-bit. Liên kết cho tất cả các loại tiện ích bổ sung được cung cấp bên dưới
https. //splunkbase. văng tục. com/app/2883/ – Windows 64-bit
https. //splunkbase. văng tục. com/app/2884/ – Linux 32-bit
https. //splunkbase. văng tục. com/ứng dụng/2882/ – Linux 64-bit
Tiện ích bổ sung Python dành cho máy tính khoa học cho phép Splunk nhập các thư viện khoa học, kỹ thuật và toán học của python để tính toán các bài kiểm tra thống kê và khám phá dữ liệu để sử dụng với các lệnh Splunk tùy chỉnh
Bước 2 – Cài đặt ứng dụng Machine Learning ToolkitỨng dụng Machine Learning Toolkit cung cấp tất cả các bảng thông tin, đối tượng kiến thức và lệnh tìm kiếm tùy chỉnh và có thể tải xuống tại đây
https. //splunkbase. văng tục. com/ứng dụng/2890/
Sau khi ứng dụng được cài đặt, Splunk sẽ cần được khởi động lại. Sau khi quá trình khởi động lại hoàn tất và bạn đăng nhập lại vào Splunk, ứng dụng Splunk Machine Learning Toolkit sẽ hiển thị trên thanh ứng dụng từ trang trình khởi chạy Splunk
Sử dụng Bộ công cụ học máy
Sau khi khởi chạy ứng dụng, theo mặc định, bạn sẽ được đưa đến tab 'giới thiệu' của ứng dụng, liệt kê các khả năng phân tích được cung cấp cùng với ứng dụng. Nó cũng giới thiệu một số ví dụ để minh họa cách áp dụng các thuật toán khác nhau cho các bộ dữ liệu mẫu.
Mỗi ví dụ trong MLTK thể hiện khả năng phân tích của bộ công cụ. Chúng ta sẽ xem xét kỹ Doanh số dự báo hàng tháng trong Phần Chuỗi thời gian dự báo. Nhấp vào ví dụ để điều hướng đến trang Trợ lý, trang này sẽ cho phép bạn sử dụng dự báo như hình bên dưới
Trợ lý này cho phép chúng tôi chọn 'ARIMA' hoặc 'Bộ lọc Kalman', còn được gọi là thuật toán 'Ước lượng bậc hai tuyến tính', để dự báo và chúng tôi sẽ điều chỉnh các biến để đưa vào thuật toán. Trợ lý tự động điền vào thanh tìm kiếm tập dữ liệu mẫu về doanh số bán hàng hàng tháng và thêm các giá trị mặc định vào các biến. Bạn có thể điều chỉnh các giá trị mặc định dựa trên yêu cầu dự báo của mình
Khi các biến đã được điền, hãy nhấp vào “Dự báo” để tính toán các giá trị dự báo
Kết quả dự đoán của dữ liệu chuỗi thời gian được hiển thị dưới dạng trực quan hóa 'biểu đồ thời gian'
Phần được đánh dấu màu xanh lục của biểu đồ là doanh số hàng tháng được dự báo dựa trên thuật toán. Trục X trong chuỗi thời gian sẽ biểu thị biến _time trong khi trục Y là trường chúng tôi muốn dự báo [Trong ví dụ này, trục Y biểu thị doanh số bán hàng]. Trợ lý MLTK giúp người dùng Splunk thuận tiện thực hiện các thuật toán dự báo mà không cần tính toán toán học phức tạp
Để xem Truy vấn Splunk được thực thi ở chế độ nền trong mô hình này, chúng tôi nhấp vào 'Mở trong Tìm kiếm' hiển thị các lệnh được sử dụng trong hình ảnh trực quan này. Tìm kiếm cung cấp năng lượng cho hình ảnh này là
| inputlookup souvenir_sales.csv | eval _time=strptime[Month, "%Y-%m-%d"] | timechart span=1mon values[sales] as sales | predict "sales" as prediction algorithm="LLP" future_timespan="24" holdback="0" lower"95"=lower"95" upper"95"=upper"95" | `forecastviz[24, 0, "sales", 95]`Lệnh tìm kiếm máy học
Bộ công cụ học máy Splunk chứa các lệnh tùy chỉnh, được gọi là Ngôn ngữ xử lý tìm kiếm-học máy [ML-SPL] có thể được sử dụng để triển khai mô hình thống kê. Các lệnh này như sau
- ứng dụng
- xóa mô hình
- Phù hợp
- danh sách mô hình
- vật mẫu
- tóm lược
Bạn có thể tìm thấy hướng dẫn để hiểu các Lệnh tìm kiếm trong Bộ công cụ học máy trên Splunk Docs tại đây
Quản lý mô hìnhMenu Mô hình trong ứng dụng MLTK hiển thị các mô hình mà người dùng có quyền truy cập. Nó liệt kê cách các mô hình được chia sẻ, ai sở hữu các mô hình và loại thuật toán nào được sử dụng. Đây là một trang thuận tiện để liệt kê tất cả các mô hình mà người dùng đã làm việc và nếu chúng có thể được chia sẻ. Theo mặc định, vai trò quyền lực và quản trị viên có thể sửa đổi và đặt quyền cho các mô hình
Đây là một tính năng hữu ích lưu trữ lịch sử của bạn để lập mô hình dữ liệu. Khi làm việc trên mô hình của bạn, 'Tải cài đặt hiện có' sẽ lưu lịch sử các trường mô hình của bạn được sử dụng và các cài đặt như; . Chúng tôi có thể nhanh chóng tham khảo lại bất kỳ cài đặt nào trước đó mà chúng tôi đã sử dụng trong quá trình tạo mô hình
Tiền xử lý cho phép bạn chuẩn bị dữ liệu của mình để áp dụng các thuật toán trên đó. Nó tạo ra sự đồng nhất cho lĩnh vực của bạn dựa trên các yêu cầu mô hình của bạn. Trợ lý tiền xử lý được tìm thấy trên cùng một trang bên dưới đầu vào tìm kiếm khi tạo mô hình mới
Ba thuật toán được cung cấp trong Tiền xử lý có thể được áp dụng cho các trường số của bạn là
- Chuyển đổi Bộ chia tỷ lệ chuẩn đối với Giá trị trung bình hoặc Độ lệch chuẩn
- Phân tích thành phần chính [PCA] để chuyển đổi dữ liệu có thể tương quan thành các biến không tương quan tuyến tính được gọi là thành phần chính
- Phân tích thành phần chính hạt nhân [KernelPCA], tương tự như ánh xạ PCA, tuy nhiên, nó có thể chiếu dữ liệu theo nhiều chiều và tìm các phụ thuộc phi tuyến tính trong các trường được chọn từ dữ liệu thô
Khi loại thuật toán được chọn, chúng tôi sẽ 'Áp dụng' để thực hiện tiền xử lý đã chỉ định. Thao tác này sẽ tạo một trường mới có tiền tố 'SS_' cho Trình chia tỷ lệ tiêu chuẩn và 'PC1_' và 'PC2_' cho các thuật toán còn lại. Trường mới được tạo sau đó có thể được sử dụng trong mô hình của chúng tôi. Tiền xử lý là một bước hữu ích trong việc loại bỏ nhu cầu tính toán thủ công để chia tỷ lệ dữ liệu để áp dụng cho mô hình
Bạn có thể tìm thêm thông tin về các bước áp dụng cũng như thông tin về tiền xử lý và thuật toán trên Splunk Docs tại đây
Hãy theo dõi để biết thêm các bài đăng về Bộ công cụ học máy khi chúng tôi sử dụng nó để quay vòng và giới thiệu một số cách sử dụng thực tế cho nó
Tìm cách để đẩy nhanh thành công của bạn với Splunk?
© Khám phá Trí thông minh Inc. , 2018. Việc sử dụng trái phép và/hoặc sao chép tài liệu này mà không có sự cho phép rõ ràng và bằng văn bản từ chủ sở hữu trang web này đều bị nghiêm cấm. Các đoạn trích và liên kết có thể được sử dụng, miễn là ghi công đầy đủ và rõ ràng cho Trí thông minh được khám phá, với hướng dẫn cụ thể và phù hợp [i. e. một URL được liên kết] với nội dung gốc này