thư viện được gọi là beautifulsoup. Sử dụng thư viện này, chúng tôi có thể tìm kiếm các giá trị của thẻ html và nhận dữ liệu cụ thể như tiêu đề của trang và danh sách các tiêu đề trong trang
Cài đặt BeautifulSoup
Sử dụng trình quản lý gói Anaconda để cài đặt gói cần thiết và các gói phụ thuộc của nó
conda install Beaustifulsoap
Đọc tệp HTML
Trong ví dụ dưới đây, chúng tôi yêu cầu một url được tải vào môi trường python. Sau đó sử dụng tham số trình phân tích cú pháp html để đọc toàn bộ tệp html. Tiếp theo, chúng tôi in một vài dòng đầu tiên của trang html
Rất thường xảy ra tình huống khi bạn cần nhanh chóng lấy thông tin từ một trang web, thường là dữ liệu số và rất có thể được trình bày dưới dạng bảng
Điều này xảy ra trong các ứng dụng riêng tư, nhưng cũng xảy ra trong các công ty. Một nhiệm vụ thuộc loại này luôn không được lên lịch, vì nếu nó được dự đoán trước thì dữ liệu sẽ được lấy từ trang web thông qua API do trang web của nhà cung cấp thông tin cung cấp
Độ nhạy cảm về thời gian của một tác vụ như vậy thường dao động trong khoảng vài giờ hoặc 1-2 ngày làm việc hoặc tối đa là một tuần, nhưng thông tin mà chúng tôi nhận được từ trang web của trang web bên thứ ba chỉ là rất quan trọng. . "Một khâu trong thời gian tiết kiệm chín. "
Tùy chọn truy cập thông tin trên mạng
Có hai cách để truy cập thông tin mới nhất trên Internet
Đầu tiên là thông qua API mà các trang web phương tiện cung cấp và thứ hai là thông qua phân tích trang web [Web Scraping]
Sử dụng API cực kỳ đơn giản và có lẽ cách tốt nhất để cập nhật thông tin là gọi giao diện chương trình thích hợp. Nhưng thật không may, không phải tất cả các trang web đều cung cấp API công khai hoặc đơn giản là bạn không có đủ thời gian để lấy dữ liệu qua API. Trong trường hợp này, có một cách khác và đây là phân tích cú pháp trang web
Có ba bước chính để lấy thông tin từ một trang web [Hình. 1]
Chuỗi hành động để lấy thông tin từ một trang web sẽ tương ứng với các bước trong phần trước và nhìn chung sẽ như thế này
- lấy URL của trang mà chúng tôi muốn trích xuất dữ liệu
- sao chép hoặc tải xuống nội dung HTML của trang
- phân tích nội dung HTML và lấy dữ liệu cần thiết
Trình tự này giúp bạn truy cập URL của trang mong muốn, nhận nội dung HTML và phân tích dữ liệu cần thiết [Hình. 2]. Nhưng đôi khi trước tiên bạn cần vào trang web, sau đó đến một địa chỉ cụ thể để lấy dữ liệu. Trong trường hợp này, thêm một bước nữa để vào trang web
Quả sung. 2. Sơ đồ cấu trúc lấy thông tin từ trang web bằng Python
Tại sao nó có thể dễ dàng thực hiện trong Python
Tại sao vấn đề này cần được giải quyết bằng Python? . Tuy nhiên, có một số lợi thế đáng kể khi bạn sử dụng Python
- Python là ngôn ngữ thông dịch, bạn không cần biên dịch mã
- Python và các gói liên quan của nó là miễn phí
- Ngưỡng đầu vào khá thấp, bạn có thể tìm ra sau 30-40 phút
- Python hoạt động tốt trên Linux, MacOS và Windows
- Đã có các giải pháp làm sẵn, bạn không cần phải phát minh lại bánh xe, chỉ cần điều chỉnh nó theo nhu cầu của bạn
Các gói cho Python
Để phân tích nội dung HTML và lấy dữ liệu cần thiết, cách đơn giản nhất là sử dụng thư viện BeautifulSoup. Đây là gói Python tuyệt vời để phân tích tài liệu HTML và XML
Bạn cũng có thể sử dụng thư viện Selenium để vào trang web, điều hướng đến URL mong muốn trong một phiên và tải xuống nội dung HTML. Selenium Python giúp bấm nút, nhập nội dung và các thao tác khác
Bạn có thể sử dụng thư viện lxml. Nó hoạt động rất nhanh, nhưng có nhiều hạn chế. Để tránh xác định mục nhập trang bằng chương trình rô bốt, bạn cần mô phỏng trình duyệt của người dùng thông thường
Khung Grab có thể giả vờ là người dùng thông thường với tất cả các loại tác nhân người dùng và cookie. Gói này rất dễ học, nhưng bạn sẽ phải nghiên cứu kỹ tài liệu của nó
Có nhiều thư viện Python để gửi yêu cầu http, nổi tiếng nhất là urllib/urllib2 và Yêu cầu. Yêu cầu thường được coi là thuận tiện và ngắn gọn hơn
Sau đây là thông tin chi tiết về BeautifulSoup cũng như các tùy chọn khác cho thư viện để phân tích cú pháp html
Súp đẹp, lxml
Đây là hai thư viện phổ biến nhất để phân tích cú pháp html và có khả năng lựa chọn một trong số chúng. Hơn nữa, các thư viện này được liên kết chặt chẽ với nhau. BeautifulSoup bắt đầu sử dụng lxml làm trình phân tích cú pháp nội bộ để tăng tốc và mô-đun soupparser đã được thêm vào lxml. Bạn có thể đọc thêm về ưu và nhược điểm của các thư viện này trong tài liệu và trên Stackoverflow
BeautifulSoup là một thư viện để phân tích cú pháp các tệp HTML/XML, được viết bằng ngôn ngữ lập trình Python, thậm chí có thể chuyển đổi đánh dấu không chính xác thành cây phân tích cú pháp. Nó hỗ trợ các cách đơn giản và tự nhiên để điều hướng, tìm kiếm và sửa đổi cây phân tích cú pháp. Trong hầu hết các trường hợp, nó sẽ giúp lập trình viên tiết kiệm hàng giờ và ngày làm việc
BeautifulSoup cho phép bạn làm việc với unicode, mở ra cơ hội tuyệt vời để xử lý các trang bằng các ngôn ngữ khác nhau
Nhìn chung, thư viện được xây dựng và cấu trúc tốt đến mức nó cho phép bạn nhanh chóng lấy trang và lấy thông tin cần thiết. Chức năng của thư viện được thể hiện qua các phần chính sau
- Điều hướng cây phân tích cú pháp
- Tìm kiếm cây phân tích cú pháp
- Tìm kiếm bên trong cây phân tích cú pháp
- Sửa đổi cây phân tích cú pháp
Lxml là một thư viện tuyệt vời để sử dụng với BeautifulSoup để phân tích các tệp có cấu trúc cây và nó hỗ trợ API ElementTree. Thư viện này cung cấp ràng buộc cho các thư viện C libxml2 và libxslt
phế liệu
Scrapy không chỉ là một thư viện mà còn là toàn bộ khung nguồn mở để truy xuất dữ liệu từ các trang web. Nó có nhiều chức năng hữu ích. truy vấn không đồng bộ, khả năng sử dụng bộ chọn XPath và CSS để xử lý dữ liệu, làm việc thuận tiện với mã hóa, v.v.
Scrapy là một công cụ tuyệt vời cho cả việc phân tích cú pháp trang web đơn giản và các giải pháp phức tạp. Cấu trúc của nó rất rõ ràng và trực quan. Nó nhanh [nhờ Twisted] và rất dễ mở rộng. Nó cung cấp nhiều ví dụ và tiện ích mở rộng sẵn sàng sử dụng. Scrapy là một trong những công cụ tốt nhất trong lớp của nó.
Scrapy được thiết kế chủ yếu để quét web, nhưng nó cũng có thể được sử dụng để trích xuất dữ liệu bằng API.
Vồ lấy
Grab là một thư viện để làm việc với các tài liệu mạng. Các lĩnh vực chính mà f Grab hữu ích là
- trích xuất dữ liệu từ các trang web [trang web cạo]
- làm việc với các API mạng
- tự động hóa công việc với các trang web, ví dụ: công ty đăng ký hồ sơ trên trang web
Grab bao gồm hai phần
- Giao diện chính của Grab để tạo yêu cầu mạng và làm việc với kết quả của nó. Giao diện này thuận tiện để sử dụng trong các tập lệnh đơn giản mà bạn không cần nhiều luồng hoặc trực tiếp trong bảng điều khiển Python
- Giao diện Spider để phát triển trình phân tích cú pháp không đồng bộ. Thứ nhất, giao diện này cho phép mô tả chặt chẽ hơn về logic của trình phân tích cú pháp và thứ hai, sự phát triển của các trình phân tích cú pháp với số lượng lớn luồng mạng
thư viện yêu cầu
Thư viện Yêu cầu là một thư viện hiệu quả để nhập dữ liệu từ các trang web. Nó cho phép thực hiện các yêu cầu HTTP, có nghĩa là bạn có thể sử dụng nó để truy cập các trang web. Thư viện yêu cầu có những ưu điểm sau
- chủ đề an toàn
- Quản lý thời gian chờ kết nối
- Khóa/giá trị cookie & phiên với tính bền vững của cookie
- Giải nén tự động
- Xác thực cơ bản/tiêu hóa
- Xác minh SSL kiểu trình duyệt
- Hoạt động với API yên tĩnh, tôi. e. , tất cả các phương thức của nó – PUT, GET, DELETE, POST
Nhưng thư viện Yêu cầu không được khuyến nghị nếu trang web có Javascript ẩn hoặc tải nội dung
urllib/urllib2
Urllib2 là một mô-đun Python giúp bạn làm việc với một URL. Mô-đun này có các chức năng và lớp riêng giúp làm việc với các URL - xác thực cơ bản và thông báo, chuyển hướng, cookie, v.v.
Thư viện này rất phong phú. Nó hỗ trợ xác thực cơ bản và thông báo, chuyển hướng, cookie, v.v.
Mặc dù cả hai mô-đun đều được thiết kế để hoạt động với URL, nhưng chúng có chức năng khác nhau
Urllib2 có thể lấy đối tượng Yêu cầu làm đối số để thêm tiêu đề vào yêu cầu và hơn thế nữa, trong khi urllib chỉ có thể chấp nhận URL chuỗi
Urllib có một phương thức urlencode được sử dụng để mã hóa một chuỗi thành dạng xem đáp ứng các quy tắc dữ liệu trong các truy vấn
Đây là lý do tại sao urllib và urllib2 được sử dụng cùng nhau rất thường xuyên
phân tích cú pháp
XPath là ngôn ngữ truy vấn cho tài liệu xml và xhtml. Nó được sử dụng phổ biến nhất khi làm việc với thư viện lxml
XPath [Ngôn ngữ đường dẫn XML] là ngôn ngữ truy vấn cho các phần tử của tài liệu XML. Nó được thiết kế để cung cấp quyền truy cập vào các phần của tài liệu XML trong các tệp chuyển đổi XSLT và là một tiêu chuẩn của tập đoàn W3C. XPath nhằm triển khai điều hướng DOM trong XML. XPath sử dụng cú pháp nhỏ gọn khác với XML
Giống như SQL, XPath là một ngôn ngữ truy vấn khai báo. Để lấy dữ liệu quan tâm, bạn chỉ cần tạo truy vấn mô tả dữ liệu
lxml là thư viện giàu tính năng và dễ sử dụng nhất để xử lý XML và HTML trong Python
Một thư viện mạnh khác để phân tích cú pháp là biểu thức chính quy [re]. Với các biểu thức chính quy, bạn có thể làm bất cứ điều gì. nghĩa đen là tất cả mọi thứ. Bạn có thể phân tích bất kỳ thông tin nào từ một trang web, bạn có thể thực hiện tiền xử lý và nhiều tùy chọn thú vị khác
Tất nhiên, các biểu thức thông thường sẽ có ích, nhưng chỉ sử dụng chúng có lẽ hơi quá khó và không phải là mục đích mà chúng được thiết kế.
Điều rất quan trọng là phải viết chính xác trình phân tích cú pháp, vì thông tin được trình bày trên trang thường không ở dạng bảng mà ở dạng các thẻ HTML nhất định, khiến việc cấu trúc và phân tích cú pháp thông tin từ trang trở nên khó khăn hơn
Bắt đầu cập nhật thông tin vào một thời điểm cụ thể
Nếu chúng tôi phân tích một trang web thường xuyên cập nhật nội dung, chẳng hạn như kết quả cạnh tranh hoặc kết quả hiện tại cho một số sự kiện thông tin, thì nên tạo một tác vụ cron để chạy chương trình này trong các khoảng thời gian cụ thể
Thư viện tqdm hiển thị tiến trình của bất kỳ chu trình nào. Bạn chỉ cần quấn lại và ra bàn điều khiển sẽ thấy tiến trình. Nó được sử dụng chỉ để rõ ràng, nhưng nó giúp ích rất nhiều khi quá trình này không nhanh
Có thể làm điều này mà không cần Python không?
Vâng, nó có thể. Bạn chỉ cần tìm đúng dịch vụ đám mây nơi một hệ thống như vậy đã được tạo; . Ví dụ: bạn có thể chọn từ các dịch vụ đám mây sau, tùy theo sở thích và nhu cầu của mình
Nhập khẩu. io cung cấp cho nhà phát triển một cách dễ dàng để tạo các gói dữ liệu của riêng họ. bạn chỉ cần nhập thông tin từ một trang web cụ thể và xuất nó sang CSV. Bạn có thể trích xuất hàng nghìn trang web trong vài phút mà không cần viết một dòng mã nào và tạo hàng nghìn API theo yêu cầu của bạn
Webhose. io cung cấp quyền truy cập trực tiếp theo thời gian thực vào dữ liệu có cấu trúc thu được bằng cách phân tích cú pháp hàng nghìn nguồn trực tuyến. Trình phân tích cú pháp này có thể thu thập dữ liệu web bằng hơn 240 ngôn ngữ và lưu kết quả ở nhiều định dạng khác nhau, bao gồm XML, JSON và RSS
Scrapinghub là công cụ phân tích dữ liệu dựa trên đám mây giúp bạn chọn và thu thập dữ liệu cần thiết cho bất kỳ mục đích nào. Scrapinghub sử dụng Crawlera, một công cụ quay vòng proxy thông minh được trang bị các cơ chế có thể vượt qua lớp bảo vệ chống lại bot. Dịch vụ này có thể xử lý khối lượng thông tin khổng lồ và các trang web được bảo vệ khỏi rô-bốt
Ngoài ra, bảng Bảng tính Google cho phép bạn nhập dữ liệu từ các trang web và có thể rất thuận tiện
kết luận
Nói chung, chúng ta có thể nói rằng phương pháp này khá khả thi. Nhưng đừng lạm dụng phương pháp này, tốt hơn hết là sử dụng API để lấy thông tin từ trang web. Nhưng như một giải pháp tạm thời cho một vấn đề nhạy cảm về thời gian, hệ thống này hoạt động và hiệu quả hơn là chỉ sao chép dữ liệu theo cách thủ công
Hãy chú ý đến thư viện BeautifulSoup, sử dụng trình duyệt Selenium với các plug-in cần thiết từ Python và sử dụng Panda. Nếu cần, chỉ cần kích hoạt dịch vụ đám mây làm sẵn cần thiết