Hướng dẫn how to scrape url in python - cách cạo url trong python

Lý do để quét web

Nói rằng bạn là một người lướt sóng, cả trực tuyến và ngoài đời, và bạn đang tìm kiếm việc làm. Tuy nhiên, bạn không tìm kiếm bất kỳ công việc nào. Với tư duy lướt sóng, bạn đã chờ đợi cơ hội hoàn hảo để lăn lộn!

Có một trang web việc làm cung cấp chính xác các loại công việc bạn muốn. Thật không may, một vị trí mới chỉ xuất hiện một lần trong một mặt trăng xanh và trang web không cung cấp dịch vụ thông báo email. Bạn nghĩ về việc kiểm tra nó mỗi ngày, nhưng điều đó không giống như cách thú vị và hiệu quả nhất để dành thời gian của bạn.

Rất may, thế giới cung cấp các cách khác để áp dụng suy nghĩ của người lướt sóng đó! Thay vì nhìn vào trang web việc làm mỗi ngày, bạn có thể sử dụng Python để giúp tự động hóa các bộ phận lặp đi lặp lại tìm kiếm công việc của bạn. Tự động cạo web có thể là một giải pháp để tăng tốc quá trình thu thập dữ liệu. Bạn viết mã của mình một lần và nó sẽ nhận được thông tin bạn muốn nhiều lần và từ nhiều trang.Automated web scraping can be a solution to speed up the data collection process. You write your code once, and it will get the information you want many times and from many pages.

Ngược lại, khi bạn cố gắng lấy thông tin bạn muốn theo cách thủ công, bạn có thể dành nhiều thời gian để nhấp, cuộn và tìm kiếm, đặc biệt nếu bạn cần một lượng lớn dữ liệu từ các trang web thường xuyên được cập nhật với nội dung mới. Thủ công trên web có thể mất rất nhiều thời gian và sự lặp lại.

Có rất nhiều thông tin trên web và thông tin mới liên tục được thêm vào. Bạn có thể quan tâm đến ít nhất một số dữ liệu đó, và phần lớn nó chỉ là ngoài đó để thực hiện. Cho dù bạn thực sự đang đi săn công việc hay bạn muốn tải xuống tất cả lời bài hát của nghệ sĩ yêu thích của bạn, việc quét web tự động có thể giúp bạn hoàn thành mục tiêu của mình.

Những thách thức của việc quét web

Web đã phát triển hữu cơ từ nhiều nguồn. Nó kết hợp nhiều công nghệ, phong cách và tính cách khác nhau, và nó tiếp tục phát triển cho đến ngày nay. Nói cách khác, web là một mớ hỗn độn nóng bỏng! Bởi vì điều này, bạn sẽ gặp phải một số thách thức khi quét web:

• Variety: Mỗi trang web là khác nhau. Mặc dù bạn sẽ gặp các cấu trúc chung lặp lại, mỗi trang web là duy nhất và sẽ cần điều trị cá nhân nếu bạn muốn trích xuất thông tin liên quan. Every website is different. While you’ll encounter general structures that repeat themselves, each website is unique and will need personal treatment if you want to extract the relevant information.

• Độ bền: Các trang web liên tục thay đổi. Giả sử bạn đã xây dựng một máy cạo web mới sáng bóng, tự động chọn những gì bạn muốn từ tài nguyên quan tâm của bạn. Lần đầu tiên bạn chạy tập lệnh của mình, nó hoạt động hoàn hảo. Nhưng khi bạn chạy cùng một kịch bản chỉ một thời gian ngắn sau đó, bạn sẽ chạy vào một đống tracebacks đáng kinh ngạc và dài! Websites constantly change. Say you’ve built a shiny new web scraper that automatically cherry-picks what you want from your resource of interest. The first time you run your script, it works flawlessly. But when you run the same script only a short while later, you run into a discouraging and lengthy stack of tracebacks!

Các kịch bản không ổn định là một kịch bản thực tế, vì nhiều trang web đang được phát triển tích cực. Khi cấu trúc trang web đã thay đổi, cào của bạn có thể không thể điều hướng chính xác sơ đồ trang web hoặc tìm thông tin liên quan. Tin tốt là nhiều thay đổi đối với các trang web là nhỏ và gia tăng, do đó, bạn có thể có thể cập nhật cào của mình chỉ với những điều chỉnh tối thiểu.

Tuy nhiên, hãy nhớ rằng vì internet rất năng động, nên những bộ dụng cụ mà bạn xây dựng có thể sẽ yêu cầu bảo trì liên tục. Bạn có thể thiết lập tích hợp liên tục để chạy các bài kiểm tra quét định kỳ để đảm bảo rằng tập lệnh chính của bạn không bị phá vỡ mà không có kiến ​​thức của bạn.

Một giải pháp thay thế cho việc quét web: API

Một số nhà cung cấp trang web cung cấp giao diện lập trình ứng dụng (API) cho phép bạn truy cập dữ liệu của họ theo cách được xác định trước. Với API, bạn có thể tránh phân tích cú pháp HTML. Thay vào đó, bạn có thể truy cập dữ liệu trực tiếp bằng các định dạng như JSON và XML. HTML chủ yếu là một cách để trình bày nội dung cho người dùng một cách trực quan.

Khi bạn sử dụng API, quy trình thường ổn định hơn so với thu thập dữ liệu thông qua việc cạo web. Điều đó bởi vì các nhà phát triển tạo ra API để được tiêu thụ bởi các chương trình hơn là bằng mắt người.

Việc trình bày mặt trước của một trang web có thể thay đổi thường xuyên, nhưng sự thay đổi như vậy trong trang web Thiết kế của bạn không ảnh hưởng đến cấu trúc API của nó. Cấu trúc của API thường là vĩnh viễn hơn, điều đó có nghĩa là nó là một nguồn đáng tin cậy hơn của dữ liệu trang web.

Tuy nhiên, API cũng có thể thay đổi. Những thách thức của cả sự đa dạng và độ bền áp dụng cho API giống như chúng đối với các trang web. Ngoài ra, nó rất khó kiểm tra cấu trúc của API nếu tài liệu được cung cấp thiếu chất lượng.

Cách tiếp cận và công cụ bạn cần thu thập thông tin bằng API nằm ngoài phạm vi của hướng dẫn này. Để tìm hiểu thêm về nó, hãy xem tích hợp API trong Python.

Khám phá trang web

Nhấp qua trang web và tương tác với nó giống như bất kỳ người tìm kiếm công việc điển hình nào. Ví dụ: bạn có thể cuộn qua trang chính của trang web:

Bạn có thể thấy nhiều bài đăng công việc ở định dạng thẻ và mỗi người trong số họ có hai nút. Nếu bạn nhấp vào Áp dụng, thì bạn sẽ thấy một trang mới chứa các mô tả chi tiết hơn về công việc đã chọn. Bạn cũng có thể nhận thấy rằng URL trong thanh địa chỉ trình duyệt của bạn thay đổi khi bạn tương tác với trang web.

Giải mã thông tin trong URLS

Một lập trình viên có thể mã hóa nhiều thông tin trong URL. Hành trình quét web của bạn sẽ dễ dàng hơn nhiều nếu lần đầu tiên bạn làm quen với cách các URL hoạt động và những gì họ đã tạo ra. Ví dụ: bạn có thể thấy mình trên trang chi tiết có URL sau:

https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html

Bạn có thể giải mã URL trên thành hai phần chính:

1. URL cơ sở đại diện cho đường dẫn đến chức năng tìm kiếm của trang web. Trong ví dụ trên, URL cơ sở là

   https://au.indeed.com/jobs?q=developer&l=perth
   

   7. represents the path to the search functionality of the website. In the example above, the base URL is

   https://au.indeed.com/jobs?q=developer&l=perth
   

   7.
2. Vị trí trang web cụ thể kết thúc bằng

   https://au.indeed.com/jobs?q=developer&l=perth
   

   8 là đường dẫn đến tài nguyên độc đáo của mô tả công việc. that ends with

   https://au.indeed.com/jobs?q=developer&l=perth
   

   8 is the path to the job description’s unique resource.

Bất kỳ công việc được đăng trên trang web này sẽ sử dụng cùng một URL cơ sở. Tuy nhiên, vị trí tài nguyên độc đáo của bạn sẽ khác nhau tùy thuộc vào công việc cụ thể mà bạn đang xem.

URL có thể chứa nhiều thông tin hơn chỉ là vị trí của một tệp. Một số trang web sử dụng các tham số truy vấn để mã hóa các giá trị mà bạn gửi khi thực hiện tìm kiếm. Bạn có thể nghĩ về chúng như các chuỗi truy vấn mà bạn gửi đến cơ sở dữ liệu để truy xuất các bản ghi cụ thể.query parameters to encode values that you submit when performing a search. You can think of them as query strings that you send to the database to retrieve specific records.

Bạn sẽ tìm thấy các tham số truy vấn ở cuối URL. Ví dụ: nếu bạn thực sự đi đến và tìm kiếm nhà phát triển phần mềm trên mạng, ở Úc, thông qua thanh tìm kiếm của họ, bạn sẽ thấy rằng URL thay đổi để bao gồm các giá trị này dưới dạng tham số truy vấn:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Các tham số truy vấn trong URL này là

https://au.indeed.com/jobs?q=developer&l=perth

1. Bắt đầu: Bắt đầu của các tham số truy vấn được biểu thị bằng dấu câu hỏi (

   $ python -m pip install requests
   

   0). The beginning of the query parameters is denoted by a question mark (

   $ python -m pip install requests
   

   0).
2. Thông tin: Các mẩu thông tin cấu thành một tham số truy vấn được mã hóa trong các cặp giá trị khóa, trong đó các khóa và giá trị liên quan được nối với nhau bằng một dấu bằng (

   $ python -m pip install requests
   

   1). The pieces of information constituting one query parameter are encoded in key-value pairs, where related keys and values are joined together by an equals sign (

   $ python -m pip install requests
   

   1).
3. Dấu tách: Mỗi URL có thể có nhiều tham số truy vấn, được phân tách bằng ký hiệu ampersand và (

   $ python -m pip install requests
   

   2). Every URL can have multiple query parameters, separated by an ampersand symbol (

   $ python -m pip install requests
   

   2).

Được trang bị thông tin này, bạn có thể chọn các tham số truy vấn URL URL thành hai cặp giá trị khóa:

1. $ python -m pip install requests
   

   3 chọn loại công việc. selects the type of job.

2. $ python -m pip install requests
   

   4 chọn vị trí của công việc. selects the location of the job.

Cố gắng thay đổi các tham số tìm kiếm và quan sát làm thế nào điều đó ảnh hưởng đến URL của bạn. Đi trước và nhập các giá trị mới trong thanh tìm kiếm lên trên:

Tiếp theo, hãy cố gắng thay đổi các giá trị trực tiếp trong URL của bạn. Xem điều gì xảy ra khi bạn dán URL sau vào thanh địa chỉ trình duyệt của bạn:

https://au.indeed.com/jobs?q=developer&l=perth

Nếu bạn thay đổi và gửi các giá trị trong hộp tìm kiếm của trang web, thì nó sẽ được phản ánh trực tiếp trong các tham số truy vấn URL URL và ngược lại. Nếu bạn thay đổi một trong số chúng, thì bạn sẽ thấy các kết quả khác nhau trên trang web.

Như bạn có thể thấy, việc khám phá các URL của một trang web có thể cung cấp cho bạn cái nhìn sâu sắc về cách lấy dữ liệu từ máy chủ trang web.

Quay trở lại với các công việc Python giả và tiếp tục khám phá nó. Trang web này là một trang web hoàn toàn tĩnh mà không hoạt động trên cơ sở dữ liệu, đó là lý do tại sao bạn giành chiến thắng phải làm việc với các tham số truy vấn trong hướng dẫn cạo này.

Kiểm tra trang web bằng các công cụ phát triển

Tiếp theo, bạn sẽ muốn tìm hiểu thêm về cách cấu trúc dữ liệu để hiển thị. Bạn cần phải hiểu cấu trúc trang để chọn những gì bạn muốn từ phản hồi HTML mà bạn sẽ thu thập trong một trong các bước sắp tới.

Các công cụ phát triển có thể giúp bạn hiểu cấu trúc của một trang web. Tất cả các trình duyệt hiện đại đi kèm với các công cụ phát triển được cài đặt. Trong phần này, bạn sẽ thấy cách làm việc với các công cụ phát triển trong Chrome. Quá trình này sẽ rất giống với các trình duyệt hiện đại khác. can help you understand the structure of a website. All modern browsers come with developer tools installed. In this section, you’ll see how to work with the developer tools in Chrome. The process will be very similar to other modern browsers.

Trong Chrome on macOS, bạn có thể mở các công cụ nhà phát triển thông qua menu bằng cách chọn Xem → Nhà phát triển → Công cụ nhà phát triển. Trên Windows và Linux, bạn có thể truy cập chúng bằng cách nhấp vào nút Menu trên cùng bên phải (

$ python -m pip install requests

• Mac:Cmd+Alt+I Cmd+Alt+I
• Windows/Linux:Ctrl+Shift+I Ctrl+Shift+I

Các công cụ phát triển cho phép bạn khám phá tương tác mô hình đối tượng tài liệu trang web (DOM) để hiểu rõ hơn về nguồn của bạn. Để đào sâu vào trang của bạn DOM DOM, chọn tab các phần tử trong các công cụ của nhà phát triển. Bạn sẽ thấy một cấu trúc với các phần tử HTML có thể nhấp. Bạn có thể mở rộng, sụp đổ và thậm chí chỉnh sửa các yếu tố ngay trong trình duyệt của bạn:

Bạn có thể nghĩ về văn bản được hiển thị trong trình duyệt của bạn dưới dạng cấu trúc HTML của trang đó. Nếu bạn quan tâm, thì bạn có thể đọc thêm về sự khác biệt giữa DOM và HTML trên CSS-Tricks.

Khi bạn nhấp chuột phải vào các phần tử trên trang, bạn có thể chọn Kiểm tra để phóng to vị trí của chúng trong DOM. Bạn cũng có thể di chuột qua văn bản HTML ở bên phải và thấy các yếu tố tương ứng sáng lên trên trang.

Bấm để mở rộng khối tập thể dục cho một nhiệm vụ cụ thể để thực hành bằng các công cụ phát triển của bạn:

Tìm một bài đăng công việc duy nhất. Nó được gói trong phần tử HTML nào, và nó chứa các yếu tố HTML nào khác?

Chơi xung quanh và khám phá! Bạn càng biết nhiều trang mà bạn làm việc, thì càng dễ dàng cạo nó. Tuy nhiên, don lồng bị choáng ngợp với tất cả các văn bản HTML đó. Bạn sẽ sử dụng sức mạnh của lập trình để bước qua mê cung và anh đào này đã chọn thông tin mà liên quan đến bạn.

Trang web tĩnh

Trang web mà bạn đang quét trong hướng dẫn này phục vụ nội dung HTML tĩnh. Trong kịch bản này, máy chủ lưu trữ trang web sẽ gửi lại các tài liệu HTML đã chứa tất cả dữ liệu mà bạn sẽ thấy như một người dùng.static HTML content. In this scenario, the server that hosts the site sends back HTML documents that already contain all the data that you’ll get to see as a user.

Khi bạn đã kiểm tra trang với các công cụ phát triển trước đó, bạn đã phát hiện ra rằng việc đăng công việc bao gồm HTML dài và lộn xộn sau đây:

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

Nó có thể là một thách thức để quấn đầu của bạn xung quanh một khối dài mã HTML. Để làm cho nó dễ đọc hơn, bạn có thể sử dụng một định dạng HTML để tự động làm sạch nó. Khả năng đọc tốt giúp bạn hiểu rõ hơn về cấu trúc của bất kỳ khối mã nào. Mặc dù nó có thể hoặc không thể giúp cải thiện định dạng HTML, nhưng nó luôn luôn đáng để thử.

HTML mà bạn gặp phải đôi khi sẽ khó hiểu. May mắn thay, HTML của bảng công việc này có tên lớp mô tả về các yếu tố mà bạn quan tâm:class names on the elements that you’re interested in:

• import requests
  
  URL = "https://realpython.github.io/fake-jobs/"
  page = requests.get(URL)
  
  print(page.text)
  

  1 chứa tiêu đề của bài đăng công việc. contains the title of the job posting.

• import requests
  
  URL = "https://realpython.github.io/fake-jobs/"
  page = requests.get(URL)
  
  print(page.text)
  

  2 chứa tên của công ty cung cấp vị trí. contains the name of the company that offers the position.

• import requests
  
  URL = "https://realpython.github.io/fake-jobs/"
  page = requests.get(URL)
  
  print(page.text)
  

  3 chứa vị trí nơi bạn đang làm việc. contains the location where you’d be working.

Trong trường hợp bạn bị lạc trong một đống HTML lớn, hãy nhớ rằng bạn luôn có thể quay lại trình duyệt của mình và sử dụng các công cụ nhà phát triển để khám phá thêm cấu trúc HTML tương tác.

Đến bây giờ, bạn đã khai thác thành công thiết kế năng lượng và thân thiện với người dùng của thư viện Python từ ____25. Chỉ với một vài dòng mã, bạn đã quản lý để xóa nội dung HTML tĩnh khỏi web và cung cấp nó để xử lý thêm.

Tuy nhiên, có nhiều tình huống khó khăn hơn mà bạn có thể gặp phải khi bạn thực hiện các trang web. Trước khi bạn tìm hiểu cách chọn thông tin liên quan từ HTML mà bạn vừa cạo, bạn sẽ xem nhanh hai trong số những tình huống khó khăn hơn này.

Trang web ẩn

Một số trang chứa thông tin mà ẩn ẩn đằng sau một đăng nhập. Điều đó có nghĩa là bạn sẽ cần một tài khoản để có thể cạo bất cứ thứ gì từ trang. Quá trình thực hiện yêu cầu HTTP từ tập lệnh Python của bạn khác với cách bạn truy cập một trang từ trình duyệt của bạn. Chỉ vì bạn có thể đăng nhập vào trang thông qua trình duyệt của bạn không có nghĩa là bạn sẽ có thể cạo nó bằng tập lệnh Python của bạn.

Tuy nhiên, thư viện

https://au.indeed.com/jobs?q=developer&l=perth

Trang web năng động

Trong hướng dẫn này, bạn sẽ học cách cạo một trang web tĩnh. Các trang web tĩnh rất đơn giản để hoạt động vì máy chủ gửi cho bạn một trang HTML đã chứa tất cả thông tin trang trong phản hồi. Bạn có thể phân tích phản hồi HTML đó và ngay lập tức bắt đầu chọn dữ liệu liên quan.

Mặt khác, với một trang web động, máy chủ có thể không gửi lại bất kỳ HTML nào. Thay vào đó, bạn có thể nhận mã JavaScript dưới dạng phản hồi. Mã này sẽ trông hoàn toàn khác với những gì bạn đã thấy khi bạn kiểm tra trang với các công cụ phát triển trình duyệt của bạn.dynamic website, the server might not send back any HTML at all. Instead, you could receive JavaScript code as a response. This code will look completely different from what you saw when you inspected the page with your browser’s developer tools.

Những gì xảy ra trong trình duyệt không giống như những gì xảy ra trong tập lệnh của bạn. Trình duyệt của bạn sẽ siêng năng thực hiện mã JavaScript mà nó nhận được từ một máy chủ và tạo DOM và HTML cho bạn cục bộ. Tuy nhiên, nếu bạn yêu cầu một trang web động trong tập lệnh Python của bạn, thì bạn đã giành được nội dung trang HTML.

Khi bạn sử dụng

https://au.indeed.com/jobs?q=developer&l=perth

https://au.indeed.com/jobs?q=developer&l=perth

https://au.indeed.com/jobs?q=developer&l=perth

Ví dụ:

import requests

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

print(page.text)

https://au.indeed.com/jobs?q=developer&l=perth

https://au.indeed.com/jobs?q=developer&l=perth

Bạn đã giành chiến thắng đi sâu hơn vào việc quét nội dung được tạo ra một cách động trong hướng dẫn này. Hiện tại, nó đủ để nhớ xem xét một trong những tùy chọn được đề cập ở trên nếu bạn cần cạo một trang web năng động.

Tìm các yếu tố bằng ID

Trong một trang web HTML, mọi phần tử có thể có thuộc tính

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

Chuyển trở lại các công cụ phát triển và xác định đối tượng HTML chứa tất cả các bài đăng công việc. Khám phá bằng cách lơ lửng trên các phần của trang và sử dụng nhấp chuột phải để kiểm tra.

Phần tử mà bạn đang tìm kiếm là một

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div id="ResultsContainer">
  
div>

Súp đẹp cho phép bạn tìm thấy phần tử HTML cụ thể đó bằng ID của nó:

results = soup.find(id="ResultsContainer")

Để xem dễ dàng hơn, bạn có thể nuôi bất kỳ đối tượng súp đẹp nào khi bạn in nó ra. Nếu bạn gọi

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

https://au.indeed.com/jobs?q=software+developer&l=Australia

Khi bạn sử dụng ID phần tử, bạn có thể chọn một phần tử trong số các phần còn lại của HTML. Bây giờ bạn chỉ có thể làm việc với phần cụ thể này của trang HTML. Có vẻ như món súp chỉ có một chút mỏng hơn! Tuy nhiên, nó vẫn còn khá dày đặc.

Tìm các phần tử theo tên lớp HTML

Bạn đã thấy rằng mỗi bài đăng công việc được bọc trong một yếu tố

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

$ python -m pip install beautifulsoup4

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

https://au.indeed.com/jobs?q=software+developer&l=Australia

Tại đây, bạn gọi

$ python -m pip install beautifulsoup4

Hãy xem tất cả chúng:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Điều đó đã khá gọn gàng, nhưng vẫn còn rất nhiều HTML! Bạn đã thấy trước đó rằng trang của bạn có tên lớp mô tả trên một số yếu tố. Bạn có thể chọn ra những yếu tố trẻ em đó từ mỗi công việc đăng bài với

$ python -m pip install beautifulsoup4

https://au.indeed.com/jobs?q=software+developer&l=Australia

Mỗi

$ python -m pip install beautifulsoup4

$ python -m pip install beautifulsoup4

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

Với đoạn mã này, bạn sẽ ngày càng gần gũi hơn với dữ liệu mà bạn thực sự quan tâm. Tuy nhiên, vẫn còn rất nhiều điều xảy ra với tất cả các thẻ và thuộc tính HTML đó trôi nổi xung quanh:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Tiếp theo, bạn sẽ học cách thu hẹp đầu ra này để chỉ truy cập vào nội dung văn bản mà bạn quan tâm.

Tìm các yếu tố theo tên lớp và nội dung văn bản

Không phải tất cả các danh sách công việc là công việc của nhà phát triển. Thay vì in ra tất cả các công việc được liệt kê trên trang web, trước tiên bạn sẽ lọc chúng bằng các từ khóa.

Bạn biết rằng các tiêu đề công việc trong trang được giữ trong các yếu tố

$ python -m pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

https://au.indeed.com/jobs?q=software+developer&l=Australia

Mã này tìm thấy tất cả các phần tử

$ python -m pip install beautifulsoup4

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

>>>

https://au.indeed.com/jobs?q=software+developer&l=Australia

Có một công việc Python trong kết quả tìm kiếm, vậy tại sao nó không hiển thị?

Khi bạn sử dụng

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

Chuyển một chức năng cho một phương pháp súp đẹp

Ngoài các chuỗi, đôi khi bạn có thể chuyển các chức năng như là đối số cho các phương pháp súp đẹp. Thay vào đó, bạn có thể thay đổi dòng mã trước đó để sử dụng chức năng: thay vào đó:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Bây giờ bạn đã chuyển một chức năng ẩn danh cho đối số

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

$ python -m pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

$ python -m pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

>>>

https://au.indeed.com/jobs?q=software+developer&l=Australia

Chương trình của bạn đã tìm thấy

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

Tìm các yếu tố tùy thuộc vào nội dung văn bản của họ là một cách mạnh mẽ để lọc phản hồi HTML của bạn để biết thông tin cụ thể. Súp đẹp cho phép bạn sử dụng các chuỗi hoặc chức năng chính xác làm đối số để lọc văn bản trong các đồ vật súp đẹp.

Tuy nhiên, khi bạn cố gắng chạy cạp của mình để in thông tin của các công việc Python được lọc, bạn sẽ gặp lỗi:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Thông báo này là một lỗi phổ biến mà bạn sẽ gặp rất nhiều khi bạn lấy thông tin từ Internet. Kiểm tra HTML của một phần tử trong danh sách

<div id="ResultsContainer">
  
div>

Xác định các điều kiện lỗi

Khi bạn nhìn vào một yếu tố duy nhất trong

<div id="ResultsContainer">
  
div>

$ python -m pip install beautifulsoup4

https://au.indeed.com/jobs?q=developer&l=perth

Khi bạn xem lại mã bạn đã sử dụng để chọn các mục, bạn sẽ thấy rằng đó là những gì bạn nhắm mục tiêu. Bạn chỉ lọc cho các yếu tố tiêu đề

$ python -m pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

Thông báo lỗi bạn nhận được trước đó có liên quan đến điều này:

https://au.indeed.com/jobs?q=software+developer&l=Australia

Bạn đã cố gắng tìm tiêu đề công việc, tên công ty và vị trí công việc trong mỗi yếu tố trong

<div id="ResultsContainer">
  
div>

Thư viện phân tích cú pháp siêng năng của bạn vẫn tìm kiếm những người khác, và trả về

<div id="ResultsContainer">
  
div>

import requests
from bs4 import BeautifulSoup

URL = "https://realpython.github.io/fake-jobs/"
page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

$ python -m pip install requests

<div id="ResultsContainer">
  
div>

Văn bản mà bạn đang tìm kiếm được lồng trong các yếu tố anh chị em của các yếu tố

$ python -m pip install beautifulsoup4

Truy cập các yếu tố cha mẹ

Một cách để có được quyền truy cập vào tất cả các thông tin bạn cần là bước lên trong hệ thống phân cấp của DOM bắt đầu từ các yếu tố

$ python -m pip install beautifulsoup4

$ python -m pip install beautifulsoup4

https://au.indeed.com/jobs?q=developer&l=perth

Phần tử

<div class="card">
  <div class="card-content">
    <div class="media">
      <div class="media-left">
        <figure class="image is-48x48">
          <img
            src="https://files.realpython.com/media/real-python-logo-thumbnail.7f0db70c2ed2.jpg"
            alt="Real Python Logo"
          />
        figure>
      div>
      <div class="media-content">
        <h2 class="title is-5">Senior Python Developerh2>
        <h3 class="subtitle is-6 company">Payne, Roberts and Davish3>
      div>
    div>

    <div class="content">
      <p class="location">Stewartbury, AAp>
      <p class="is-small has-text-grey">
        <time datetime="2021-04-08">2021-04-08time>
      p>
    div>
    <footer class="card-footer">
      <a
        href="https://www.realpython.com"
        target="_blank"
        class="card-footer-item"
        >Learna
      >
      <a
        href="https://realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html"
        target="_blank"
        class="card-footer-item"
        >Applya
      >
    footer>
  div>
div>

$ python -m pip install beautifulsoup4

$ python -m pip install beautifulsoup4

Với thông tin này, giờ đây bạn có thể sử dụng các yếu tố trong

<div id="ResultsContainer">
  
div>

https://au.indeed.com/jobs?q=developer&l=perth

Bạn đã thêm một danh sách hiểu biết hoạt động trên từng phần tử tiêu đề

$ python -m pip install beautifulsoup4

<div id="ResultsContainer">
  
div>

$ python -m pip install beautifulsoup4

Khi bạn đang xem HTML của một bài đăng công việc, bạn đã xác định rằng phần tử phụ huynh cụ thể này với tên lớp

$ python -m pip install beautifulsoup4

Bây giờ bạn có thể điều chỉnh mã trong vòng lặp

https://au.indeed.com/jobs?q=software+developer&l=Australia

https://au.indeed.com/jobs?q=developer&l=perth

Khi bạn chạy tập lệnh của mình vào một lần khác, bạn sẽ thấy mã của bạn một lần nữa có quyền truy cập vào tất cả các thông tin liên quan. Điều đó bởi vì bạn hiện đang lặp lại các yếu tố

https://au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install beautifulsoup4

Sử dụng thuộc tính

https://au.indeed.com/jobs?q=software+developer&l=Australia