Mã nguồn web python

Lý do quét web

Giả sử bạn là người lướt sóng, cả trên mạng và ngoài đời thực, và bạn đang tìm việc làm. Tuy nhiên, bạn không tìm kiếm bất kỳ công việc nào. Với tư duy của một người lướt sóng, bạn đang chờ đợi cơ hội hoàn hảo để lăn theo cách của mình

Có một trang web việc làm cung cấp chính xác các loại công việc bạn muốn. Thật không may, một vị trí mới chỉ xuất hiện một lần trong một lần trăng xanh và trang web không cung cấp dịch vụ thông báo qua email. Bạn nghĩ đến việc kiểm tra nó hàng ngày, nhưng đó không phải là cách thú vị và hiệu quả nhất để sử dụng thời gian của bạn

Rất may, thế giới cung cấp những cách khác để áp dụng tư duy của người lướt sóng đó. Thay vì xem trang web việc làm mỗi ngày, bạn có thể sử dụng Python để giúp tự động hóa các phần lặp đi lặp lại trong tìm kiếm việc làm của bạn. Quét web tự động có thể là một giải pháp để tăng tốc quá trình thu thập dữ liệu. Bạn viết mã của mình một lần và nó sẽ nhận được thông tin bạn muốn nhiều lần và từ nhiều trang

Ngược lại, khi bạn cố lấy thông tin mình muốn theo cách thủ công, bạn có thể mất nhiều thời gian nhấp, cuộn và tìm kiếm, đặc biệt nếu bạn cần một lượng lớn dữ liệu từ các trang web thường xuyên được cập nhật nội dung mới. Quét web thủ công có thể mất nhiều thời gian và lặp đi lặp lại

Có quá nhiều thông tin trên Web và thông tin mới liên tục được bổ sung. Bạn có thể sẽ quan tâm đến ít nhất một số dữ liệu đó và phần lớn trong số đó chỉ có sẵn để lấy. Cho dù bạn đang thực sự tìm việc hay bạn muốn tải xuống tất cả lời bài hát của nghệ sĩ yêu thích của mình, tính năng quét web tự động có thể giúp bạn hoàn thành mục tiêu của mình

Những thách thức của Web Scraping

Web đã phát triển tự nhiên từ nhiều nguồn. Nó kết hợp nhiều công nghệ, phong cách và cá tính khác nhau, và nó vẫn tiếp tục phát triển cho đến ngày nay. Nói cách khác, Web là một mớ hỗn độn. Vì điều này, bạn sẽ gặp phải một số thách thức khi tìm kiếm trên Web

• Đa dạng. Mỗi trang web là khác nhau. Mặc dù bạn sẽ gặp phải các cấu trúc chung lặp lại, nhưng mỗi trang web là duy nhất và sẽ cần xử lý riêng nếu bạn muốn trích xuất thông tin liên quan

• Độ bền. Các trang web liên tục thay đổi. Giả sử bạn đã xây dựng một công cụ quét web mới sáng bóng tự động chọn những gì bạn muốn từ tài nguyên mà bạn quan tâm. Lần đầu tiên bạn chạy tập lệnh của mình, nó hoạt động hoàn hảo. Nhưng khi bạn chạy cùng một tập lệnh chỉ trong một thời gian ngắn sau đó, bạn gặp phải một chồng truy nguyên dài và chán nản

Các tập lệnh không ổn định là một kịch bản thực tế, vì nhiều trang web đang được phát triển tích cực. Sau khi cấu trúc của trang web đã thay đổi, trình quét của bạn có thể không điều hướng được sơ đồ trang web một cách chính xác hoặc không tìm thấy thông tin liên quan. Tin vui là nhiều thay đổi đối với các trang web là nhỏ và tăng dần, vì vậy bạn có thể cập nhật trình thu thập dữ liệu của mình chỉ với những điều chỉnh tối thiểu

Tuy nhiên, hãy nhớ rằng do Internet rất năng động nên các công cụ dọn dẹp mà bạn xây dựng có thể sẽ cần được bảo trì liên tục. Bạn có thể thiết lập tích hợp liên tục để chạy thử nghiệm quét định kỳ nhằm đảm bảo rằng tập lệnh chính của bạn không bị hỏng mà bạn không biết

Một giải pháp thay thế cho Web Scraping. API

Một số nhà cung cấp trang web cung cấp giao diện lập trình ứng dụng [API] cho phép bạn truy cập dữ liệu của họ theo cách được xác định trước. Với API, bạn có thể tránh phân tích cú pháp HTML. Thay vào đó, bạn có thể truy cập dữ liệu trực tiếp bằng các định dạng như JSON và XML. HTML chủ yếu là một cách để trình bày nội dung cho người dùng một cách trực quan

Khi bạn sử dụng API, quy trình này thường ổn định hơn so với việc thu thập dữ liệu thông qua quét web. Đó là bởi vì các nhà phát triển tạo ra các API để các chương trình sử dụng thay vì mắt người

Phần trình bày mặt trước của một trang web có thể thay đổi thường xuyên, nhưng sự thay đổi đó trong thiết kế của trang web không ảnh hưởng đến cấu trúc API của nó. Cấu trúc của API thường lâu dài hơn, có nghĩa là nó là nguồn dữ liệu đáng tin cậy hơn của trang web

Tuy nhiên, API cũng có thể thay đổi. Những thách thức về cả tính đa dạng và độ bền đều áp dụng cho các API giống như chúng áp dụng cho các trang web. Ngoài ra, việc tự kiểm tra cấu trúc của API sẽ khó hơn nhiều nếu tài liệu được cung cấp thiếu chất lượng

Cách tiếp cận và công cụ bạn cần để thu thập thông tin bằng API nằm ngoài phạm vi của hướng dẫn này. Để tìm hiểu thêm về nó, hãy xem Tích hợp API trong Python

Khám phá trang web

Nhấp qua trang web và tương tác với nó giống như bất kỳ người tìm việc điển hình nào. Ví dụ: bạn có thể cuộn qua trang chính của trang web

Bạn có thể thấy nhiều tin tuyển dụng ở định dạng thẻ và mỗi tin có hai nút. Nếu bạn nhấp vào Ứng tuyển, thì bạn sẽ thấy một trang mới chứa các mô tả chi tiết hơn về công việc đã chọn. Bạn cũng có thể nhận thấy rằng URL trong thanh địa chỉ của trình duyệt thay đổi khi bạn tương tác với trang web

Giải mã thông tin trong URL

Một lập trình viên có thể mã hóa rất nhiều thông tin trong một URL. Hành trình tìm kiếm trang web của bạn sẽ dễ dàng hơn nhiều nếu lần đầu tiên bạn làm quen với cách thức hoạt động của các URL và cấu tạo của chúng. Ví dụ: bạn có thể thấy mình đang ở trên trang chi tiết có URL sau

//realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html

Bạn có thể phân cấu trúc URL trên thành hai phần chính

1. URL cơ sở đại diện cho đường dẫn đến chức năng tìm kiếm của trang web. Trong ví dụ trên, URL cơ sở là

   $ python -m pip install requests
   

   4
2. Vị trí trang web cụ thể kết thúc bằng

   $ python -m pip install requests
   

   5 là đường dẫn đến tài nguyên duy nhất của mô tả công việc

Mọi công việc được đăng trên trang web này sẽ sử dụng cùng một URL cơ sở. Tuy nhiên, vị trí của các tài nguyên duy nhất sẽ khác nhau tùy thuộc vào tin tuyển dụng cụ thể mà bạn đang xem

URL có thể chứa nhiều thông tin hơn là chỉ vị trí của tệp. Một số trang web sử dụng tham số truy vấn để mã hóa các giá trị mà bạn gửi khi thực hiện tìm kiếm. Bạn có thể coi chúng như các chuỗi truy vấn mà bạn gửi tới cơ sở dữ liệu để truy xuất các bản ghi cụ thể

Bạn sẽ tìm thấy các tham số truy vấn ở cuối URL. Ví dụ: nếu bạn truy cập Thật và tìm kiếm "nhà phát triển phần mềm" trong "Úc" thông qua thanh tìm kiếm của họ, bạn sẽ thấy rằng URL thay đổi để bao gồm các giá trị này dưới dạng tham số truy vấn

//au.indeed.com/jobs?q=software+developer&l=Australia

Các tham số truy vấn trong URL này là

$ python -m pip install requests

1. Bắt đầu. Phần đầu của tham số truy vấn được biểu thị bằng dấu chấm hỏi [

   $ python -m pip install requests
   

   7]
2. Thông tin. Các mẩu thông tin cấu thành một tham số truy vấn được mã hóa theo cặp khóa-giá trị, trong đó các khóa và giá trị liên quan được nối với nhau bằng dấu bằng [

   $ python -m pip install requests
   

   8]
3. dấu phân cách. Mỗi URL có thể có nhiều tham số truy vấn, được phân tách bằng ký hiệu dấu và [

   $ python -m pip install requests
   

   9]

Được trang bị thông tin này, bạn có thể tách các tham số truy vấn của URL thành hai cặp khóa-giá trị

1. $ python -m pip install requests
   

   00 chọn loại công việc

2. $ python -m pip install requests
   

   01 chọn vị trí của công việc

Cố gắng thay đổi các tham số tìm kiếm và quan sát xem điều đó ảnh hưởng đến URL của bạn như thế nào. Hãy tiếp tục và nhập các giá trị mới vào thanh tìm kiếm ở trên cùng

Tiếp theo, hãy thử thay đổi các giá trị trực tiếp trong URL của bạn. Xem điều gì sẽ xảy ra khi bạn dán URL sau vào thanh địa chỉ của trình duyệt

$ python -m pip install requests

Nếu bạn thay đổi và gửi các giá trị trong hộp tìm kiếm của trang web thì giá trị đó sẽ được phản ánh trực tiếp trong các tham số truy vấn của URL và ngược lại. Nếu bạn thay đổi một trong hai, thì bạn sẽ thấy các kết quả khác nhau trên trang web

Như bạn có thể thấy, việc khám phá các URL của trang web có thể cung cấp cho bạn thông tin chi tiết về cách truy xuất dữ liệu từ máy chủ của trang web

Quay trở lại Fake Python Jobs và tiếp tục khám phá nó. Trang web này hoàn toàn là một trang web tĩnh không hoạt động trên cơ sở dữ liệu, đó là lý do tại sao bạn sẽ không phải làm việc với các tham số truy vấn trong hướng dẫn tìm kiếm này

Kiểm tra trang web bằng Công cụ dành cho nhà phát triển

Tiếp theo, bạn sẽ muốn tìm hiểu thêm về cách dữ liệu được cấu trúc để hiển thị. Bạn sẽ cần hiểu cấu trúc trang để chọn nội dung bạn muốn từ phản hồi HTML mà bạn sẽ thu thập ở một trong các bước sắp tới

Công cụ dành cho nhà phát triển có thể giúp bạn hiểu cấu trúc của trang web. Tất cả các trình duyệt hiện đại đều được cài đặt công cụ dành cho nhà phát triển. Trong phần này, bạn sẽ thấy cách làm việc với các công cụ dành cho nhà phát triển trong Chrome. Quá trình này sẽ rất giống với các trình duyệt hiện đại khác

Trong Chrome trên macOS, bạn có thể mở các công cụ dành cho nhà phát triển thông qua menu bằng cách chọn Xem → Nhà phát triển → Công cụ dành cho nhà phát triển. Trên Windows và Linux, bạn có thể truy cập chúng bằng cách nhấp vào nút menu trên cùng bên phải [

$ python -m pip install requests

• máy Mac. Cmd + Alt + I
• Windows/Linux. Ctrl + Shift + I

Các công cụ dành cho nhà phát triển cho phép bạn khám phá mô hình đối tượng tài liệu [DOM] của trang web một cách tương tác để hiểu rõ hơn về nguồn của bạn. Để tìm hiểu sâu về DOM của trang của bạn, hãy chọn tab Thành phần trong công cụ dành cho nhà phát triển. Bạn sẽ thấy một cấu trúc với các phần tử HTML có thể nhấp được. Bạn có thể mở rộng, thu gọn và thậm chí chỉnh sửa các thành phần ngay trong trình duyệt của mình

Bạn có thể coi văn bản hiển thị trong trình duyệt của mình là cấu trúc HTML của trang đó. Nếu quan tâm, bạn có thể đọc thêm về sự khác biệt giữa DOM và HTML trên CSS-TRICKS

Khi bạn nhấp chuột phải vào các phần tử trên trang, bạn có thể chọn Kiểm tra để phóng to vị trí của chúng trong DOM. Bạn cũng có thể di chuột qua văn bản HTML ở bên phải của mình và xem các thành phần tương ứng sáng lên trên trang

Nhấp để mở rộng khối bài tập cho một nhiệm vụ cụ thể để thực hành bằng các công cụ dành cho nhà phát triển của bạn

Tập thể dục. Khám phá HTMLHiển thị/Ẩn

Tìm một tin tuyển dụng duy nhất. Nó bao gồm phần tử HTML nào và nó chứa những phần tử HTML nào khác?

Chơi xung quanh và khám phá. Bạn càng biết nhiều về trang bạn đang làm việc, thì càng dễ dàng loại bỏ nó. Tuy nhiên, đừng quá choáng ngợp với tất cả các văn bản HTML đó. Bạn sẽ sử dụng sức mạnh của lập trình để bước qua mê cung này và chọn ra những thông tin phù hợp với mình

Trang web tĩnh

Trang web mà bạn đang tìm kiếm trong hướng dẫn này cung cấp nội dung HTML tĩnh. Trong trường hợp này, máy chủ lưu trữ trang web sẽ gửi lại các tài liệu HTML đã chứa tất cả dữ liệu mà bạn sẽ thấy với tư cách là người dùng

Khi bạn kiểm tra trang bằng các công cụ dành cho nhà phát triển trước đó, bạn đã phát hiện ra rằng một tin tuyển dụng bao gồm đoạn HTML dài và trông lộn xộn sau đây

//realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html

Có thể là một thách thức khi bạn phải xoay sở trong một khối mã HTML dài. Để dễ đọc hơn, bạn có thể sử dụng trình định dạng HTML để tự động dọn dẹp. Khả năng đọc tốt giúp bạn hiểu rõ hơn về cấu trúc của bất kỳ khối mã nào. Mặc dù nó có thể hoặc không thể giúp cải thiện định dạng HTML, nhưng nó luôn đáng để thử

Ghi chú. Hãy nhớ rằng mỗi trang web sẽ trông khác nhau. Đó là lý do tại sao cần phải kiểm tra và hiểu cấu trúc của trang web mà bạn hiện đang làm việc trước khi tiếp tục

HTML bạn sẽ gặp đôi khi sẽ gây nhầm lẫn. May mắn thay, HTML của bảng công việc này có tên lớp mô tả về các thành phần mà bạn quan tâm

• $ python -m pip install requests
  

  08 chứa tiêu đề của tin tuyển dụng

• $ python -m pip install requests
  

  09 chứa tên của công ty cung cấp vị trí

• //realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html
  

  10 chứa địa điểm bạn sẽ làm việc

Trong trường hợp bạn bị lạc trong một đống HTML lớn, hãy nhớ rằng bạn luôn có thể quay lại trình duyệt của mình và sử dụng các công cụ dành cho nhà phát triển để khám phá thêm cấu trúc HTML một cách tương tác

Đến giờ, bạn đã khai thác thành công sức mạnh và thiết kế thân thiện với người dùng của thư viện

$ python -m pip install requests

Tuy nhiên, có nhiều tình huống khó khăn hơn mà bạn có thể gặp phải khi tìm kiếm các trang web. Trước khi tìm hiểu cách chọn thông tin liên quan từ HTML mà bạn vừa thu thập, bạn sẽ xem nhanh hai trong số các tình huống khó khăn hơn này

Trang web ẩn

Một số trang chứa thông tin ẩn đằng sau thông tin đăng nhập. Điều đó có nghĩa là bạn sẽ cần một tài khoản để có thể lấy bất cứ thứ gì từ trang. Quá trình tạo một yêu cầu HTTP từ tập lệnh Python của bạn khác với cách bạn truy cập một trang từ trình duyệt của mình. Chỉ vì bạn có thể đăng nhập vào trang thông qua trình duyệt của mình không có nghĩa là bạn sẽ có thể cạo nó bằng tập lệnh Python của mình

Tuy nhiên, thư viện

$ python -m pip install requests

Trang web động

Trong hướng dẫn này, bạn sẽ học cách cạo một trang web tĩnh. Các trang web tĩnh rất dễ làm việc vì máy chủ gửi cho bạn một trang HTML đã chứa tất cả thông tin trang trong phản hồi. Bạn có thể phân tích cú pháp phản hồi HTML đó và ngay lập tức bắt đầu chọn dữ liệu liên quan

Mặt khác, với một trang web động, máy chủ có thể không gửi lại bất kỳ HTML nào. Thay vào đó, bạn có thể nhận được mã JavaScript dưới dạng phản hồi. Mã này sẽ trông hoàn toàn khác với những gì bạn thấy khi kiểm tra trang bằng các công cụ dành cho nhà phát triển của trình duyệt

Ghi chú. Trong hướng dẫn này, thuật ngữ trang web động đề cập đến một trang web không trả về cùng một HTML mà bạn thấy khi xem trang trong trình duyệt của mình

Nhiều ứng dụng web hiện đại được thiết kế để cung cấp chức năng của chúng khi cộng tác với trình duyệt của khách hàng. Thay vì gửi các trang HTML, các ứng dụng này gửi mã JavaScript hướng dẫn trình duyệt của bạn tạo HTML mong muốn. Các ứng dụng web cung cấp nội dung động theo cách này để giảm tải công việc từ máy chủ sang máy của khách hàng cũng như để tránh tải lại trang và cải thiện trải nghiệm người dùng tổng thể

Điều xảy ra trong trình duyệt không giống với điều xảy ra trong tập lệnh của bạn. Trình duyệt của bạn sẽ siêng năng thực thi mã JavaScript mà nó nhận được từ máy chủ và tạo DOM và HTML cục bộ cho bạn. Tuy nhiên, nếu bạn yêu cầu một trang web động trong tập lệnh Python của mình thì bạn sẽ không nhận được nội dung trang HTML

Khi bạn sử dụng

$ python -m pip install requests

$ python -m pip install requests

Ví dụ:

//realpython.github.io/fake-jobs/jobs/senior-python-developer-0.html

$ python -m pip install requests

$ python -m pip install requests

Ghi chú. Một lựa chọn phổ biến khác để cạo nội dung động là Selenium. Bạn có thể coi Selenium như một trình duyệt rút gọn thực thi mã JavaScript cho bạn trước khi chuyển phản hồi HTML được hiển thị cho tập lệnh của bạn

Bạn sẽ không đi sâu hơn vào nội dung được tạo động trong hướng dẫn này. Hiện tại, bạn chỉ cần nhớ xem xét một trong các tùy chọn được đề cập ở trên nếu bạn cần tìm kiếm một trang web động

Tìm phần tử theo ID

Trong một trang web HTML, mọi phần tử đều có thể được gán thuộc tính

$ python -m pip install requests

$ python -m pip install requests

Chuyển về công cụ dành cho nhà phát triển và xác định đối tượng HTML chứa tất cả các tin tuyển dụng. Khám phá bằng cách di chuột qua các phần của trang và nhấp chuột phải để Kiểm tra

Ghi chú. Nó giúp định kỳ quay lại trình duyệt của bạn và khám phá trang một cách tương tác bằng các công cụ dành cho nhà phát triển. Điều này giúp bạn tìm hiểu cách tìm các yếu tố chính xác mà bạn đang tìm kiếm

Phần tử bạn đang tìm kiếm là một

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Beautiful Soup cho phép bạn tìm phần tử HTML cụ thể đó bằng ID của nó

$ python -m pip install requests

Để xem dễ dàng hơn, bạn có thể tô điểm bất kỳ đối tượng Beautiful Soup nào khi in ra. Nếu bạn gọi

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Khi bạn sử dụng ID của phần tử, bạn có thể chọn ra một phần tử trong số phần còn lại của HTML. Giờ đây, bạn chỉ có thể làm việc với phần cụ thể này trong HTML của trang. Có vẻ như súp đã loãng hơn một chút. Tuy nhiên, nó vẫn còn khá dày đặc

Tìm phần tử theo tên lớp HTML

Bạn đã thấy rằng mọi tin tuyển dụng được bao bọc trong một phần tử

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Ở đây, bạn gọi

$ python -m pip install requests

Hãy nhìn vào tất cả chúng

//au.indeed.com/jobs?q=software+developer&l=Australia

Điều đó đã khá gọn gàng, nhưng vẫn còn rất nhiều HTML. Bạn đã thấy trước đó rằng trang của bạn có tên lớp mô tả trên một số phần tử. Bạn có thể chọn ra những phần tử con đó từ mỗi tin tuyển dụng với

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Mỗi

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Với đoạn mã này, bạn ngày càng tiến gần hơn đến dữ liệu mà bạn thực sự quan tâm. Tuy nhiên, có rất nhiều điều đang xảy ra với tất cả các thẻ và thuộc tính HTML trôi nổi xung quanh

//au.indeed.com/jobs?q=software+developer&l=Australia

Tiếp theo, bạn sẽ tìm hiểu cách thu hẹp đầu ra này để chỉ truy cập nội dung văn bản mà bạn quan tâm

Trích xuất văn bản từ các phần tử HTML

Bạn chỉ muốn xem tiêu đề, công ty và vị trí của từng tin tuyển dụng. Và kìa. Beautiful Soup đã giúp bạn. Bạn có thể thêm

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Chạy đoạn mã trên và bạn sẽ thấy văn bản của từng thành phần được hiển thị. Tuy nhiên, có thể bạn cũng sẽ nhận được thêm một số khoảng trắng. Vì bạn hiện đang làm việc với các chuỗi Python, nên bạn có thể

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Kết quả cuối cùng trông tốt hơn nhiều

//au.indeed.com/jobs?q=software+developer&l=Australia

Đó là một danh sách các công việc có thể đọc được bao gồm tên công ty và vị trí của từng công việc. Tuy nhiên, bạn đang tìm kiếm một vị trí là nhà phát triển phần mềm và những kết quả này cũng bao gồm các tin tuyển dụng trong nhiều lĩnh vực khác

Tìm phần tử theo tên lớp và nội dung văn bản

Không phải tất cả các danh sách công việc đều là công việc của nhà phát triển. Thay vì in ra tất cả các công việc được liệt kê trên trang web, trước tiên bạn sẽ lọc chúng bằng từ khóa

Bạn biết rằng các chức danh công việc trong trang được giữ trong các phần tử

$ python -m pip install requests

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Mã này tìm tất cả các phần tử ________ 452 trong đó chuỗi chứa khớp chính xác với ________ 455. Lưu ý rằng bạn đang gọi trực tiếp phương thức trên biến

$ python -m pip install requests

$ python -m pip install requests

>>>

//au.indeed.com/jobs?q=software+developer&l=Australia

Có một công việc Python trong kết quả tìm kiếm, vậy tại sao nó không hiển thị?

Khi bạn sử dụng

$ python -m pip install requests

Truyền một chức năng cho một phương pháp súp đẹp

Ngoài các chuỗi, đôi khi bạn có thể chuyển các hàm làm đối số cho các phương thức Beautiful Soup. Thay vào đó, bạn có thể thay đổi dòng mã trước đó để sử dụng một chức năng

$ python -m pip install requests

Bây giờ bạn đang chuyển một hàm ẩn danh cho đối số

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

>>>

$ python -m pip install requests

Chương trình của bạn đã tìm thấy

$ python -m pip install requests

$ python -m pip install requests

Tìm các phần tử tùy thuộc vào nội dung văn bản của chúng là một cách mạnh mẽ để lọc phản hồi HTML của bạn để biết thông tin cụ thể. Beautiful Soup cho phép bạn sử dụng các chuỗi hoặc hàm chính xác làm đối số để lọc văn bản trong các đối tượng Beautiful Soup

Tuy nhiên, khi bạn cố gắng chạy trình quét của mình để in ra thông tin của các công việc Python đã lọc, bạn sẽ gặp lỗi

$ python -m pip install requests

Thông báo này là một lỗi phổ biến mà bạn sẽ gặp phải rất nhiều khi tìm kiếm thông tin từ Internet. Kiểm tra HTML của một phần tử trong danh sách

$ python -m pip install requests

Xác định điều kiện lỗi

Khi bạn nhìn vào một phần tử duy nhất trong

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Khi bạn xem lại mã mà bạn đã sử dụng để chọn các mục, bạn sẽ thấy rằng đó là những gì bạn đã nhắm mục tiêu. Bạn chỉ lọc các thành phần tiêu đề

$ python -m pip install requests

$ python -m pip install requests

Thông báo lỗi bạn nhận được trước đó có liên quan đến điều này

$ python -m pip install requests

Bạn đã cố gắng tìm chức danh công việc, tên công ty và vị trí của công việc trong mỗi phần tử của

$ python -m pip install requests

Thư viện phân tích cú pháp siêng năng của bạn vẫn tìm kiếm những cái khác và trả về

//au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install requests

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

Văn bản bạn đang tìm kiếm được lồng trong các phần tử anh chị em của các phần tử

$ python -m pip install requests

Truy cập các phần tử gốc

Một cách để có quyền truy cập vào tất cả thông tin bạn cần là đẩy mạnh thứ bậc của DOM bắt đầu từ các phần tử

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Phần tử

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Với thông tin này, giờ đây bạn có thể sử dụng các phần tử trong

$ python -m pip install requests

$ python -m pip install requests

Bạn đã thêm khả năng hiểu danh sách hoạt động trên từng thành phần tiêu đề của

$ python -m pip install requests

$ python -m pip install requests

$ python -m pip install requests

Khi bạn đang xem HTML của một tin tuyển dụng, bạn đã xác định rằng phần tử gốc cụ thể này có tên lớp

$ python -m pip install requests

Giờ đây, bạn có thể điều chỉnh mã trong vòng lặp

//au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install requests

Khi bạn chạy tập lệnh của mình vào lần khác, bạn sẽ thấy rằng mã của mình một lần nữa có quyền truy cập vào tất cả thông tin liên quan. Đó là bởi vì bạn hiện đang lặp qua các phần tử

//au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install requests

Sử dụng thuộc tính

//au.indeed.com/jobs?q=software+developer&l=Australia

Trích xuất các thuộc tính từ các phần tử HTML

Tại thời điểm này, tập lệnh Python của bạn đã quét trang web và lọc HTML của nó cho các tin tuyển dụng phù hợp. Tốt lắm. Tuy nhiên, điều vẫn còn thiếu là liên kết để nộp đơn xin việc

Khi bạn đang kiểm tra trang, bạn đã tìm thấy hai liên kết ở cuối mỗi thẻ. Nếu bạn xử lý các phần tử liên kết giống như cách bạn xử lý các phần tử khác, thì bạn sẽ không nhận được các URL mà bạn quan tâm

$ python -m pip install requests

Nếu bạn chạy đoạn mã này thì bạn sẽ nhận được văn bản liên kết

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

Đó là bởi vì thuộc tính

$ python -m pip install requests

URL của phần tử liên kết được liên kết với thuộc tính

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install requests

Bắt đầu bằng cách tìm nạp tất cả các phần tử

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

$ python -m pip install requests

Trong đoạn mã này, trước tiên bạn đã tìm nạp tất cả các liên kết từ mỗi tin tuyển dụng đã lọc. Sau đó, bạn đã trích xuất thuộc tính

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

Trong khối bài tập bên dưới, bạn có thể tìm thấy hướng dẫn cho thử thách tinh chỉnh kết quả liên kết mà bạn đã nhận được

Tập thể dục. Tinh chỉnh kết quả của bạnHiển thị/Ẩn

Mỗi thẻ công việc có hai liên kết được liên kết với nó. Bạn đang tìm kiếm chỉ liên kết thứ hai. Làm cách nào bạn có thể chỉnh sửa đoạn mã được hiển thị ở trên để bạn luôn chỉ thu thập URL của liên kết thứ hai?

Nhấp vào khối giải pháp để đọc một giải pháp khả thi cho bài tập này

Giải pháp. Tinh chỉnh kết quả của bạnHiển thị/Ẩn

Để chỉ tìm nạp URL của liên kết thứ hai cho mỗi thẻ công việc, bạn có thể sử dụng đoạn mã sau

$ python -m pip install requests

Bạn đang chọn phần tử liên kết thứ hai từ kết quả của

$ python -m pip install requests

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

//au.indeed.com/jobs?q=software+developer&l=Australia

Bạn cũng có thể sử dụng ký hiệu dấu ngoặc vuông tương tự để trích xuất các thuộc tính HTML khác