Trong lĩnh vực khoa học dữ liệu, chúng ta luôn phụ thuộc vào dữ liệu. Có nhiều cách dữ liệu có thể được thu thập. Một trong nhiều nguồn là dữ liệu từ các trang web. Các trang web cũng có thể là nguồn dữ liệu thứ cấp, chẳng hạn như có nhiều ví dụ về các trang web như vậy. các trang web tổng hợp dữ liệu [ví dụ:. Worldometers], các trang web tin tức [ví dụ:. CNBC], phương tiện truyền thông xã hội [ví dụ:. Twitter], thương mại điện tử [ví dụ:. Shopee], v.v. Những trang web đó rất hữu ích và chúng được cung cấp dữ liệu cần thiết cho các dự án khoa học dữ liệu

Nhưng làm thế nào để thu thập dữ liệu? . Trong Python có 1 thư viện mạnh tên là BeautifulSoup và Selenium. Cả hai thường được các nhà khoa học dữ liệu sử dụng để thu thập nhiều định dạng dữ liệu. Trong phần này, chúng tôi sẽ giới thiệu đến BeautifulSoup trước

BƯỚC 1. CÀI ĐẶT THƯ VIỆN

Trước hết, chúng ta cần cài đặt các thư viện cần thiết, chẳng hạn như

1. ĐẹpSoup4
2. yêu cầu
3. gấu trúc
4. lxml

Để cài đặt một thư viện, bạn chỉ cần cài đặt nó bằng cách sử dụng pip install [tên thư viện] hoặc cài đặt conda [tên thư viện] nếu bạn đang sử dụng Anaconda Prompt. Đầu tiên, chúng tôi muốn cài đặt BeautifulSoup4

Sau khi chúng tôi cài đặt BeatifulSoup4 [bs4], điều tiếp theo chúng tôi có thể làm là cài đặt 'yêu cầu'. ‘Yêu cầu’ là thư viện có nhiệm vụ xin phép máy chủ lưu trữ nếu chúng tôi muốn lấy dữ liệu từ trang web của họ. Sau đó, chúng ta cũng cần cài đặt pandas để tạo khung dữ liệu và lxml để thay đổi định dạng HTML thành định dạng thân thiện với Python

BƯỚC 2. THƯ VIỆN NHẬP KHẨU

Vì vậy, sau khi các thư viện quan trọng đã được cài đặt, điều tiếp theo chúng ta có thể làm là mở môi trường yêu thích của bạn. Trong hướng dẫn này, chúng tôi khuyên bạn nên sử dụng Spyder 4. 2. 5 vì trong một số bước, chúng ta sẽ gặp đầu ra dài nên Spyder sử dụng thoải mái hơn Jupyter Notebook

Được rồi, khi chúng tôi mở Spyder, điều tiếp theo chúng tôi có thể làm là nhập thư viện cần thiết

# Import library
from bs4 import BeautifulSoup
import requests

BƯỚC 3. CHỌN TRANG

Trong dự án này, chúng tôi sẽ sử dụng webscraper. io. Vì trang web này được tạo bằng HTML nên dễ đọc mã hơn và phù hợp cho người mới bắt đầu. Bây giờ, trong phần này, chúng tôi sẽ cạo trang này

Trang này là nguyên mẫu của một trang web Thương mại điện tử. Trong dự án này, chúng tôi sẽ cạo dữ liệu của máy tính và máy tính xách tay, chẳng hạn như tên sản phẩm, giá cả, mô tả và đánh giá

BƯỚC 4. XIN PHEP

Sau khi chúng tôi chọn trang mà chúng tôi muốn cạo, bây giờ chúng tôi có thể sao chép URL của trang và sử dụng yêu cầu để xin phép máy chủ lưu trữ mà chúng tôi muốn tìm nạp dữ liệu từ trang web của họ

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

If the output is so that means the server allows us to collect data from their website. To verify we can define the request.get function into text.

pages = requests.get[url]
pages.text

Nếu bạn chạy mã này, đầu ra sẽ là mã tập lệnh lộn xộn không thân thiện với Python. Chúng tôi cần sử dụng trình phân tích cú pháp để có thể làm cho nó dễ đọc hơn

# parser-lxml = Change html to Python friendly format
soup = BeautifulSoup[pages.text, ‘lxml’]
soup

BƯỚC 5. KIỂM TRA NGUYÊN TỐ

Đối với mọi dự án quét web, chúng tôi khuyên bạn nên sử dụng Google Chrome vì nó rất tiện dụng và dễ sử dụng. Bây giờ chúng ta sẽ tìm hiểu cách kiểm tra mã script của trang web bằng Chrome. Đầu tiên bạn click chuột phải vào trang muốn kiểm tra, sau đó click Inspect sau đó bạn sẽ thấy cái này

Sau đó, bạn có thể nhấp vào Chọn một thành phần trong trang để kiểm tra nó. Sau khi nhấp vào nó, bạn sẽ nhận thấy nếu bạn di chuyển con trỏ đến từng phần tử của trang, menu phần tử sẽ cung cấp cho bạn thông tin về tập lệnh của phần tử được chọn là gì

Ví dụ: nếu chúng tôi di chuyển con trỏ đến Trang web thử nghiệm, phần tử sẽ thông báo cho bạn rằng Trang web thử nghiệm nằm trong thẻ h1. Trong Python, nếu bạn muốn kiểm tra các thành phần của trang web, bạn có thể gọi các thẻ. Đặc điểm của thẻ là luôn có tiền tố < và thường có màu tím

BƯỚC 6. TRUY CẬP THẺ

Ví dụ: chúng ta muốn truy cập phần tử của h1 bằng Python, chúng ta chỉ cần gõ cái này

# Access h1 tag
soup.h1

đầu ra sẽ là

soup.h1
Out[11]: 
Test Sites

Chẳng hạn, không chỉ thẻ dòng đơn, bạn còn có thể truy cập thẻ lớp

# Access header tag
soup.header# Access div tag
soup.div

Hãy nhớ định nghĩa súp trước, vì điều quan trọng là thay đổi HTML thành định dạng thân thiện với Python

You can access a specific tag from nested tags. The nested tags mean tags inside tags. For example tag

is located inside tag . But when you access a specific tag from , Python always showing results from the first index. We will learn how to access multiple tags from nested tags later.

# Access string from nested tags
soup.header.p

đầu ra

Bạn cũng có thể truy cập một chuỗi từ một thẻ cụ thể từ các thẻ lồng nhau. Bạn có thể chỉ cần thêm một chuỗi vào mã

# Access string from nested tags
soup.header.p
soup.header.p.string

đầu ra

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

Được rồi, bây giờ chúng ta đã hiểu cách truy cập các thẻ từ các thẻ lồng nhau. Vì vậy, điều tiếp theo chúng ta có thể tìm hiểu là cách truy cập các thuộc tính trong thẻ. Để làm điều này chúng ta có thể sử dụng attrs, đây là tính năng của BeautifulSoup. Đầu ra của attrs là một từ điển

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

đầu ra

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

Chúng tôi có thể truy cập một thuộc tính cụ thể, hãy nhớ rằng Python coi thuộc tính đó là từ điển, vì vậy chúng tôi coi chuyển đổi dữ liệu, mục tiêu dữ liệu và mục tiêu dữ liệu-2 là khóa. Bây giờ, ví dụ, chúng tôi sẽ truy cập vào mục tiêu dữ liệu

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

đầu ra

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

Chúng tôi cũng có thể thêm một thuộc tính mới, hãy nhớ rằng các thay đổi chỉ ảnh hưởng đến trang web cục bộ, không ảnh hưởng đến chính trang web đó trên toàn cầu

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

đầu ra

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

BƯỚC 7. TRUY CẬP CÁC THUỘC TÍNH CỤ THỂ CỦA THẺ

We have learned that in one tag it could be many sub-tags, for example, If we run soup.header.div there are many sub-tags under the

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

# Define URL
url = ‘//webscraper.io/test-sites/e-commerce/allinone/computers/laptops'# Ask hosting server to fetch url
requests.get[url]

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

pages = requests.get[url]
pages.text

# parser-lxml = Change html to Python friendly format
soup = BeautifulSoup[pages.text, ‘lxml’]
soup

# parser-lxml = Change html to Python friendly format
soup = BeautifulSoup[pages.text, ‘lxml’]
soup

# parser-lxml = Change html to Python friendly format
soup = BeautifulSoup[pages.text, ‘lxml’]
soup

# parser-lxml = Change html to Python friendly format
soup = BeautifulSoup[pages.text, ‘lxml’]
soup