Ngôn ngữ đánh dấu siêu văn bản [HTML] là ngôn ngữ đánh dấu tiêu chuẩn để xây dựng các trang web. Chúng tôi có thể hiển thị dữ liệu dạng bảng bằng cách sử dụng
$ pip install lxml
$ pip install lxml
Trong bài viết này, chúng ta sẽ tìm hiểu cách đọc dữ liệu dạng bảng từ tệp HTML và tải nó vào Khung dữ liệu Pandas. Chúng ta cũng sẽ tìm hiểu cách ghi dữ liệu từ Pandas DataFrame và vào tệp HTML
Ghi chú. Trong bài viết này, chúng ta sẽ đọc và viết HTML
yếu tố. Bài viết này không bao gồm phân tích cú pháp toàn bộ tệp HTMLĐọc HTML
Chúng ta có thể đọc các bảng của tệp HTML bằng hàm
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Chúng ta hãy xem xét từng nguồn đầu vào một
Đọc dữ liệu HTML từ một tệp
Đối với phần này, chúng tôi sẽ sử dụng một bộ dữ liệu đầu vào. Một bảng chứa các ngôn ngữ lập trình và năm tạo ra chúng. Bảng khác có kích thước đất và chi phí của chúng bằng USD
Lưu nội dung HTML sau vào tệp có tên
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Table Data
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Đoạn mã dưới đây minh họa việc sử dụng hàm
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Ghi chú. Mặc dù bạn cần cài đặt
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Chạy đoạn mã trên trên trình thông dịch Python sẽ tạo ra đầu ra sau
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Đọc dữ liệu HTML từ URL
Cũng giống như chúng ta đọc các thành phần bảng từ tệp HTML, chúng ta cũng có thể đọc các thành phần bảng từ trang web HTML vào DataFrame với
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
Và nó sẽ trả về một danh sách các Khung dữ liệu trong đó mỗi Khung dữ liệu đại diện cho một thành phần bảng từ URL đã cho
Dưới đây là mã ví dụ để đọc các thành phần bảng từ URL của trang web bằng Pandas
Nếu chúng tôi chạy thành công đoạn mã trên, chúng tôi có thể thấy đầu ra là
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Chúng tôi biết rằng chúng tôi có thể đọc các thành phần bảng từ một trang web. Tuy nhiên, khi trang web yêu cầu xác thực, mã chạy vào ngoại lệ sau
raise HTTPError[req.full_url, code, msg, hdrs, fp]
urllib.error.HTTPError: HTTP Error 401: UNAUTHORIZED
Để đọc dữ liệu từ các URL như vậy, chúng tôi sẽ sử dụng mô-đun
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
$ pip install requests
Bây giờ, chúng tôi sẽ sử dụng phương pháp
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
Phương thức này trả về một đối tượng phản hồi từ trang web. Chúng tôi có thể kiểm tra mã trạng thái [để đảm bảo nội dung chắc chắn ở đó] và lấy văn bản từ đối tượng phản hồi, sau đó chuyển đổi bảng thành DataFrame
Hãy xem một ví dụ về việc sử dụng
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
import requests
r = requests.get['//httpbin.org/basic-auth/john/johnspassword', auth=['john', 'johnspassword']]
print[r.status_code]
print[r.text]
Khi thực thi đoạn mã trên, chúng ta có thể thấy đầu ra sau
Hãy xem hướng dẫn thực hành, thực tế của chúng tôi để học Git, với các phương pháp hay nhất, tiêu chuẩn được ngành chấp nhận và bao gồm bảng gian lận. Dừng các lệnh Git trên Google và thực sự tìm hiểu nó
200
{
"authenticated": true,
"user": "john"
}
Điều này cho thấy rằng chúng tôi đã truy cập thành công nội dung trang web của một URL được xác thực. Tuy nhiên, trang web này chỉ chứa dữ liệu JSON và chúng tôi cần các phần tử bảng HTML dưới dạng DataFrames
Hãy sử dụng URL trước đó và sử dụng
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
Khi chúng tôi nhận được phản hồi, chúng tôi có thể chuyển phương thức
read_html['//en.wikipedia.org/wiki/Python_[programming_language]']
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Chạy mã này sẽ tạo ra đầu ra sau
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Viết bảng HTML với Pandas của Python
Chúng tôi đã đọc thành công dữ liệu từ các bảng HTML. Hãy viết Pandas DataFrame trong tệp HTML. Điều này có thể đạt được bằng cách sử dụng phương pháp
$ pip install lxml
$ pip install lxml
Bạn có thể xuất DataFrame sang bảng HTML như thế này
$ pip install lxml
Mã này sẽ tạo ra tệp sau
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
$ pip install lxml
Lưu ý rằng quá trình xuất không phải là toàn bộ tài liệu HTML mà chỉ là bản thân bảng HTML
Viết các bảng HTML theo kiểu với Pandas của Python
Như chúng ta có thể thấy, theo mặc định, đường viền của bảng là 1, căn lề phải và nó cũng có các chỉ số DataFrame trong các thẻ. Chúng tôi có thể thay đổi cấu trúc mặc định này bằng cách cung cấp một vài tham số tùy chọn
Ẩn chỉ mụcNếu chúng tôi không muốn bao gồm chỉ mục trong đầu ra của bảng, chúng tôi có thể đặt
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
$ pip install lxml
$ pip install lxml
Mã này tạo tệp
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
$ pip install lxml
Đường viền bảng mặc định là 1 pixel. Để thay đổi mặc định này, chúng ta có thể đặt tham số
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Đoạn mã sau thay đổi đường viền thành 3 pixel
$ pip install lxml
Tệp được tạo hiện đặt thuộc tính đường viền của bảng thành "3"
$ pip install lxml
Theo mặc định, văn bản đầu của bảng được căn phải. Chúng tôi thay đổi sự liên kết này với tham số
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Hãy thử căn chỉnh văn bản đầu vào giữa và xem kết quả
$ pip install lxml
Bảng được tạo bởi đoạn mã trên trông như thế này
$ pip install lxml
Văn bản của đầu bảng hiện được căn chỉnh đẹp mắt ở giữa
Phần kết luận
Trong hướng dẫn này, chúng ta đã học cách nhập và xuất dữ liệu bảng HTML bằng Pandas DataFrames. Chúng tôi đã tải dữ liệu bảng HTML từ các tệp cũng như từ các URL của trang web. Trong trường hợp URL được xác thực, chúng tôi đã sử dụng mô-đun yêu cầu để xác thực và truy xuất dữ liệu của trang web, sau đó chuyển văn bản phản hồi vào hàm
Tables found: 2
First Table
Programming Language Creator Year
0 C Dennis Ritchie 1972
1 Python Guido Van Rossum 1989
2 Ruby Yukihiro Matsumoto 1995
Another Table
Area [sq.ft] Price [USD]
0 12000 500
1 32000 700
Chúng tôi cũng đã viết Pandas DataFrame dưới dạng tệp HTML bằng cách sử dụng hàm
$ pip install lxml
raise HTTPError[req.full_url, code, msg, hdrs, fp]
urllib.error.HTTPError: HTTP Error 401: UNAUTHORIZED
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]
Tables found: 10
First Table
0 1
0 NaN NaN
1 Paradigm Multi-paradigm: functional, imperative, object...
2 Designed by Guido van Rossum
3 Developer Python Software Foundation
4 First appeared 1991; 29 years ago[1]