If the axis is a MultiIndex [hierarchical], count along a particular level, collapsing into a Series.
Deprecated since version 1.3.0: The level keyword is deprecated. Use groupby instead.
ddofint, default 1Delta Degrees of Freedom. The divisor used in calculations is N - ddof, where N represents the number of elements.
numeric_onlybool, default NoneInclude only float, int, boolean columns. If None, will attempt to use everything, then use only numeric data. Not implemented for Series.
Nếu bắt đầu làm quen với Python, việc đầu tiên bạn cần làm là tìm hiểu về thư viện Pandas. Pandas là một thư viện giúp bạn làm việc với dữ liệu rất thuận tiện và hiệu quả, nhiều công việc xử lý dữ liệu bạn sẽ mất công viết ra rất nhiều code trong các công cụ khác, nhưng với Pandas, bạn chỉ cần viết 1 dòng code.
Dưới đây mình tổng hợp các dòng code thường được sử dụng. Các bạn hãy lưu lại để dùng khi cần thiết nhé.
Các dòng code thường dùng mình sẽ chia thành 6 nhóm:
- Cách đọc dữ liệu trong Pandas Python
- Cách xuất dữ liệu từ Pandas DataFrame
- Cách tạo ra dữ liệu test
- Cách xem và kiểm tra dữ liệu
- Cách làm sạch dữ liệu trong Pandas DataFrame
- Cách lọc, sắp xếp, nhóm dữ liệu trong Pandas DataFrame
- Trích xuất một phần dữ liệu trong Pandas DataFrame
- Nối dữ liệu, gộp dữ liệu bằng Pandas DataFrame
- Thống kê dữ liệu bằng Pandas DataFrame
1. Cách đọc dữ liệu trong Pandas Python
Cách đọc dữ liệu từ một file Excel: pd.read_excel[filename]
Cách đọc dữ liệu từ một file CSV: pd.read_csv[filename]
Cách đọc dữ liệu từ một file TSV: pd.read_tsv[filename]
Cách đọc dữ liệu từ nguồn JSON [file, string hoặc URL]: pd.read_json[json_string]
Cách đọc dữ liệu từ nguồn HTML [file, string hoặc URL]: pd.read_html[url]
Cách đọc dữ liệu từ một cơ sở dữ liệu SQL: pd.read_sql[query, connection_object]
Cách đọc dữ liệu từ Clipboard: pd.read_clipboard[]
Cách đọc dữ liệu từ kiểu từ điển trong Python: pd.DataFrame[dict]
2. Cách xuất dữ liệu từ Pandas DataFrame
Cách xuất dữ liệu từ DataFrame ra file Excel: df.to_excel[filename]
Cách xuất dữ liệu từ DataFrame ra JSON: df.to_json[filename]
Cách xuất dữ liệu từ DataFrame ra file CSV: df.to_csv[filename]
Cách xuất dữ liệu từ DataFrame ra SQL: df.to_sql[filename]
3. Cách tạo ra dữ liệu test
Cách tạo bảng dữ liệu test với Numpy và Pandas: pd.DataFrame[np.random.rand[15,5]] => Đoạn code này sẽ tạo ra một bảng gồm 15 dòng và 5 cột, được điền vào những giá trị ngẫu nhiên từ Numpy
Cách tạo ra series từ một list: pd.Series[my_list]
Cách thêm index là cột ngày tháng: df.index = pd.date_range[‘1995/3/26’,periods=df.shape[0]]
4. Cách xem và kiểm tra dữ liệu
Cách lấy số dòng số cột của DataFrame: df.shape
Cách xem n dòng đầu tiên của DataFrame: df.head[n]
Cách xem n dòng cuối cùng của DataFrame: df.tail[n]
Xem giá trị duy nhất và đếm số giá trị này, đếm cả trường hợp NA: s.value_counts[dropna=False] [Lưu ý: Áp dụng cho đối tượng Series]
Tổng kết giá trị duy nhất và đếm cho tất cả các cột: df.apply[pd.Series.value_counts]
Xem thông tin về Index, kiểu dữ liệu và dung lượng của DataFrame: df.info[]
Tổng kết thông tin thống kê cho các cột có kiểu dữ liệu là số: df.describe[]
5. Cách làm sạch dữ liệu trong Pandas DataFrame
Đổi tên các cột trong DataFrame theo thứ tự: df.columns = [‘a’,’b’,’c’]
Kiểm tra dữ liệu với giá trị null: pd.isnull[]
Kiểm tra dữ liệu với giá trị khác null: pd.notnull[]
Cách bỏ toàn bộ dòng có dữ liệu null: df.dropna[]
Cách bỏ toàn bộ cột có dữ liệu null: df.dropna[axis=1]
Cách bỏ các dòng có nhiều hơn n giá trị null: df.dropna[axis=1, thresh=n]
Cách thay toàn bộ giá trị null bằng giá trị x: df.fillna[x]
Cách thay toàn bộ giá trị null bằng giá trị khác: s.fillna[s.mean[]]
Cách chuyển đổi kiểu dữ liệu của Series sang Float: s.astype[float]
Cách thay giá trị này bởi giá trị khác: s.replace[1,’one’]
Cách thay nhiều giá trị cùng lúc: s.replace[[1,3],[‘one’,’three’]]
Cách đổi tên cột hàng loạt bằng lambda: df.rename[columns=lambda x: x + 1]
Cách đổi tên cột cụ thể trong DataFrame: df.rename[columns={‘old_name’: ‘new_ name’}]
Cách đổi index trong DataFrame: df.set_index[‘column_one’]
Cách đổi index hàng loạt trong DataFrame: df.rename[index=lambda x: x + 1]
6. Cách lọc, sắp xếp, nhóm dữ liệu trong Pandas DataFrame
Lọc dữ liệu theo điều kiện
Lọc ra các dòng thỏa mãn điều kiện
df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 5 ]Lọc ra các dòng thỏa mãn điều kiện: có giá trị cột
df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]
Sắp xếp dữ liệu
Sắp xếp dữ liệu trong cột
df[ df[col] > 100 & df[col] < 200 ]df.sort_values[col1]Sắp xếp dữ liệu trong cột
df[ df[col] > 100 & df[col] < 200 ]df.sort_values[col2, ascending=False]Sắp xếp
df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]df.sort_values[[col1,col2],ascending=[True,False]]
Nhóm dữ liệu, pivot dữ liệu với groupby
Pivot dữ liệu theo
df[ df[col] > 100 & df[col] < 200 ]df.groupby[col1]Pivot dữ liệu theo nhiều cột
df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]
Pivot dữ liệu với pivot_table trong DataFrame
Tạo một Pivot Table, nhóm dữ liệu theo cột
df[ df[col] > 100 & df[col] < 200 ]df[ df[col] > 100 & df[col] < 200 ]df.sort_values[col1]df.pivot_table[index=col1,values=[col2,col3],aggfunc=mean]Tính mean của tất cả các cột
df.apply[np.mean]
Tính max mỗi dòng
Áp dụng hàm np.max[] cho mỗi dòng dữ liệu
df.apply[np.max,axis=1]7. Trích xuất một phần dữ liệu trong Pandas DataFrame
Trả về một cột của DataFrame dưới dạng Series: df[col]
Trả về các cột trong danh sách dưới dạng một DataFrame mới: df[[Col1, Col2]]
Chọn dữ liệu ở dòng đầu tiên: s.iloc[0]
Chọn dữ liệu ở dòng đầu tiên, ô thứ nhất của DataFrame: s.loc[‘index_one’]
Chọn dữ liệu theo vị trí: df.iloc[0,:]
Chọn dữ liệu theo index: df.iloc[0,0]
8. Nối dữ liệu, gộp dữ liệu bằng Pandas DataFrame
Nối dữ liệu DataFrame theo chiều dọc
Nối các dòng của
df.sort_values[col1]df.sort_values[col1]df1.append[df2]
Nối dữ liệu DataFrame theo chiều ngang
Nối các cột của
df.sort_values[col1]df.sort_values[col1]df[ df[col] > 100 & df[col] < 200 ]
Join dữ liệu 2 DataFrames theo kiểu SQL
df[ df[col] > 100 & df[col] < 200 ]Join 2 DataFrame
df.sort_values[col1]df.sort_values[col1]df[ df[col] > 100 & df[col] < 200 ]df.sort_values[col2, ascending=False]df.sort_values[col2, ascending=False]df.sort_values[col2, ascending=False]df.sort_values[col2, ascending=False]