Hướng dẫn equal frequency binning python pandas - gấu trúc python binning tần số bằng nhau

Giới thiệu

Khi xử lý dữ liệu số liên tục, thường sẽ hữu ích khi chia dữ liệu thành nhiều thùng để phân tích thêm. Có một số thuật ngữ khác nhau để tạo ra bao gồm xô, binning rời rạc, rời rạc hoặc định lượng hóa. Pandas hỗ trợ các phương pháp này bằng cách sử dụng các hàm

df['ext price'].describe()

df['ext price'].describe()

df['ext price'].describe()

df['ext price'].describe()

Binning

Một trong những trường hợp phổ biến nhất của Binning được thực hiện đằng sau hậu trường cho bạn khi tạo biểu đồ. Biểu đồ dưới đây của dữ liệu bán hàng của khách hàng, cho thấy cách một tập hợp các số bán hàng liên tục có thể được chia thành các thùng riêng biệt (ví dụ: $ 60.000 - 70.000 đô la) và sau đó được sử dụng để nhóm và đếm tài khoản & nbsp;

Dưới đây là mã cho thấy cách chúng tôi tóm tắt thông tin bán hàng năm 2018 cho một nhóm khách hàng. Đại diện này minh họa số lượng khách hàng có doanh số trong các phạm vi nhất định. Mã mẫu được bao gồm trong sổ ghi chép này nếu bạn muốn theo dõi & nbsp; cùng.

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

Có nhiều kịch bản khác mà bạn có thể muốn xác định thùng của riêng bạn. Trong ví dụ trên, có 8 thùng với dữ liệu. Điều gì sẽ xảy ra nếu chúng ta muốn chia khách hàng của mình thành các nhóm 3, 4 hoặc 5? Đó là nơi mà Pandas

df['ext price'].describe()

df['ext price'].describe()

Qcut

Tài liệu gấu trúc mô tả

df['ext price'].describe()

df['ext price'].describe()

Nếu bạn đã sử dụng chức năng Pandas

count        20.000000
mean     101711.287500
std       27037.449673
min       55733.050000
25%       89137.707500
50%      100271.535000
75%      110132.552500
max      184793.700000
Name: ext price, dtype: float64

df['ext price'].describe()

df['ext price'].describe()

count        20.000000
mean     101711.287500
std       27037.449673
min       55733.050000
25%       89137.707500
50%      100271.535000
75%      110132.552500
max      184793.700000
Name: ext price, dtype: float64

Hãy ghi nhớ các giá trị cho 25%, 50% và 75% phần trăm khi chúng ta xem xét trực tiếp bằng cách sử dụng

df['ext price'].describe()

Việc sử dụng đơn giản nhất

df['ext price'].describe()

pd.qcut(df['ext price'], q=4)

0     (55733.049000000006, 89137.708]
1             (89137.708, 100271.535]
2     (55733.049000000006, 89137.708]
....
17             (110132.552, 184793.7]
18           (100271.535, 110132.552]
19           (100271.535, 110132.552]
Name: ext price, dtype: category
Categories (4, interval[float64]): [(55733.049000000006, 89137.708] < (89137.708, 100271.535] < (100271.535, 110132.552] < (110132.552, 184793.7]]

Kết quả là một chuỗi phân loại đại diện cho các thùng bán hàng. Bởi vì chúng tôi đã yêu cầu các lượng tử với

count        20.000000
mean     101711.287500
std       27037.449673
min       55733.050000
25%       89137.707500
50%      100271.535000
75%      110132.552500
max      184793.700000
Name: ext price, dtype: float64

count        20.000000
mean     101711.287500
std       27037.449673
min       55733.050000
25%       89137.707500
50%      100271.535000
75%      110132.552500
max      184793.700000
Name: ext price, dtype: float64

Một trường hợp sử dụng phổ biến là lưu trữ kết quả thùng trong DataFrame gốc để phân tích trong tương lai. Ví dụ này, chúng tôi sẽ tạo 4 thùng (hay còn gọi là tứ phân) và 10 thùng (còn gọi là deciles) và lưu trữ kết quả trong bản gốc & nbsp; dataFrame:

df['quantile_ex_1'] = pd.qcut(df['ext price'], q=4)
df['quantile_ex_2'] = pd.qcut(df['ext price'], q=10, precision=0)

df.head()

Purdy-Kunde

(76471.0, 87168.0]

df['quantile_ex_1'].value_counts()

(110132.552, 184793.7]             5
(100271.535, 110132.552]           5
(89137.708, 100271.535]            5
(55733.049000000006, 89137.708]    5
Name: quantile_ex_1, dtype: int64

Kulas inc

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

(110132.552, 184793.7]

(124778.0, 184794.0]

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

(76471.0, 87168.0]

Kulas inc

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

(110132.552, 184793.7]

(124778.0, 184794.0]

• Stokes LLC
• (90686.0, 95908.0]
• Bạn có thể thấy các thùng rất khác nhau giữa

  pd.qcut(df['ext price'], q=4)
  

  0 và

  pd.qcut(df['ext price'], q=4)
  

  1. Tôi cũng đã giới thiệu việc sử dụng

  pd.qcut(df['ext price'], q=4)
  

  2 để xác định số lượng số thập phân để sử dụng để tính toán bin & nbsp; độ chính xác.

Chế độ xem thú vị khác là xem các giá trị được phân phối trên các thùng bằng cách sử dụng

pd.qcut(df['ext price'], q=4)

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

pd.qcut(df['ext price'], q=4)

(76471.0, 87168.0]

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

Kulas inc

(110132.552, 184793.7]

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

pd.qcut(df['ext price'], q=4)

pd.qcut(df['ext price'], q=4)

pd.qcut(df['ext price'], q=4)

pd.qcut(df['ext price'], q=4)

Có một lưu ý nhỏ về chức năng này. Vượt qua 0 hoặc 1, chỉ có nghĩa là 0% sẽ giống như tối thiểu và 100% sẽ giống như tối đa. Tôi cũng học được rằng phần trăm thứ 50 sẽ luôn được bao gồm, bất kể các giá trị & nbsp; được thông qua.

Trước khi chúng ta chuyển sang mô tả

df['ext price'].describe()

df['quantile_ex_1'] = pd.qcut(df['ext price'], q=4)
df['quantile_ex_2'] = pd.qcut(df['ext price'], q=10, precision=0)

df.head()

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

Purdy-Kunde

(76471.0, 87168.0]

Kulas inc

(110132.552, 184793.7]

(124778.0, 184794.0]

Kim cương

Stokes LLC

(90686.0, 95908.0]

In []:
qc.value_counts().sort_index()

Out[]:
(44.0, 63.0]    2
(63.0, 79.0]    2
(79.0, 89.0]    2
Name: data, dtype: int64

Màu bạc

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

Cá nhân, tôi nghĩ rằng sử dụng

df['quantile_ex_1'] = pd.qcut(df['ext price'], q=4)
df['quantile_ex_2'] = pd.qcut(df['ext price'], q=10, precision=0)

df.head()

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

cắt

Bây giờ chúng ta đã thảo luận về cách sử dụng

df['ext price'].describe()

df['ext price'].describe()

df['ext price'].describe()

Sự khác biệt chính là

df['ext price'].describe()

Mặt khác,

df['ext price'].describe()

Trong các ví dụ trong thế giới thực, các thùng có thể được xác định bởi các quy tắc kinh doanh. Đối với một chương trình Flier thường xuyên, 25.000 dặm là mức bạc và điều đó không thay đổi dựa trên sự thay đổi của dữ liệu hàng năm. Nếu chúng tôi muốn xác định các cạnh bin (25.000 - 50.000, v.v.), chúng tôi sẽ sử dụng

df['ext price'].describe()

df['ext price'].describe()

Một số ví dụ nên làm cho sự khác biệt này & nbsp; rõ ràng.

Để đơn giản, tôi sẽ xóa các cột trước để giữ các ví dụ & nbsp; ngắn:

Đối với ví dụ đầu tiên, chúng ta có thể cắt dữ liệu thành 4 kích thước thùng bằng nhau. Pandas sẽ thực hiện toán học đằng sau hậu trường để xác định cách chia dữ liệu được đặt thành các nhóm 4 & nbsp này: các nhóm:

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

(95908.0, 100272.0]

Đầu tiên, chúng ta có thể sử dụng

df['quantile_ex_1'].value_counts()

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

Không gian Linspace Numpy là một hàm đơn giản cung cấp một mảng các số cách đều nhau trong phạm vi do người dùng xác định. Trong ví dụ này, chúng tôi muốn 9 điểm cắt đều cách đều nhau từ 0 đến 200.000. Độc giả Astute có thể nhận thấy rằng chúng tôi có 9 số nhưng chỉ có 8 loại. Nếu bạn vạch ra các danh mục thực tế, nó sẽ có ý nghĩa tại sao chúng tôi kết thúc với 8 loại từ 0 đến 200.000. Trong tất cả các trường hợp, có một loại ít hơn số lượng Cut & nbsp; điểm.

Tùy chọn khác là sử dụng

df['quantile_ex_1'].value_counts()

Có một tùy chọn bổ sung để xác định thùng của bạn và đó là sử dụng gấu trúc

df['quantile_ex_1'].value_counts()

df['quantile_ex_1'].value_counts()

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

Có một nhược điểm để sử dụng

df['quantile_ex_1'].value_counts()

import pandas as pd
import numpy as np
import seaborn as sns

sns.set_style('whitegrid')

raw_df = pd.read_excel('2018_Sales_Total.xlsx')
df = raw_df.groupby(['account number', 'name'])['ext price'].sum().reset_index()

df['ext price'].plot(kind='hist')

Purdy-Kunde

(70000, 80000]

Kulas inc

kim cương

(130000, 140000]

Stokes LLC

df['ext price'].describe()

df['ext price'].describe()

Như được hiển thị ở trên, tham số

(110132.552, 184793.7]             5
(100271.535, 110132.552]           5
(89137.708, 100271.535]            5
(55733.049000000006, 89137.708]    5
Name: quantile_ex_1, dtype: int64

df['quantile_ex_1'].value_counts()

Theo kinh nghiệm của tôi, tôi sử dụng một danh sách tùy chỉnh các phạm vi bin hoặc (110132.552, 184793.7] 5 (100271.535, 110132.552] 5 (89137.708, 100271.535] 5 (55733.049000000006, 89137.708] 5 Name: quantile_ex_1, dtype: int64 3 nếu tôi có một số lượng lớn & nbsp;

Một trong những khác biệt giữa

df['ext price'].describe()

df['ext price'].describe()

(110132.552, 184793.7]             5
(100271.535, 110132.552]           5
(89137.708, 100271.535]            5
(55733.049000000006, 89137.708]    5
Name: quantile_ex_1, dtype: int64

(110132.552, 184793.7]             5
(100271.535, 110132.552]           5
(89137.708, 100271.535]            5
(55733.049000000006, 89137.708]    5
Name: quantile_ex_1, dtype: int64

df['ext price'].describe()

Phần còn lại của chức năng df['ext price'].describe() 6 tương tự như df['ext price'].describe() 7. Chúng ta có thể trả về các thùng bằng cách sử dụng 0 (55733.049000000006, 89137.708] 1 (89137.708, 100271.535] 2 (55733.049000000006, 89137.708] .... 17 (110132.552, 184793.7] 18 (100271.535, 110132.552] 19 (100271.535, 110132.552] Name: ext price, dtype: category Categories (4, interval[float64]): [(55733.049000000006, 89137.708] < (89137.708, 100271.535] < (100271.535, 110132.552] < (110132.552, 184793.7]] 5 hoặc điều chỉnh độ chính xác bằng đối số pd.qcut(df['ext price'], q=4) 2.

• Một thủ thuật cuối cùng tôi muốn trình bày là

  pd.qcut(df['ext price'], q=4)
  

  3 bao gồm một lối tắt để tạo ra và đếm dữ liệu. Nó có phần tương tự như cách

  count        20.000000
  mean     101711.287500
  std       27037.449673
  min       55733.050000
  25%       89137.707500
  50%      100271.535000
  75%      110132.552500
  max      184793.700000
  Name: ext price, dtype: float64
  

  4 có thể là một lối tắt cho

  df['ext price'].describe()
  

  7.
• Nếu chúng ta muốn chia một giá trị thành 4 thùng và đếm số lượng & nbsp; xảy ra:

Bằng cách Defeault pd.qcut(df['ext price'], q=4) 3 sẽ sắp xếp với giá trị cao nhất trước tiên. Bằng cách vượt qua In []: qc.value_counts().sort_index() Out[]: (44.0, 63.0] 2 (63.0, 79.0] 2 (79.0, 89.0] 2 Name: data, dtype: int64 07, các thùng sẽ được sắp xếp theo thứ tự số có thể là hữu ích & nbsp; xem.

Bản tóm tắt