Python gửi dữ liệu tới aws như thế nào?

Trong bài đăng này, chúng ta sẽ xem cách truy cập và truy vấn dữ liệu Amazon Redshift của bạn bằng Python. Chúng tôi làm theo hai bước trong quy trình này

• Kết nối với phiên bản kho Redshift và tải dữ liệu bằng Python
• Truy vấn dữ liệu và lưu trữ kết quả để phân tích

Vì Redshift tương thích với các cơ sở dữ liệu khác như PostgreSQL nên chúng tôi sử dụng thư viện psycopg của Python để truy cập và truy vấn dữ liệu từ Redshift. Sau đó, chúng tôi sẽ lưu trữ kết quả truy vấn dưới dạng khung dữ liệu trong gấu trúc bằng thư viện SQLAlchemy

Mục đích của bài tập này là tận dụng các kỹ thuật thống kê có sẵn trong Python để có được những hiểu biết hữu ích từ dữ liệu Redshift của bạn. Một số thông tin chi tiết mà bạn có thể nhận được bao gồm hiểu rõ hơn về hành vi sản phẩm của khách hàng, dự đoán tỷ lệ rời bỏ, v.v.

Chúng tôi cũng có một blog dành riêng để thao tác và truy vấn dữ liệu Google BigQuery của bạn bằng Python và R, trong trường hợp bạn quan tâm

Đối với bài đăng này, chúng tôi giả định rằng bạn đã tải dữ liệu trong phiên bản Redshift của mình. Trong trường hợp bạn chưa tải, cách tốt nhất để tải dữ liệu của bạn lên Redshift là tận dụng các công cụ Cơ sở hạ tầng dữ liệu khách hàng như RudderStack. Chúng cho phép bạn thu thập dữ liệu của mình trên tất cả các điểm tiếp xúc của khách hàng và tải chúng một cách an toàn vào Redshift – hoặc bất kỳ kho nào khác mà bạn chọn, với nỗ lực tối thiểu

Kết nối với dữ liệu dịch chuyển đỏ của bạn bằng Python

Để truy cập dữ liệu Redshift của bạn bằng Python, trước tiên chúng tôi cần kết nối với phiên bản của chúng tôi. Như đã đề cập ở trên, Redshift tương thích với các giải pháp cơ sở dữ liệu khác như PostgreSQL. Do đó, bạn có thể sử dụng một cách an toàn các công cụ mà bạn sẽ sử dụng để truy cập và truy vấn dữ liệu PostgreSQL của mình cho Redshift

Chúng tôi sẽ sử dụng trình điều khiển Python psycopg để kết nối với phiên bản Redshift của chúng tôi. Điều đó nói rằng, xin vui lòng thử nghiệm với bất kỳ thư viện nào khác mà bạn chọn để làm như vậy

con=psycopg2.connect(dbname= 'dbname', host='host', 
port= 'port', user= 'user', password= 'pwd')

Chúng tôi thực sự khuyên bạn nên sử dụng mã ở trên như một phần trong quy trình của mình và bọc mã đó trong một hàm xử lý bất kỳ lỗi nào. Các tham số mà bạn cần là điển hình để kết nối với bất kỳ cơ sở dữ liệu nào

• Tên của cơ sở dữ liệu
• Tên máy chủ
• Hải cảng
• Tên tài khoản
• Mật khẩu

Thực hiện truy vấn trên dữ liệu dịch chuyển đỏ của bạn bằng Psycopg

Khi kết nối cơ sở dữ liệu được thiết lập, chúng ta có thể bắt đầu truy vấn dữ liệu Redshift. Chúng tôi sử dụng các truy vấn SQL để thu hẹp lượng dữ liệu chúng tôi muốn cho phân tích của mình

Để làm như vậy với psycopg, chúng tôi thực hiện các bước sau

• Chúng tôi nhận được một con trỏ từ kết nối cơ sở dữ liệu của mình, như vậy

• Chúng tôi thực hiện truy vấn từ bảng mà chúng tôi muốn lấy dữ liệu của mình từ đó

cur.execute("SELECT * FROM `table`;")

• Osau khi truy vấn được thực hiện thành công, chúng tôi hướng dẫn psycopg tìm nạp dữ liệu từ cơ sở dữ liệu. Để phân tích dữ liệu sâu hơn, bạn nên lấy bộ dữ liệu hoàn chỉnh. Do đó, chúng tôi chạy lệnh sau

• Cuối cùng, chúng tôi đóng con trỏ và kết nối, như vậy

Phần quan trọng nhất ở đây là truy vấn SQL mà chúng tôi thực hiện để tìm nạp các bản ghi từ tập dữ liệu. Bạn cũng có thể sử dụng SQL để thực hiện các khối lớn tiền xử lý dữ liệu của mình và thiết lập một bộ dữ liệu phù hợp để giúp việc phân tích dữ liệu của bạn dễ dàng hơn rất nhiều

Ví dụ: bạn có thể nối nhiều bảng trong cơ sở dữ liệu hoặc sử dụng các hàm tổng hợp được Redshift hỗ trợ để tạo các trường mới theo yêu cầu của bạn

Sử dụng dữ liệu được truy vấn để phân tích dữ liệu

Bây giờ, chúng tôi đã truy vấn thành công dữ liệu Redshift của mình và tìm nạp dữ liệu đó để phân tích, đã đến lúc xử lý dữ liệu đó bằng các công cụ phân tích dữ liệu mà chúng tôi có sẵn

Khi nói đến Python, các thư viện phổ biến nhất để phân tích dữ liệu là

cur.execute("SELECT * FROM `table`;")

1 và

cur.execute("SELECT * FROM `table`;")

2

• NumPy là một thư viện Python phổ biến được sử dụng chủ yếu cho tính toán số
• pandas là một thư viện phân tích dữ liệu được sử dụng rộng rãi trong Python. Nó cung cấp cấu trúc dữ liệu hiệu suất cao được gọi là DataFrame để làm việc với các cấu trúc giống như bảng

Bất kể bạn muốn thực hiện loại phân tích nào, bạn sẽ cần sử dụng một trong hai thư viện này để thể hiện dữ liệu ban đầu của mình

Đang tải dữ liệu lên NumPy

Khá đơn giản để biến dữ liệu của bạn thành một mảng

cur.execute("SELECT * FROM `table`;")

1. Chúng tôi khởi tạo một mảng

cur.execute("SELECT * FROM `table`;")

1 mới và chuyển con trỏ chứa kết quả truy vấn dưới dạng tham số

Chạy đoạn mã sau trong bảng điều khiển Python của bạn

data = np.array(cur.fetchall())

Đang tải dữ liệu lên gấu trúc

Bạn cũng có thể sử dụng pandas thay vì

cur.execute("SELECT * FROM `table`;")

1 để phân tích dữ liệu của mình. Tuy nhiên, đối với điều này, các bước liên quan hơi khác một chút

Tham khảo đoạn mã sau

________số 8_______

Như đã thấy trong đoạn mã trên, chúng tôi sẽ sử dụng SQLAlchemy để kết nối với phiên bản Redshift của chúng tôi bằng thông tin xác thực kết nối. Sau đó, chúng tôi sử dụng phương thức read_sql để thực hiện truy vấn SQL trên cơ sở dữ liệu. Cuối cùng, chúng tôi có thể tải kết quả trực tiếp vào DataFrame và sử dụng nó để phân tích

Cách truy cập và truy vấn dữ liệu dịch chuyển đỏ bằng R?

Tải và truy vấn dữ liệu Redshift của bạn cũng dễ dàng không kém trong R. Chúng tôi có thể sử dụng gói

cur.execute("SELECT * FROM `table`;")

6 để kết nối với phiên bản Redshift của mình và sau đó chạy các truy vấn trên dữ liệu

Đây là cách cài đặt gói trong RStudio

install.packages("RPostgreSQL")

Bước tiếp theo là kết nối với phiên bản Redshift, như minh họa bên dưới

drv <- dbDriver("PostgreSQL")
con <-dbConnect(drv,dbname="dbname",host="host",port=1234,
                user="user",password="password")

Ghi chú. Điều quan trọng là phải đóng kết nối sau khi bạn hoàn thành việc lấy dữ liệu ra khỏi cơ sở dữ liệu

Truy vấn dữ liệu và tải nó vào khung dữ liệu R cũng khá dễ dàng

df_postgres <- dbGetQuery(con, "SELECT * from `table`")

Bước đầu tiên trong bất kỳ quy trình phân tích dữ liệu nào là thu thập dữ liệu một cách chính xác và sau đó lưu trữ dữ liệu đó ở định dạng dễ đọc. Trong bài đăng này, chúng tôi đã tải dữ liệu Redshift bằng Python / R và sau đó truy vấn dữ liệu đó để lấy dữ liệu hữu ích cho việc phân tích thêm

Mặc dù chúng tôi tập trung vào Amazon Redshift trong blog này, quy trình này cũng có thể áp dụng cho các cơ sở dữ liệu khác như PostgreSQL. Trong bài đăng này, chúng tôi đã sử dụng psycopg để kết nối với phiên bản Redshift của mình – cùng một trình kết nối Python cũng có thể được sử dụng để kết nối với phiên bản PostgreSQL

Một trong những lợi thế của việc lưu trữ dữ liệu của bạn trong cơ sở dữ liệu trái ngược với các định dạng khác, chẳng hạn như tệp CSV, là khả năng truy vấn dữ liệu đó bằng SQL. Bạn có thể chạy các truy vấn SQL phức tạp để xử lý trước dữ liệu của mình một cách hiệu quả, đồng thời tiết kiệm rất nhiều thời gian và công sức trong việc xây dựng các mô hình thống kê để phân tích dữ liệu chuyên sâu

Đăng ký miễn phí và bắt đầu gửi dữ liệu

Kiểm tra luồng sự kiện, ELT và đường ống đảo ngược ETL của chúng tôi. Sử dụng nguồn HTTP của chúng tôi để gửi dữ liệu trong vòng chưa đầy 5 phút hoặc cài đặt một trong 12 SDK của chúng tôi trong trang web hoặc ứng dụng của bạn

Làm cách nào để gửi dữ liệu tới AWS bằng Python?

Python hoạt động như thế nào với AWS?

Làm cách nào để kết nối với AWS bằng Python?

Làm cách nào để kết nối với bộ chứa AWS S3 bằng Python?