Nhập hàng không thành công với lỗi mysql

Trang này cung cấp các phương pháp hay nhất để nhập và xuất dữ liệu bằng Cloud SQL. Để biết hướng dẫn từng bước về cách nhập dữ liệu vào Cloud SQL, hãy xem Nhập dữ liệu

Để xuất dữ liệu từ Cloud SQL để sử dụng trong phiên bản MySQL mà bạn quản lý, hãy xem Xuất và nhập bằng tệp kết xuất SQL hoặc Xuất và nhập bằng tệp CSV

Các phương pháp hay nhất để nhập và xuất

Sau đây là các phương pháp hay nhất cần xem xét khi nhập và xuất dữ liệu

• Sử dụng cùng một chế độ SQL để nhập và xuất
• Không sử dụng bộ chứa Cloud Storage Requester Thanh toán
• Giảm thiểu tác động đến hoạt động xuất khẩu
• Sử dụng đúng cờ khi bạn tạo tệp kết xuất SQL
• Nén dữ liệu để giảm chi phí
• Giảm các quy trình xuất nhập khẩu kéo dài
• Sử dụng InnoDB
• Các công việc nhập và di chuyển MySQL có chứa siêu dữ liệu với mệnh đề DEFINER
• Xác minh cơ sở dữ liệu đã nhập

Sử dụng cùng một Chế độ SQL để nhập và xuất

Cài đặt Chế độ SQL ảnh hưởng đến cách Cloud SQL diễn giải các truy vấn SQL. Ví dụ: nếu bạn xuất từ ​​cơ sở dữ liệu mà không bật SQL nghiêm ngặt, sau đó thử nhập vào Cloud SQL [mặc định bật SQL nghiêm ngặt], quá trình nhập có thể không thành công. Cách tốt nhất là sử dụng cùng một Chế độ SQL khi nhập mà bạn đã sử dụng để xuất

Xem lại Chế độ SQL trên cả cơ sở dữ liệu nguồn và đích để biết tính tương thích. Đặc biệt chú ý đến các cờ kích hoạt chế độ SQL nghiêm ngặt. Nếu Strict SQL KHÔNG được đặt trên cơ sở dữ liệu của bạn, bạn có thể muốn xóa nó trong Cloud SQL. Nếu bạn loại bỏ SQL nghiêm ngặt, bạn phải đặt cờ khác

Để xác minh rằng phiên bản Cloud SQL của bạn đã đặt chế độ mong muốn, hãy chạy

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Không sử dụng bộ chứa Cloud Storage Requester Thanh toán

Bạn không thể sử dụng bộ chứa Cloud Storage đã bật Requester Pay để nhập và xuất từ ​​Cloud SQL

Giảm thiểu tác động đến hoạt động xuất khẩu

Đối với xuất tiêu chuẩn từ Cloud SQL, quá trình xuất được chạy khi cơ sở dữ liệu trực tuyến. Khi dữ liệu được xuất nhỏ hơn, tác động có thể là tối thiểu. Tuy nhiên, khi có cơ sở dữ liệu lớn hoặc đối tượng lớn, chẳng hạn như BLOB trong cơ sở dữ liệu, có khả năng xuất có thể làm giảm hiệu suất cơ sở dữ liệu. Điều này có thể ảnh hưởng đến thời gian cần thiết để thực hiện các thao tác và truy vấn cơ sở dữ liệu đối với cơ sở dữ liệu. Sau khi bạn bắt đầu xuất, bạn không thể dừng quá trình xuất nếu cơ sở dữ liệu của bạn bắt đầu phản hồi chậm

Để tránh phản hồi chậm trong quá trình xuất, bạn có thể

1. Lấy dữ liệu xuất từ ​​bản sao chỉ có quyền đọc. Đây có thể là một lựa chọn tốt nếu bạn xuất thường xuyên [hàng ngày hoặc thường xuyên hơn], nhưng lượng dữ liệu được xuất nhỏ. Để thực hiện xuất từ ​​bản sao chỉ có quyền đọc, hãy sử dụng các chức năng xuất API của Google Cloud Console,

   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
   

   8 hoặc REST API trên phiên bản bản sao chỉ có quyền đọc của bạn. Xem Tạo bản sao chỉ có quyền đọc để biết thêm thông tin về cách tạo và quản lý bản sao chỉ có quyền đọc

2. Sử dụng tính năng xuất không cần máy chủ. Với tính năng xuất không cần máy chủ, Cloud SQL tạo một phiên bản tạm thời, riêng biệt để giảm tải cho thao tác xuất. Việc giảm tải hoạt động xuất cho phép cơ sở dữ liệu trên phiên bản chính tiếp tục phân phối các truy vấn và thực hiện các hoạt động ở tốc độ hiệu suất thông thường. Khi quá trình xuất dữ liệu hoàn tất, phiên bản tạm thời sẽ tự động bị xóa. Đây có thể là một lựa chọn tốt nếu bạn đang xuất một lần cơ sở dữ liệu lớn. Sử dụng các chức năng xuất Google Cloud Console,

   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
   

   8 hoặc API REST, với cờ

   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
   

   0, để thực hiện thao tác xuất serverless

   Trong thao tác xuất serverless, bạn có thể chạy một số thao tác khác, chẳng hạn như chỉnh sửa phiên bản, nhập và chuyển đổi dự phòng. Tuy nhiên, nếu bạn chọn

   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
   SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
   

   1, thao tác xuất sẽ dừng một lúc sau khi bạn xóa phiên bản và không xuất bất kỳ dữ liệu nào

   Quá trình xuất serverless mất nhiều thời gian hơn so với quá trình xuất tiêu chuẩn vì cần có thời gian để tạo phiên bản tạm thời. Tối thiểu, mất hơn năm phút, nhưng đối với cơ sở dữ liệu lớn hơn, có thể lâu hơn. Xem xét tác động đến thời gian, hiệu suất và chi phí trước khi xác định loại hình xuất sẽ sử dụng

Sử dụng đúng cờ khi bạn tạo tệp kết xuất SQL

Nén dữ liệu để giảm chi phí

Cloud SQL hỗ trợ nhập và xuất cả tệp nén và tệp không nén. Tính năng nén có thể tiết kiệm đáng kể dung lượng lưu trữ trên Cloud Storage và giảm chi phí lưu trữ của bạn, đặc biệt khi bạn đang xuất các phiên bản lớn

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Giảm các quy trình xuất nhập khẩu kéo dài

Quá trình nhập vào Cloud SQL và xuất ra khỏi Cloud SQL có thể mất nhiều thời gian để hoàn thành, tùy thuộc vào kích thước của dữ liệu đang được xử lý. Điều này có thể có những tác động sau

• Bạn không thể dừng hoạt động phiên bản Cloud SQL đang chạy trong thời gian dài
• Bạn chỉ có thể thực hiện một thao tác nhập hoặc xuất tại một thời điểm cho mỗi phiên bản và thao tác nhập hoặc xuất trong thời gian dài sẽ chặn các hoạt động khác, chẳng hạn như sao lưu tự động hàng ngày. Xuất serverless cho phép bạn chạy các hoạt động khác, bao gồm chỉnh sửa phiên bản, nhập, chuyển đổi dự phòng và bỏ chặn sao lưu tự động hàng ngày

Bạn có thể giảm lượng thời gian cần thiết để hoàn thành mỗi thao tác bằng cách sử dụng chức năng nhập hoặc xuất Cloud SQL với các lô dữ liệu nhỏ hơn

Đối với hoạt động xuất, bạn có thể thực hiện xuất từ ​​bản sao chỉ có quyền đọc hoặc sử dụng tính năng xuất không cần máy chủ để giảm thiểu tác động đến hiệu suất cơ sở dữ liệu và cho phép các hoạt động khác chạy trên phiên bản của bạn trong khi hoạt động xuất đang diễn ra

Sử dụng InnoDB

InnoDB là công cụ lưu trữ được hỗ trợ duy nhất cho các phiên bản MySQL

Bạn có thể chuyển đổi các bảng của mình từ MyISAM sang InnoDB bằng cách chuyển đầu ra của mysqldump thông qua tập lệnh sed như sau

mysqldump --databases [DATABASE_NAME] \
-h [INSTANCE_IP] -u [USERNAME] -p [PASSWORD] \
--hex-blob --default-character-set=utf8mb4 | sed 's/ENGINE=MyISAM/ENGINE=InnoDB/g' > [DATABASE_FILE].sql

Cảnh báo. Đừng làm điều này nếu tệp

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Các công việc nhập và di chuyển MySQL có chứa siêu dữ liệu với mệnh đề DEFINER

Bởi vì công việc nhập hoặc di chuyển MySQL không di chuyển dữ liệu người dùng, các nguồn và tệp kết xuất chứa siêu dữ liệu do người dùng xác định bằng mệnh đề

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Để xác định giá trị

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Để chạy tác vụ nhập hoặc di chuyển từ một nguồn bao gồm siêu dữ liệu đó, bạn có thể thực hiện một trong các thao tác sau

• Tạo người dùng trên phiên bản Cloud SQL mục tiêu của bạn trước khi bắt đầu công việc nhập hoặc di chuyển
• Cập nhật mệnh đề

  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
  

  3 thành

  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
  SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;
  

  7 trên phiên bản MySQL nguồn hoặc tệp kết xuất trước khi bắt đầu công việc nhập hoặc di chuyển của bạn

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Xác minh cơ sở dữ liệu đã nhập

Sau khi thao tác nhập hoàn tất, hãy kết nối với cơ sở dữ liệu của bạn và chạy các lệnh cơ sở dữ liệu thích hợp để đảm bảo nội dung chính xác. Ví dụ: kết nối và liệt kê các cơ sở dữ liệu, bảng và các mục nhập cụ thể

hạn chế đã biết

Để biết danh sách các hạn chế đã biết, hãy xem Các vấn đề về nhập và xuất dữ liệu

Tự động hóa hoạt động xuất khẩu

Mặc dù Cloud SQL không cung cấp cách tích hợp sẵn để tự động xuất cơ sở dữ liệu, nhưng bạn có thể tạo công cụ tự động hóa của riêng mình bằng cách sử dụng một số thành phần của Google Cloud. Để tìm hiểu thêm, xem hướng dẫn này

Xử lý sự cố

Khắc phục sự cố hoạt động nhập khẩu

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Đóng các hoạt động không sử dụng. Kiểm tra mức sử dụng CPU và bộ nhớ của phiên bản Cloud SQL của bạn để đảm bảo có sẵn nhiều tài nguyên. Cách tốt nhất để đảm bảo tài nguyên tối đa cho quá trình nhập là khởi động lại phiên bản trước khi bắt đầu thao tác

khởi động lại

• Đóng tất cả các kết nối
• Kết thúc mọi tác vụ có thể đang tiêu tốn tài nguyên

Tạo người dùng cơ sở dữ liệu trước khi nhập

Những điều cần thử

Thêm dòng sau vào đầu tệp kết xuất

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Ngoài ra, thêm dòng này vào cuối tệp kết xuất

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Các cài đặt này sẽ hủy kích hoạt kiểm tra tính toàn vẹn của dữ liệu trong khi thao tác nhập đang diễn ra và kích hoạt lại chúng sau khi dữ liệu được tải. Điều này không ảnh hưởng đến tính toàn vẹn của dữ liệu trên cơ sở dữ liệu vì dữ liệu đã được xác thực trong quá trình tạo tệp kết xuất

Khắc phục sự cố hoạt động xuất khẩu

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.EVENTS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.ROUTINES;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.TRIGGERS;
SELECT DISTINCT DEFINER FROM INFORMATION_SCHEMA.VIEWS;

Sử dụng xuất CSV để chỉ xuất những gì bạn cần

Sử dụng giảm tải xuất khẩu. Ở cấp độ cao, trong quá trình giảm tải xuất, thay vì thực hiện xuất trên phiên bản nguồn, Cloud SQL tạo ra một phiên bản giảm tải để thực hiện xuất. Giảm tải khi xuất có một số ưu điểm, bao gồm tăng hiệu suất trên phiên bản nguồn và bỏ chặn các hoạt động quản trị trong khi quá trình xuất đang chạy. Khi xuất giảm tải, tổng độ trễ có thể tăng theo khoảng thời gian cần thiết để hiển thị phiên bản giảm tải. Nói chung, đối với các bản xuất có quy mô hợp lý, độ trễ không đáng kể. Tuy nhiên, nếu tệp xuất của bạn đủ nhỏ thì bạn có thể nhận thấy độ trễ tăng lên

Bạn có thể xây dựng hệ thống xuất tự động của riêng mình bằng cách sử dụng các sản phẩm của Google Cloud như Cloud Scheduler, Pub/Sub và Cloud Function, tương tự như bài viết này về sao lưu tự động