Hướng dẫn how does mongodb store files on disk? - làm thế nào để mongodb lưu trữ các tập tin trên đĩa?

Đúng. Nhìn thấy:

• Thay đổi độc lập thành Wiredtiger

• Thay đổi bản sao được đặt thành Wiredtiger

• Thay đổi cụm Sharded thành Wiredtiger

Tỷ lệ dữ liệu nén so với dữ liệu không nén phụ thuộc vào dữ liệu của bạn và thư viện nén được sử dụng. Theo mặc định, dữ liệu thu thập trong WiredTiger sử dụng nén khối Snappy; Nén ZLIB và ZSTD cũng có sẵn. Chỉ số dữ liệu sử dụng nén tiền tố theo mặc định.

Với WiredTiger, MongoDB sử dụng cả bộ đệm bên trong WiredTiger và bộ đệm hệ thống tập tin.

Bắt đầu từ MongoDB 3.4, kích thước bộ nhớ cache bên trong WiredTiger mặc định là lớn hơn cả:

• 50% (RAM - 1 GB) hoặc

• 256 MB.

Ví dụ, trên một hệ thống có tổng số RAM 4GB, bộ đệm Wiredtiger sẽ sử dụng 1,5GB RAM (0.5 * (4 GB - 1 GB) = 1.5 GB). Ngược lại, một hệ thống có tổng số 1,25 GB RAM sẽ phân bổ 256 MB cho bộ đệm Wiredtiger vì đó là hơn một nửa tổng số RAM trừ đi một gigabyte (0.5 * (1.25 GB - 1 GB) = 128 MB < 256 MB).

Ghi chú

Bắt đầu từ phiên bản 4.2, MongoDB sẽ loại bỏ công cụ lưu trữ MMAPV1 không dùng.

Đúng. Nhìn thấy:

Thay đổi độc lập thành Wiredtiger

Thay đổi bản sao được đặt thành Wiredtiger

• Thay đổi cụm Sharded thành Wiredtiger

• Tỷ lệ dữ liệu nén so với dữ liệu không nén phụ thuộc vào dữ liệu của bạn và thư viện nén được sử dụng. Theo mặc định, dữ liệu thu thập trong WiredTiger sử dụng nén khối Snappy; Nén ZLIB và ZSTD cũng có sẵn. Chỉ số dữ liệu sử dụng nén tiền tố theo mặc định.

• Dữ liệu thu thập trong bộ đệm nội bộ Wiredtiger không bị nén và sử dụng một biểu diễn khác với định dạng trên đĩa. Nén khối có thể cung cấp tiết kiệm lưu trữ trên đĩa đáng kể, nhưng dữ liệu phải không bị nén để bị máy chủ thao túng.

Thông qua bộ đệm hệ thống tập tin, MongoDB tự động sử dụng tất cả bộ nhớ miễn phí không được sử dụng bởi bộ đệm WiredTiger hoặc bởi các quy trình khác.

Để điều chỉnh kích thước của bộ đệm nội bộ Wiredtiger, xem storage.wiredTiger.engineConfig.cacheSizeGB và

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Ghi chú

storage.wiredTiger.engineConfig.cacheSizeGB giới hạn kích thước của bộ đệm nội bộ Wiredtiger. Hệ điều hành sẽ sử dụng bộ nhớ miễn phí có sẵn cho bộ nhớ cache hệ thống tập tin, cho phép các tệp dữ liệu MongoDB được nén trong bộ nhớ. Ngoài ra, hệ điều hành sẽ sử dụng bất kỳ RAM miễn phí nào cho các khối hệ thống tệp và bộ đệm hệ thống tệp.

Để phù hợp với những người tiêu dùng RAM bổ sung, bạn có thể phải giảm kích thước bộ nhớ cache bên trong Wiredtiger.

Giá trị kích thước bộ đệm bên trong WiredTiger mặc định giả định rằng có một phiên bản

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Nếu bạn chạy

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Để xem số liệu thống kê về bộ đệm và tốc độ trục xuất, hãy xem trường

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Mỗi kết nối sử dụng tối đa 1 megabyte của RAM.

Để tối ưu hóa việc sử dụng bộ nhớ cho các kết nối, hãy đảm bảo rằng bạn:

• Giám sát số lượng kết nối mở để triển khai của bạn. Quá nhiều kết nối mở dẫn đến việc sử dụng RAM quá mức và giảm bộ nhớ có sẵn cho bộ hoạt động.

• Các nhóm kết nối gần gũi khi chúng không còn cần thiết. Nhóm kết nối là bộ đệm của các kết nối cơ sở dữ liệu mở, sẵn sàng sử dụng được duy trì bởi trình điều khiển. Đóng các hồ bơi không cần thiết làm cho tài nguyên bộ nhớ bổ sung có sẵn.

• Quản lý kích thước của nhóm kết nối của bạn. Tùy chọn chuỗi kết nối MongoDB1 Chỉ định số lượng kết nối mở tối đa trong nhóm. Theo mặc định, bạn có thể có tối đa 100 kết nối mở trong nhóm. Giảm MongoDB1 làm giảm lượng RAM tối đa được sử dụng cho các kết nối.

  Mẹo

• Đối với các thành viên tập hợp bản sao (thành viên chính và phụ),

  • Nếu có các hoạt động đang chờ các mục oplog. Các hoạt động có thể chờ các mục Oplog bao gồm:

    • Chuyển tiếp các truy vấn quét đối với oplog

    • Đọc các hoạt động được thực hiện như một phần của các phiên phù hợp nhân quả

  • Ngoài ra, đối với các thành viên thứ cấp, sau mỗi lần áp dụng hàng loạt các mục Oplog.

• Nếu một hoạt động viết bao gồm hoặc ngụ ý mối quan tâm ghi của MongoDB3

  Ghi chú

• storage.wiredTiger.engineConfig.cacheSizeGB giới hạn kích thước của bộ đệm nội bộ Wiredtiger. Hệ điều hành sẽ sử dụng bộ nhớ miễn phí có sẵn cho bộ nhớ cache hệ thống tập tin, cho phép các tệp dữ liệu MongoDB được nén trong bộ nhớ. Ngoài ra, hệ điều hành sẽ sử dụng bất kỳ RAM miễn phí nào cho các khối hệ thống tệp và bộ đệm hệ thống tệp.

• Để phù hợp với những người tiêu dùng RAM bổ sung, bạn có thể phải giảm kích thước bộ nhớ cache bên trong Wiredtiger.

Giá trị kích thước bộ đệm bên trong WiredTiger mặc định giả định rằng có một phiên bản

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Nếu bạn chạy

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Để xem số liệu thống kê về bộ đệm và tốc độ trục xuất, hãy xem trường

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Mỗi kết nối sử dụng tối đa 1 megabyte của RAM.*.json0. The following example issues MongoDB5 for the *.json2 collection:

Để tối ưu hóa việc sử dụng bộ nhớ cho các kết nối, hãy đảm bảo rằng bạn:

• Giám sát số lượng kết nối mở để triển khai của bạn. Quá nhiều kết nối mở dẫn đến việc sử dụng RAM quá mức và giảm bộ nhớ có sẵn cho bộ hoạt động.

• Các nhóm kết nối gần gũi khi chúng không còn cần thiết. Nhóm kết nối là bộ đệm của các kết nối cơ sở dữ liệu mở, sẵn sàng sử dụng được duy trì bởi trình điều khiển. Đóng các hồ bơi không cần thiết làm cho tài nguyên bộ nhớ bổ sung có sẵn.

• *.json7 để trả về các kích thước chỉ mục tính bằng byte cho bộ sưu tập. Nếu một chỉ mục sử dụng nén tiền tố (là *.json5), kích thước trả về phản ánh kích thước nén.

Tập lệnh sau đây in số liệu thống kê cho mỗi cơ sở dữ liệu:

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   printjson(mdb.stats());
})

Tập lệnh sau đây in số liệu thống kê cho mỗi bộ sưu tập trong mỗi cơ sở dữ liệu:

db.adminCommand("listDatabases").databases.forEach(function (d) {
   mdb = db.getSiblingDB(d.name);
   mdb.getCollectionNames().forEach(function(c) {
      s = mdb[c].stats();
      printjson(s);
   })
})

Để xem kích thước của dữ liệu được phân bổ cho từng chỉ mục, hãy sử dụng phương thức MongoDB5 và kiểm tra trường MongoDB0 trong tài liệu được trả về.

Nếu một chỉ mục sử dụng nén tiền tố (là MongoDB1), kích thước được trả về cho chỉ số đó phản ánh kích thước nén.

Phương thức MongoDB2 trong *.json0 trả về trạng thái hiện tại của cơ sở dữ liệu "hoạt động". Để biết mô tả của các trường được trả về, xem đầu ra của DBSTATS.*.json0 returns the current state of the "active" database. For the description of the returned fields, see dbStats Output.