Hướng dẫn how to process multiple files in python - cách xử lý nhiều tệp trong python

Phương pháp 3: Mô -đun Pathlib ..

Phương pháp 4: OS.Walk (). 20 min
Exercises: 0 min

Phương pháp 5: Mô -đun toàn cầu ..

• Tổng quan

Giảng dạy: 20 phút Bài tập: 0 phút

• Câu hỏi

• Làm thế nào tôi có thể thực hiện các hoạt động giống nhau trên nhiều tệp khác nhau?

Mục tiêu

Sử dụng chức năng thư viện để có được danh sách các tên tệp phù hợp với mẫu ký tự đại diện.

print(glob.glob('inflammation*.csv'))

['inflammation-05.csv', 'inflammation-11.csv', 'inflammation-12.csv', 'inflammation-08.csv',
'inflammation-03.csv', 'inflammation-06.csv', 'inflammation-09.csv', 'inflammation-07.csv',
'inflammation-10.csv', 'inflammation-02.csv', 'inflammation-04.csv', 'inflammation-01.csv']

Như các ví dụ này cho thấy, kết quả ____ 19 19 là một danh sách các đường dẫn tệp và thư mục theo thứ tự tùy ý. Điều này có nghĩa là chúng ta có thể lặp lại nó để lần lượt làm một cái gì đó với mỗi tên tệp. Trong trường hợp của chúng tôi, một thứ gì đó mà chúng tôi muốn làm là tạo ra một tập hợp các sơ đồ cho mỗi tệp trong bộ dữ liệu viêm của chúng tôi.

Nếu chúng ta muốn bắt đầu bằng cách phân tích ba tệp đầu tiên theo thứ tự bảng chữ cái, chúng ta có thể sử dụng chức năng tích hợp

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

with open("C:/Users/bla/bla/list10.csv", 'w') as output:
    pass
with open("C:/Users/bla/bla/list15.csv", 'w') as output:
    pass


for root, dir, files in os.walk('C:/Users/bla/bla/bla'):
    ...

import glob
import numpy
import matplotlib.pyplot

filenames = sorted(glob.glob('inflammation*.csv'))
filenames = filenames[0:3]
for filename in filenames:
    print(filename)

    data = numpy.loadtxt(fname=filename, delimiter=',')

    fig = matplotlib.pyplot.figure(figsize=(10.0, 3.0))

    axes1 = fig.add_subplot(1, 3, 1)
    axes2 = fig.add_subplot(1, 3, 2)
    axes3 = fig.add_subplot(1, 3, 3)

    axes1.set_ylabel('average')
    axes1.plot(numpy.mean(data, axis=0))

    axes2.set_ylabel('max')
    axes2.plot(numpy.max(data, axis=0))

    axes3.set_ylabel('min')
    axes3.plot(numpy.min(data, axis=0))

    fig.tight_layout()
    matplotlib.pyplot.show()

Các ô được tạo ra cho tệp thử nghiệm lâm sàng thứ hai trông rất giống với các ô cho tệp đầu tiên: các ô trung bình của chúng cho thấy tương tự của người ồn ào tăng và giảm; Các ô cực đại của họ cho thấy chính xác cùng mức tăng tuyến tính; và các ô minima của họ cho thấy cấu trúc cầu thang tương tự.

Bộ dữ liệu thứ ba cho thấy các ô trung bình và cực đại trung bình ồn ào hơn nhiều so với hai bộ dữ liệu đầu tiên, tuy nhiên biểu đồ cực tiểu cho thấy minima bộ dữ liệu thứ ba luôn bằng 0 mỗi ngày của thử nghiệm. Nếu chúng ta tạo bản đồ nhiệt cho tệp dữ liệu thứ ba, chúng ta sẽ thấy như sau:

Chúng ta có thể thấy rằng có các giá trị không được phân phối lẻ tẻ qua tất cả các bệnh nhân và ngày thử nghiệm lâm sàng, cho thấy có những vấn đề tiềm năng với việc thu thập dữ liệu trong suốt thử nghiệm. Ngoài ra, chúng ta có thể thấy rằng bệnh nhân cuối cùng trong nghiên cứu đã không có bất kỳ tình trạng viêm nào trong suốt thử nghiệm, cho thấy rằng họ thậm chí có thể không bị viêm khớp!

Âm mưu khác biệt

Vẽ sự khác biệt giữa các viêm trung bình được báo cáo trong các bộ dữ liệu thứ nhất và thứ hai (được lưu trữ trong

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

2 và

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

3, tương ứng), tức là, sự khác biệt giữa các ô ngoài cùng bên trái của hai hình đầu tiên.

Dung dịch

import glob
import numpy
import matplotlib.pyplot

filenames = sorted(glob.glob('inflammation*.csv'))

data0 = numpy.loadtxt(fname=filenames[0], delimiter=',')
data1 = numpy.loadtxt(fname=filenames[1], delimiter=',')

fig = matplotlib.pyplot.figure(figsize=(10.0, 3.0))

matplotlib.pyplot.ylabel('Difference in average')
matplotlib.pyplot.plot(numpy.mean(data0, axis=0) - numpy.mean(data1, axis=0))

fig.tight_layout()
matplotlib.pyplot.show()

Tạo số liệu thống kê tổng hợp

Sử dụng từng tệp một lần để tạo bộ dữ liệu chứa các giá trị trung bình trên tất cả các bệnh nhân:

filenames = glob.glob('inflammation*.csv')
composite_data = numpy.zeros((60,40))
for filename in filenames:
    # sum each new file's data into composite_data as it's read
    #
# and then divide the composite_data by number of samples
composite_data = composite_data / len(filenames)

Sau đó sử dụng Pyplot để tạo trung bình, tối đa và tối thiểu cho tất cả bệnh nhân.

Dung dịch

import glob
import numpy
import matplotlib.pyplot

filenames = glob.glob('inflammation*.csv')
composite_data = numpy.zeros((60,40))

for filename in filenames:
    data = numpy.loadtxt(fname = filename, delimiter=',')
    composite_data = composite_data + data

composite_data = composite_data / len(filenames)

fig = matplotlib.pyplot.figure(figsize=(10.0, 3.0))

axes1 = fig.add_subplot(1, 3, 1)
axes2 = fig.add_subplot(1, 3, 2)
axes3 = fig.add_subplot(1, 3, 3)

axes1.set_ylabel('average')
axes1.plot(numpy.mean(composite_data, axis=0))

axes2.set_ylabel('max')
axes2.plot(numpy.max(composite_data, axis=0))

axes3.set_ylabel('min')
axes3.plot(numpy.min(composite_data, axis=0))

fig.tight_layout()

matplotlib.pyplot.show()

Tạo số liệu thống kê tổng hợp

Sử dụng từng tệp một lần để tạo bộ dữ liệu chứa các giá trị trung bình trên tất cả các bệnh nhân:

• Sau đó sử dụng Pyplot để tạo trung bình, tối đa và tối thiểu cho tất cả bệnh nhân.
• Sau khi dành một chút thời gian để điều tra bản đồ nhiệt và các ô thống kê, cũng như thực hiện các bài tập trên để vẽ sự khác biệt giữa các bộ dữ liệu và để tạo số liệu thống kê bệnh nhân tổng hợp, chúng tôi hiểu rõ hơn về mười hai bộ dữ liệu thử nghiệm lâm sàng.

Các bộ dữ liệu dường như rơi vào hai loại:

Có vẻ như các bộ dữ liệu lý tưởng của người Viking đồng ý xuất sắc với các yêu cầu của Tiến sĩ Maverick, nhưng hiển thị cực đại và cực tiểu đáng ngờ (như

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

Các bộ dữ liệu ồn ào của một số người đồng ý với các yêu cầu của Tiến sĩ Maverick, nhưng cho thấy các vấn đề thu thập dữ liệu như các giá trị thiếu lẻ tẻ và thậm chí là một ứng cử viên không phù hợp đưa nó vào thử nghiệm lâm sàng.

Trên thực tế, có vẻ như cả ba bộ dữ liệu ồn ào của người Viking (

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

import pandas as pd
import csv as csv

def average(file):

    df = pd.read_csv (file, 
                      delimiter=",",skiprows=1)
    ...    
    with open(csvfile, 'w') as output:
        writer = csv.writer(output, lineterminator='\n')
        writer.writerows(list15)

Tiến sĩ Maverick thú nhận rằng họ đã chế tạo dữ liệu lâm sàng sau khi họ phát hiện ra rằng thử nghiệm ban đầu bị một số vấn đề, bao gồm ghi dữ liệu không đáng tin cậy và lựa chọn người tham gia kém. Họ đã tạo dữ liệu giả để chứng minh thuốc của họ hoạt động và khi chúng tôi yêu cầu thêm dữ liệu, họ đã cố gắng tạo thêm bộ dữ liệu giả, cũng như ném vào bộ dữ liệu chất lượng kém một vài lần để thử và làm cho tất cả các thử nghiệm có vẻ hơn một chút "thực tế".

• Xin chúc mừng! Chúng tôi đã điều tra dữ liệu viêm và đã chứng minh rằng các bộ dữ liệu đã được tạo ra tổng hợp.

• Nhưng thật xấu hổ khi vứt bỏ các bộ dữ liệu tổng hợp đã dạy chúng tôi rất nhiều, vì vậy chúng tôi sẽ tha thứ cho Tiến sĩ Maverick tưởng tượng và tiếp tục sử dụng dữ liệu để tìm hiểu cách lập trình.