Hướng dẫn python merge json files - python hợp nhất tệp json

David Emmanuel công chứng đạo đức

David Emmanuel công chứng đạo đức

Xuất bản ngày 1 tháng 12 năm 2021

Xin chào, tôi muốn chỉ ra rằng mọi phản hồi đều được chào đón nhiều hơn, tôi đã tạo ra giải pháp này vì tôi không thể tìm thấy nó ở bất cứ đâu, tập lệnh nhỏ này đọc một danh sách các tệp dựa trên tên tệp chẳng hạn: ví dụ:

Hãy nói rằng bạn có một cái gì đó như thế này:

09/03/2018 07:01 p. m.              173 file-20180309T200145.json
09/03/2018 11:01 p. m.              173 file-20180310T000129.json
10/03/2018 03:01 a. m.              173 file-20180310T040117.json
10/03/2018 07:01 a. m.              173 file-20180310T080111.json
10/03/2018 11:01 a. m.              173 file-20180310T120127.json
11/03/2018 03:01 p. m.              173 file-20180311T160118.json

Và bạn cần hợp nhất chúng càng nhanh càng tốt trước khi nhập, đây là khi tập lệnh này trở nên tiện dụng, vì nó cũng thêm tên tệp vào dữ liệu và bạn có thể theo dõi dữ liệu thô của mình.

Assumptions:

1. Tập lệnh Python phải nằm trong cùng thư mục với các tệp JSON.same directory as the json files.
2. Tập lệnh Python và các tệp khác Whitin cùng một thư mục phải có tên khác với các tệp được hợp nhấtMUST have a different name than the files to be merged

Mật mã:

import os
import glob
import json
import pandas as pd
import numpy as np
import csv
from findtools.find_files import (find_files, Match)
from pandas.io.json import json_normalize


cwd = os.getcwd()
path_to_json =cwd


#contents = []
File_prefix = 'file-*'


dfs = []


# Recursively find all *.json files in **/home/**
json_files_pattern = Match(filetype='f', name=File_prefix)
found_files = find_files(path='.', match=json_files_pattern)


for found_file in found_files:
		#-----------------------------------------------------
		f = open(found_file)
		data ​= json.load(f)
		f.close()


		df = pd.DataFrame.from_dict(data, orient='columns')
		##set the json to a pandas dataframe in a table form to a csv
		
		
		df = pd.DataFrame.from_dict(data, orient='columns')
		df['filename'] = pd.Series(found_file)
		dfs.append(df) # append the data frame to the list
		#add the filename column
	
		#------------------------------------------------------
		print ("Adding... "  + found_file)
temp = pd.concat(dfs, ignore_index=True) #to add multiple jsons
print ("Saving ...."  + File_prefix + " File")
temp.to_csv("data"+ "File_prefix" + ".csv")

Hãy chia sẻ phản hồi của bạn và cảm ơn bạn.