import os
import json 
from pathlib import Path

# 查询可用数据集, 处理过后的数据集默认在 dataset/dataset_processed/ 下
# 各个文件夹下的json文件记录了处理数据

class DatasetHistory:
    def __init__(self) -> None:
        self.dataset_processed_path = 'dataset/dataset_processed'

    def get_dataset(self):
        back = list()

        dataset_files_path = os.listdir(self.dataset_processed_path)

        for dataset_file in dataset_files_path:
            path = os.path.join(self.dataset_processed_path, dataset_file)
            # 指定要查看的文件夹路径
            folder_path = Path(path)

            # 获取文件夹下所有以 .json 结尾的文件
            json_files = list(folder_path.glob('*.json'))

            for json_file in json_files:
                with open(json_file.as_posix(), 'r', encoding='utf-8') as f:
                    json_data = json.load(f)

                back.append(json_data)
        return back