MLPlatform/doc/接口文档.md

接口文档

1. 数据处理模块

1.1 获取数据预处理方法列表

- 传递参数
    -- 无
- 返回参数:
    -- 预处理方法列表
        --- 方法名
        --- 介绍
- 细节补充
    -- 将方法写成配置文件, 调用方法时解析文件即可.

1.2 根据数据预处理方法名返回方法描述

- 传递参数
    -- 预处理方法名
- 返回参数
    -- 可选参数列表
        --- 参数名
        --- 参数类型
        --- 可选参数值
        --- 参数介绍
- 细节补充
    -- 将方法写成配置文件, 调用方法时解析文件即可.

1.3 获取特征工程方法列表:

- 传递参数
    -- 无
- 返回参数
    -- 特征工程方法列表
        --- 方法名
        --- 方法介绍
- 细节补充
    -- 将方法写成配置文件, 调用方法时解析文件即可.

1.4 根据特征工程方法返回其描述:

- 传递参数
    -- 方法名
- 返回参数
    -- 可选参数列表
        --- 参数名
        --- 参数类型
        --- 可选参数值
        --- 参数介绍
- 细节补充
    -- 将方法写成配置文件, 调用方法时解析文件即可.

1.3 处理数据集

- 传递参数 
    -- 数据清洗方法
        --- 参数
    -- 特征工程方法
        --- 参数
    -- 数据集划分比例
        --- test_size
        --- train_size
        --- val_size
    -- csv 待处理文件路径
    -- csv 处理后的文件路径
        --- 加个时间戳
- 返回参数
    -- 处理成功/失败原因
- 实现细节补充
    - 将数据集的处理过程保存成文件,以便后续查看.文件应该包括
    -- 数据集处理后的地址
    -- 处理过程

1.4 查看可用数据集

- 传递参数
    -- 无
- 返回参数
    -- 数据集列表
        --- 数据集名
        --- 处理过程
- 细节补充
-- 直接读取处理数据集的文件即可.

2. 模型接口

2.1 获取当前可用模型列表

- 传递参数
    -- 无
- 返回参数
    -- 可用模型列表
    --- 模型名
    --- 模型介绍
- 细节补充
    -- 将模型列表写成配置文件, 调用方法时解析文件即可.

2.2 获取指定模型的描述

- 传递参数
    -- 模型名
- 返回参数
    -- 模型介绍
    -- 可选参数及其要求

2.3 获取评价指标

- 传递参数
    -- 无
- 返回参数
    -- 评价指标列表
        --- 评价指标名
        --- 数据评价指标及其介绍
- 细节补充
    -- 将评价指标写成文件, 需要时直接读取即可.

2.3 模型训练

- 传递参数

    -- 训练集路径
    -- 测试集路径
    -- 验证集路径
    -- 方法
        --- 参数
    -- 评价指标
- 返回参数
    -- 训练结束/失败
- 细节补充
    -- 训练模型时,新起一个线程训练, 训练结束时推送训练结束消息.
    -- 模型保留当前效果最好的模型
    -- 保存模型训练数据
    -- 模型开始训练时,应该在全局变量/文件中记录模型正在训练,结束时改变状态.记录开始时间.便于查询当前正在训练的模型.

2.4 获取历史模型训练数据

- 传递参数
    -- 无
- 返回参数
    -- 历史模型名
    -- 模型结果
- 细节补充
    -- 通过保存的模型历史文件直接查询结果.

2.5 加载以训练模型并预测

- 传递参数
    -- 模型名
    -- 数据集路径
- 响应参数
    -- 模型输出结果

- 细节补充
    -- 一个机器学习模型对应一个数据集, 模型要和数据集对应

2.6 获取当前正在训练的模型列表

- 传递参数
    -- 无
- 返回参数
    -- 模型列表
        --- 模型名
        --- 训练参数
        --- 开始时间
- 细节补充
    -- 直接从全局变量/文件中查询正在训练的模型

2.7 模型优化

- 传递参数
    -- 模型名
    -- 训练数据集路径
    -- 测试数据集路径
- 返回参数
    -- 模型优化

3. 系统监控

3.1 获取当前cpu,gpu使用率

- 传递参数
    -- 无
- 响应参数
    -- 使用率列表
        --- cpu/gpu
        --- 使用率
- 细节补充
    -- 保存cpu/gpu使用率的列表,绘制折线图等

3.2 获取系统模型训练历史记录

- 传递参数
    -- 无
- 响应参数
    -- 模型训练记录列表
        --- 模型名
        --- 训练起止时间
        --- 训练数据集
        --- 模型效果

3.3 或许系统操作日志

- 传递参数
    -- 无
- 响应参数
    -- 系统日志列表

补充说明

- 数据预处理,特征选择,模型都采用sklearn库中的方法.
    -- 参考官方文档中的参数介绍.
- 模型注册,结果保存都采用MLflow库

开发计划

1.整理数据预处理和特征选择方法, 模型算法及其参数.

- 让AI整理,保存成yaml文件
- 1天

2. 实现数据预处理部分

- 顺带测试
- 1天

3.实现模型训练部分

- 试着进行模型优化
- AI 辅助开发
- 2天

4.实现系统监控部分

- 1天

5.实现系统接口

- 1天

6.整体测试及完善

- 1天