212 lines
5.6 KiB
Plaintext
212 lines
5.6 KiB
Plaintext
# 接口文档
|
|
## 1. 数据处理模块
|
|
### 1.1 获取数据预处理方法列表
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数:
|
|
-- 预处理方法列表
|
|
--- 方法名
|
|
--- 介绍
|
|
- 细节补充
|
|
-- 将方法写成配置文件, 调用方法时解析文件即可.
|
|
### 1.2 根据数据预处理方法名返回方法描述
|
|
- 传递参数
|
|
-- 预处理方法名
|
|
- 返回参数
|
|
-- 可选参数列表
|
|
--- 参数名
|
|
--- 参数类型
|
|
--- 可选参数值
|
|
--- 参数介绍
|
|
- 细节补充
|
|
-- 将方法写成配置文件, 调用方法时解析文件即可.
|
|
|
|
### 1.3 获取特征工程方法列表:
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 特征工程方法列表
|
|
--- 方法名
|
|
--- 方法介绍
|
|
- 细节补充
|
|
-- 将方法写成配置文件, 调用方法时解析文件即可.
|
|
|
|
### 1.4 根据特征工程方法返回其描述:
|
|
- 传递参数
|
|
-- 方法名
|
|
- 返回参数
|
|
-- 可选参数列表
|
|
--- 参数名
|
|
--- 参数类型
|
|
--- 可选参数值
|
|
--- 参数介绍
|
|
- 细节补充
|
|
-- 将方法写成配置文件, 调用方法时解析文件即可.
|
|
|
|
### 1.3 处理数据集
|
|
- 传递参数
|
|
-- 数据清洗方法
|
|
--- 参数
|
|
-- 特征工程方法
|
|
--- 参数
|
|
-- 数据集划分比例
|
|
--- test_size
|
|
--- train_size
|
|
--- val_size
|
|
-- csv 待处理文件路径
|
|
-- csv 处理后的文件路径
|
|
--- 加个时间戳
|
|
- 返回参数
|
|
-- 处理成功/失败原因
|
|
- 实现细节补充
|
|
- 将数据集的处理过程保存成文件,以便后续查看.文件应该包括
|
|
-- 数据集处理后的地址
|
|
-- 处理过程
|
|
### 1.4 查看可用数据集
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 数据集列表
|
|
--- 数据集名
|
|
--- 处理过程
|
|
- 细节补充
|
|
-- 直接读取处理数据集的文件即可.
|
|
|
|
## 2. 模型接口
|
|
### 2.1 获取当前可用模型列表
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 可用模型列表
|
|
--- 模型名
|
|
--- 模型介绍
|
|
- 细节补充
|
|
-- 将模型列表写成配置文件, 调用方法时解析文件即可.
|
|
### 2.2 获取指定模型的描述
|
|
- 传递参数
|
|
-- 模型名
|
|
- 返回参数
|
|
-- 模型介绍
|
|
-- 可选参数及其要求
|
|
### 2.3 获取评价指标
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 评价指标列表
|
|
--- 评价指标名
|
|
--- 数据评价指标及其介绍
|
|
- 细节补充
|
|
-- 将评价指标写成文件, 需要时直接读取即可.
|
|
|
|
### 2.3 模型训练
|
|
- 传递参数
|
|
|
|
-- 训练集路径
|
|
-- 测试集路径
|
|
-- 验证集路径
|
|
-- 方法
|
|
--- 参数
|
|
-- 评价指标
|
|
- 返回参数
|
|
-- 训练结束/失败
|
|
- 细节补充
|
|
-- 训练模型时,新起一个线程训练, 训练结束时推送训练结束消息.
|
|
-- 模型保留当前效果最好的模型
|
|
-- 保存模型训练数据
|
|
-- 模型开始训练时,应该在全局变量/文件中记录模型正在训练,结束时改变状态.记录开始时间.便于查询当前正在训练的模型.
|
|
### 2.4 获取历史模型训练数据
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 历史模型名
|
|
-- 模型结果
|
|
- 细节补充
|
|
-- 通过保存的模型历史文件直接查询结果.
|
|
### 2.5 加载以训练模型并预测
|
|
- 传递参数
|
|
-- 模型名
|
|
-- 数据集路径
|
|
- 响应参数
|
|
-- 模型输出结果
|
|
|
|
- 细节补充
|
|
-- 一个机器学习模型对应一个数据集, 模型要和数据集对应
|
|
|
|
### 2.6 获取当前正在训练的模型列表
|
|
- 传递参数
|
|
-- 无
|
|
- 返回参数
|
|
-- 模型列表
|
|
--- 模型名
|
|
--- 训练参数
|
|
--- 开始时间
|
|
- 细节补充
|
|
-- 直接从全局变量/文件中查询正在训练的模型
|
|
|
|
### 2.7 模型优化
|
|
- 传递参数
|
|
-- 模型名
|
|
-- 训练数据集路径
|
|
-- 测试数据集路径
|
|
- 返回参数
|
|
-- 模型优化
|
|
|
|
|
|
## 3. 系统监控
|
|
### 3.1 获取当前cpu,gpu使用率
|
|
- 传递参数
|
|
-- 无
|
|
- 响应参数
|
|
-- 使用率列表
|
|
--- cpu/gpu
|
|
--- 使用率
|
|
- 细节补充
|
|
-- 保存cpu/gpu使用率的列表,绘制折线图等
|
|
|
|
### 3.2 获取系统模型训练历史记录
|
|
- 传递参数
|
|
-- 无
|
|
- 响应参数
|
|
-- 模型训练记录列表
|
|
--- 模型名
|
|
--- 训练起止时间
|
|
--- 训练数据集
|
|
--- 模型效果
|
|
|
|
### 3.3 或许系统操作日志
|
|
- 传递参数
|
|
-- 无
|
|
- 响应参数
|
|
-- 系统日志列表
|
|
|
|
|
|
## 补充说明
|
|
|
|
- 数据预处理,特征选择,模型都采用sklearn库中的方法.
|
|
-- 参考官方文档中的参数介绍.
|
|
- 模型注册,结果保存都采用MLflow库
|
|
|
|
# 开发计划
|
|
## 1.整理数据预处理和特征选择方法, 模型算法及其参数.
|
|
- 让AI整理,保存成yaml文件
|
|
- 1天
|
|
## 2. 实现数据预处理部分
|
|
- 顺带测试
|
|
- 1天
|
|
|
|
## 3.实现模型训练部分
|
|
|
|
- 试着进行模型优化
|
|
- AI 辅助开发
|
|
- 2天
|
|
## 4.实现系统监控部分
|
|
- 1天
|
|
## 5.实现系统接口
|
|
- 1天
|
|
## 6.整体测试及完善
|
|
- 1天
|
|
|
|
|
|
|
|
|