Sapphire

Semi-automatic data annotation platform based on pre-trained multi-modal holistic image segmentation network implementation.

Repo Structure

.
├── README.md
├── diagrams
├── assets
├── 开题报告
├── 模型图

以上目录中：

• diagrmas用于存放 Draw.io 绘制的流程图。
• assets用于存放可能需要保存的图片。
• 开题报告用于存放开题报告的相关文件。
• 模型图用于存放开题报告中用于前端界面演示的相关文件。

TODO

需求

• 完成数据集的创建和管理（具体包括敲定详细字段、处理数据集与数据的映射关系、数据集于用户的权限管理）。
• 完成单条数据的增删改查（具体包括数据字段定义、图像格式转换、数据集下图像的增删管理）。
• 完成标注图像的嵌入计算（具体包括SAM Embedding的部署计算、引入Kafka实现异步加载、支持多种SAM）。
• 更新数据集的标注数据（具体包括标注结果的处理、标注一致性的计算、用户标注质量的计算、用户工作量的计算）。
• 数据集的标注数据的可视化（具体包括标注结果的展示、标注结果的统计、标注结果的分析）。
• 系统统计数据的可视化（具体包括用户工作量的统计、用户标注质量的统计、数据集标注一致性的统计）。

客户端

• 初始化工程（目前使用Electron+React+TypeScript脚手架进行了搭建，当务之急是尝试移除TypeScript）。
• 造轮子。
• 测试Electron的本地数据存储、更新功能。
• 界面设计。
• 切图。

服务端

按照日期进行划分，每天完成一个小目标。

Day 1:

• 确定数据集字段、处理数据集与数据/用户的映射关系、数据集与用户的权限管理。
• 整个图床。
• 确定数据字段、图像格式转换以及相应的权限管理。

Day 2:

• 部署SAM的Embedding计算。
• 支持选择不同的SAM，这需要向数据添加相应的字段。
• 支持单个/批量读入图像进行Embedding计算。
• 引入Kafka实现异步加载，粒度为单个图像。
• 核对标注数据的结果字段，确定标注结果的处理方式。

Day 3:

• 完成标注数据的一致性计算，提供重发标注的功能。
• 计算用户工作量和标注质量。
• 引入SSE或其他技术实现对用户标注速度/质量的实时监控。
• （Optional）引入Doris进行分析数据的存储。
• 完成对各项分析数据的查询和统计。

其他