关于semantic的数据关联

[MatthewJin001]

很棒的工作！ 有semantic mapping的内容 但是semantic localization好像还没有融入
看到作者给出了数据关联的思路

[MatthewJin001]

过了一下您的代码，您给出的四个遗留问题
1、将语义信息加入到数据关联目标函数中
2、octomap 概率更新
3、大规模地图维护
4、导航

我比较关心的第一个问题，看了你推荐的语义信息融合三篇文章的后两篇
Towards Semantic SLAM using a Monocular Camera
Probabilistic Data Association for Semantic SLAM
VSO: Visual Semantic Odometry

方法文章是给出了，但在orbslam的框架下实现，作者有具体的思路吗 ，想和您交流一下 谢谢

[Ewenwan]

代码中是仅对关键帧进行目标检测（提高运行速度）。
如果想利用语义信息来提高定位精度的话，那需要对每一帧都进行语义上面的检测。

1. 如果使用语义分割的方法对每一帧都进行语义分割，那么建立关键点的时候就可以添加一个类别id信息，在构建数据关键目标函数的时候加入该信息的误差(那三篇中有一篇的思路就是这样)。
   2.如果是用目标检测来对每一帧进行目标画框的话，有一些目标框会重叠，我想可能还需要根据点云聚类分割的结果来给像素点打标签，然后采用上面的思路，不过有些点有标签，有些又没有，这样的匹配不知道要如何处理，或许就直接剔除给匹配点的语义误差。

[MatthewJin001]

谢谢 那三篇文章没有开源的原因 也是很有可能速度不够理想
关于导航 ，也想和你交流一下
1、你现在只是对关键帧构建的了语义地图，导航应该是实时的吧？ 那这个具有关键帧的语义地图意义何在？
2、关于语义地图的导航，这一块应该是比较新的，有没有推荐的文章？谢谢

[Ewenwan]

我电脑配置是好几年前的标准了，运行起来实时性还不错。

1. 起初的目的是为了给机械臂抓取目标物体提供位置信息(realtime的部分就是)。

2.后来融合进了SLAM，想着机器人的智能导航也可以用到了，比如说到某个指定的位置(语义信息)取一个什么东西再回来。

普通的SLAM地图导航我师兄之前做的是这个(单目lsd-slam地图构建与导航
https://github.com/ArmstrongWall/lsd-slam

语义地图的导航暂时未看到相关的论文代码之类的。