最近一年語義SLAM有哪些代表性工作？

目前 Semantic SLAM （注意不是 Semantic Mapping）工作還比較初步，可能很多思路還沒有打開，但可以預見未來幾年工作會越來越多。語義 SLAM 的難點在于怎樣設計誤差函數，將 Deep Learning 的檢測或者分割結果作為一個觀測，融入 SLAM 的優化問題中一起聯合優化，同時還要盡可能做到至少 GPU 實時。

下面是一些有代表性的文章，提供下載和簡單思路的理解，但個人精力、能力有限也歡迎大家隨時提供更多更好的文章。

1、《Probabilistic Data Association for Semantic SLAM》 ICRA 2017

語義 SLAM 中的概率數據融合，感覺應該算開山鼻祖的一篇了。這篇也獲得了 ICRA 2017 年的 Best Paper，可見工作是比較早有創新性的。文章中引入了 EM 估計來把語義 SLAM 轉換成概率問題，優化目標仍然是熟悉的重投影誤差。這篇文章只用了 DPM 這種傳統方法做檢測沒有用流行的深度學習的檢測網絡依然取得了一定的效果。當然其文章中有很多比較強的假設，比如物體的三維中心投影過來應該是接近檢測網絡的中心，這一假設實際中并不容易滿足。不過依然不能掩蓋其在數學上開創性的思想。

文章下載：probabilistic-data-association-for-semantic-slam

2、《VSO: Visual Semantic Odometry》 ECCV 2018

既然檢測可以融合，把分割結果融合當然是再自然不過的想法，而且直觀看來分割有更加細粒度的對物體的劃分對于 SLAM 這種需要精確幾何約束的問題是更加合適的。ETH 的這篇文章緊隨其后投到了今年的 ECCV 2018。這篇文章依然使用 EM 估計，在上一篇的基礎上使用距離變換將分割結果的邊緣作為約束，同時依然利用投影誤差構造約束條件。在 ORB SLAM2 和 PhotoBundle 上做了驗證取得了一定效果。這篇文章引入距離變換的思路比較直觀，很多人可能都能想到，不過能夠做 work 以及做了很多細節上的嘗試，依然是非常不容易的。但仍然存在一個問題是，分割的邊緣并不代表是物體幾何上的邊緣，不同的視角這一分割邊緣也是不停變化的，因此這一假設也不是非常合理。

文章下載：vso-visual-semantic-odometry

3、《Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving》 ECCV 2018

港科大沈邵劼老師團隊的最新文章，他們的 VINS 在 VIO 領域具有很不錯的開創性成果。現在他們切入自動駕駛領域做了這篇雙目語義3D物體跟蹤的工作，效果還是很不錯的。在沈老師看來，SLAM 是一個多傳感器融合的框架，RGB、激光、語義、IMU、碼盤等等都是不同的觀測，所以只要是解決關于定位的問題，SLAM 的框架都是一樣適用的。在這篇文章中，他們將不同物體看成不同的 Map，一邊重建一邊跟蹤。使用的跟蹤方法仍然是傳統的 Local Feature，而 VIO 作為世界坐標系的運動估計。語義融合方面，他們構造了4個優化項：

最終取得了很好的效果。

演示地址：https://www.youtube.com/watch?v=5_tXtanePdQ

文章下載：stereo-vision-based-semantic-3d-object-and-ego-motion-tracking-for-autonomous-driving

4、《Long-term Visual Localization using Semantically Segmented Images》ICRA 2018

這篇論文講得比較有意思，它不是一個完整的SLAM系統，不能解決Mapping的問題。它解決的問題是，當我已經有了一個很好的3D地圖后，我用這個地圖怎么來定位。在傳統方法中，我們的定位也是基于特征匹配的，要么匹配 Local Feature 要么匹配線、邊等等幾何特征。而我們看人在定位時的思維，其實人看不到這么細節的特征的，通常人是從物體級別去定位，比如我的位置東邊是某某大樓，西邊有個學校，前邊有個公交車，我自己在公交站牌的旁邊這種方式。當你把你的位置這樣描述出來的時候，如果我自己知道你說的這些東西在地圖上的位置，我就可以基本確定你在什么地方了。這篇文章就有一點這種意思在里邊，不過它用的觀測結果是分割，用的定位方法是粒子濾波。它的地圖是三維點云和點云上每個點的物體分類。利用這樣語義級別的約束，它仍然達到了很好的定位效果。可想而知這樣的方法有一定的優點，比如語義比局部特征穩定等；當然也有缺點，你的觀測中的語義信息要比較豐富，如果場景中你只能偶爾分割出一兩個物體，那是沒有辦法work的。

演示地址：https://www.youtube.com/watch?v=M55qTuoUPw0

文章下載：long-term-visual-localization-using-semantically-segmented-images

AI

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。