需要更換手機了：由 TensorFlow Lite 構建無人駕駛微型汽車

每輛微型汽車都裝配有一部 Pixel 手機，使用手機上的攝像頭檢測和理解周圍的信號。手機使用了 Pixel Neural Core 邊緣計算芯片（ Edge TPU 支持的機器學習），可感應車道、避免碰撞和讀取交通標志。

相比于基于云計算來實現視頻處理和物體檢測，邊緣計算可以減少延遲對控制的影響（也許在5G下延遲影響小一點）。

下圖是整個展品的布局，模仿了一個小型城鎮廣場周圍的交通環境。參觀者可以通過手機端的一個應用模擬“站點”來選擇出現的目的地。展品中的微型車就可以駕駛到目的地，整個過程用戶可以查看車輛周圍以及所檢測到的物體。

車模所有對外界的感知都來自于微型車膜前面的手機攝像頭，有它獲取前方的圖片并手機內部署的神經網絡完成車道保持、停車定位、障礙檢測等。通過手機底部的USB-C接口擴展來與底層控制板通訊，完成電機控制等。

控制器的模型很簡單，下面代碼就給出了網絡的結構構成。

net_in = Input(shape = (80, 120, 3)) x = Lambda(lambda x: x/127.5 - 1.0)(net_in) x = Conv2D(24, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(36, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(48, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(64, (3, 3), padding="same",activation='elu')(x) x = Conv2D(64, (3, 3), padding="same",activation='elu')(x) x = Dropout(0.3)(x) x = Flatten()(x) x = Dense(100, activation='elu')(x) x = Dense(50, activation='elu')(x) x = Dense(10, activation='elu')(x) net_out = Dense(1, name='net_out')(x) model = Model(inputs=net_in, outputs=net_out)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

通過在軌道上設置多個路徑點， 微型汽車 可以行駛到不同的地點，并從中收集數據。在此模擬器中，我們每 50 毫秒收集一次圖像數據和轉角數據。

大家都知道，軟件虛擬出的場景圖片和實際拍攝到的圖片會有很大的差別，包括光線、周圍環境以及其他的噪聲。為了使得訓練的神經網絡能夠適應實際要求，需要對數據進行增強。

他們將以下變量添加到場景中：隨機的 HDRI 球體（具有不同的旋轉模式和曝光值）、隨機的環境亮度和顏色以及隨機出現的車輛。

下圖給出了經過訓練之后，卷積神經網絡的第一層對于輸入圖片的輸出。可以看出，它已經能夠很好地將圖片中道路信息邊緣信息能夠很好的提取，對于背景可以進行有效的壓制。

使用神經網絡進行控制的一個最大的問題，就是車模有時會出現莫名其妙的動作。比如下面這個場景，明明已經成功的拐過彎道，進入平坦順直的道路，車模則抽風地沖出跑道了。

這主要是因為所訓練的樣本沒有能夠均勻包含各種道路情況，模型比較脆弱。

為此，在場景中添加了各種形狀的曲線，以豐富原來訓練數據庫中大多數的直線軌道數據。

功夫不負有心人，修正數據集不均衡的問題后，車輛便開始能夠在彎道處正確轉向。

似乎理性的增加數據可以提高車模的性能，但有時候僅僅采用小的技巧便可以解決大問題。比如當微型車模運行到展品邊緣時，就會看到很多展臺外面的場景。外面的場景多變，很難通過數據來表征這些變化。怎么辦？

將輸入圖像的下面四分之一切出來，送入神經網絡進行訓練，就有效化解了上述的問題。

為了能夠進行車輛定位以及檢測其它干擾車輛，在手機Pixcel 4上的Neural Core Edge TPU上運行了 ssd_mobilenet_edgetpu 模型，這是來自 TensorFlow 目標檢測模型庫 。每幀檢測時間僅用6.6毫秒，在實時應用中游刃有余。

使用神經網絡最大的工作量是在準備訓練數據集合。之后的網絡搭建和訓練則非常容易，分分鐘搞定。檢查一下，網絡識別交通標志的效果還是很不錯的。

最后一個工作，就是需要將網絡部署到手機平臺上。這需要借助于TensorFlow Lite 將模型進行個數轉換，并在Android下編寫相應的Python腳本來進行部署。

下面給出了嵌入在車體內不的控制板、電機、電池等配件。

的確，一輛小小的微型車膜，包括了計算機視覺、深度學習、傳感器融合、定位、路徑規劃、控制、系統集成等多個學科內容。通過這個環節幾乎可以將一個專業所需要學習的多個課程集成在一起。這不，在Udacity平臺上，還真的提供了 無人駕駛汽車納米學位項目 供希望獲得全面培訓的工程師和學生學習。

今天下午，教育部自動化類高等教學委員會召開了院長會議，其中李少遠老師對今年大學生學科競賽實踐教學進行了總結。以在剛剛過去的暑期中，新冠疫情影響下，成功舉辦的全國大學生智能車競賽為例，探索面向未來實踐發展。希望智能車競賽為工科學生的大學期間專業課程實踐提供更好的鍛煉平臺。

AI TensorFlow 交通智能體 自動駕駛

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。