【2020華為云AI實(shí)戰(zhàn)營(yíng)】 基于ModelArts使用I3D模型實(shí)現(xiàn)視頻動(dòng)作識(shí)別

目標(biāo)： 實(shí)現(xiàn)一段根據(jù)視頻計(jì)算得到rgb.npy和flow.npy的代碼，并跑通I3D模型對(duì)新視頻的動(dòng)作識(shí)別預(yù)測(cè)

視頻動(dòng)作識(shí)別是指對(duì)一小段視頻中的內(nèi)容進(jìn)行分析，判斷視頻中的人物做了哪種動(dòng)作。視頻動(dòng)作識(shí)別與圖像領(lǐng)域的圖像識(shí)別，既有聯(lián)系又有區(qū)別，圖像識(shí)別是對(duì)一張靜態(tài)圖片進(jìn)行識(shí)別，而視頻動(dòng)作識(shí)別不僅要考察每張圖片的靜態(tài)內(nèi)容，還要考察不同圖片靜態(tài)內(nèi)容之間的時(shí)空關(guān)系。比如一個(gè)人扶著一扇半開的門，僅憑這一張圖片無(wú)法判斷該動(dòng)作是開門動(dòng)作還是關(guān)門動(dòng)作。

視頻分析領(lǐng)域的研究相比較圖像分析領(lǐng)域的研究，發(fā)展時(shí)間更短，也更有難度。視頻分析模型完成的難點(diǎn)首先在于，需要強(qiáng)大的計(jì)算資源來(lái)完成視頻的分析。視頻要拆解成為圖像進(jìn)行分析，導(dǎo)致模型的數(shù)據(jù)量十分龐大。視頻內(nèi)容有很重要的考慮因素是動(dòng)作的時(shí)間順序，需要將視頻轉(zhuǎn)換成的圖像通過(guò)時(shí)間關(guān)系聯(lián)系起來(lái)，做出判斷，所以模型需要考慮時(shí)序因素，加入時(shí)間維度之后參數(shù)也會(huì)大量增加。

進(jìn)入ModelArts?

點(diǎn)擊如下鏈接：https://www.huaweicloud.com/product/modelarts.html?， 進(jìn)入ModelArts主頁(yè)。點(diǎn)擊“立即使用”按鈕，輸入用戶名和密碼登錄，進(jìn)入ModelArts使用頁(yè)面。

進(jìn)入ModelArts

點(diǎn)擊如下鏈接：https://www.huaweicloud.com/product/modelarts.html?， 進(jìn)入ModelArts主頁(yè)。點(diǎn)擊“立即使用”按鈕，輸入用戶名和密碼登錄，進(jìn)入ModelArts使用頁(yè)面。進(jìn)入控制臺(tái)：

創(chuàng)建ModelArts Notebook

下面，我們?cè)贛odelArts中創(chuàng)建一個(gè)Notebook開發(fā)環(huán)境，ModelArts Notebook提供網(wǎng)頁(yè)版的Python開發(fā)環(huán)境，可以方便的編寫、運(yùn)行代碼，并查看運(yùn)行結(jié)果。

第一步：在ModelArts服務(wù)主界面依次點(diǎn)擊“開發(fā)環(huán)境”、“創(chuàng)建”

第二步：填寫notebook所需的參數(shù)：

第三步：配置好Notebook參數(shù)后，點(diǎn)擊下一步，進(jìn)入Notebook信息預(yù)覽。確認(rèn)無(wú)誤后，點(diǎn)擊“立即創(chuàng)建”

點(diǎn)擊右上角的"New"，然后創(chuàng)建TensorFlow 1.13.1開發(fā)環(huán)境。

1、“根據(jù)視頻計(jì)算得到rgb.npy和flow.npy”的代碼提供給你，點(diǎn)此鏈接進(jìn)行下載，下載完成后，回到課

程案例代碼，找到"import i3d"所在的那個(gè)cell，在這個(gè)cell之后新建一個(gè)cell，復(fù)制粘貼剛下載的代碼到

新建的cell中；--就是在cell21的位置后面新建一個(gè)cell，然后則會(huì)個(gè)cell把下載的代碼copy進(jìn)去。

with tf.Session() as sess:

...

rgb_sample = np.load(_SAMPLE_PATHS['rgb'])

tf.logging.info('RGB data loaded, shape=%s', str(rgb_sample.shape))

feed_dict[rgb_input] = rgb_sample

...

flow_sample = np.load(_SAMPLE_PATHS['flow'])

tf.logging.info('Flow data loaded, shape=%s', str(flow_sample.shape))

feed_dict[flow_input] = flow_sample

out_logits, out_predictions = sess.run(

[model_logits, model_predictions],

feed_dict=feed_dict)

2、剛復(fù)制的代碼并不能直接執(zhí)行，找到該塊代碼中帶有注釋 “# TODO，填寫視頻所在的路徑” 的那一

行，這一行是需要你填寫待預(yù)測(cè)視頻所在的路徑，課程案例dataset_subset目錄中已經(jīng)準(zhǔn)備好了多個(gè)視

頻，比如Bowling目錄下有32個(gè)視頻，本次作業(yè)請(qǐng)你使用Bowling目錄下其中任意一個(gè)視頻的路徑進(jìn)行

填寫；

3、視頻路徑填寫完成后，執(zhí)行該代碼塊，耗時(shí)30秒到兩分鐘（原視頻的總幀數(shù)越多，耗時(shí)就越長(zhǎng)）之

后，會(huì)生成兩個(gè)npy文件，接下來(lái)你需要修改下一個(gè)cell中的_SAMPLE_VIDEO_FRAMES參數(shù)值為視頻總

幀數(shù)減1，SAMPLE_PATHS參數(shù)中的路徑為剛才生成的兩個(gè)npy路徑;

4、修改完成后，執(zhí)行當(dāng)前cell及之后的代碼，完成新視頻的動(dòng)作識(shí)別預(yù)測(cè)。

附件： 作業(yè)1完整代碼.zip 118.75KB 下載次數(shù)：11次

EI ModelArts

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。