連日來多面追蹤以幫助AI尾隨動(dòng)作向來一不斷的有小伙伴關(guān)注，不僅如此還衍生出了各大相關(guān)話題，那么跟著小編來看看多面追蹤以幫助AI尾隨動(dòng)作以及它的相關(guān)資訊吧！
在最近的2018年計(jì)算機(jī)視覺和模式識(shí)別會(huì)議上，我介紹了一種用于多面跟蹤的新算法，這是理解視頻的重要組成部分。為了理解涉及人的視覺序列，盡管相機(jī)角度，照明和外觀發(fā)生了變化，但AI系統(tǒng)必須能夠跨場(chǎng)景跟蹤多個(gè)人。新算法使AI系統(tǒng)可以完成此任務(wù)。
該領(lǐng)域以前的工作主要集中在跟蹤一個(gè)鏡頭中的一個(gè)人或幾個(gè)人。下一步是在由許多不同鏡頭組成的整個(gè)視頻中跟蹤多個(gè)人。該任務(wù)具有挑戰(zhàn)性，因?yàn)槿藗兛赡軙?huì)反復(fù)離開并重新進(jìn)入視頻。得益于衣櫥，發(fā)型和妝容，它們的外觀會(huì)發(fā)生巨大變化。他們的姿勢(shì)改變了，他們的臉可能會(huì)被視角，照明或場(chǎng)景中的其他物體部分遮擋。攝像機(jī)的角度和變焦也會(huì)發(fā)生變化，諸如圖像質(zhì)量差，光線不足和運(yùn)動(dòng)含糊之類的特征可能會(huì)增加任務(wù)的難度。現(xiàn)有的人臉識(shí)別技術(shù)可能會(huì)在更受約束的情況下工作，在這些情況下，圖像質(zhì)量很好并且可以顯示一個(gè)人的全臉，但是在不受約束的視頻中卻失敗了，
一種多面跟蹤的方法
我們與羅格斯大學(xué)統(tǒng)計(jì)與生物統(tǒng)計(jì)學(xué)系教授Ying Hung教授合作，開辟了一種方法來識(shí)別視頻序列中的不同個(gè)體，并識(shí)別他們是否離開，然后重新輸入視頻，即使他們看起來很不一樣。為此，我們首先為視頻中浮現(xiàn)的人創(chuàng)建小軌跡。小軌跡基于多個(gè)身體部位(面部，頭部和肩膀，上身和整個(gè)身體)的同時(shí)浮現(xiàn)，因此即使在人們不完全看到相機(jī)的情況下(例如，臉部被轉(zhuǎn)過身)，也可以對(duì)其進(jìn)行跟蹤遠(yuǎn)離或被其他物體遮擋)。我們將多人跟蹤問題公式化為具有兩種類型的邊緣：εs和εt的圖結(jié)構(gòu)G =(ν，ε)。空間邊緣εs表示一幀內(nèi)候選人的不同身體部位的聯(lián)系，并用于生成候選人的假設(shè)狀態(tài)。時(shí)間邊εt表示相同的連接相鄰幀上的身體部位，并用于估量每個(gè)人在不同幀中的狀態(tài)。我們使用每個(gè)人的Tracklet的人臉邊界框生成人臉Tracklet，并提取人臉特征進(jìn)行聚類。
該方法的第二部分連接屬于同一個(gè)人的小軌跡。圖1(b)顯示了音樂視頻中提取的VGG臉部特征的二維tSNE可視化。它表明，與所有特征(b1)相比，大圖像(b)的特征更具判別力。通過分析對(duì)象的面部圖像分辨率和提取的深層特征的相對(duì)距離，我們?cè)谛≤壽E之間建立了明確的聯(lián)系。此步驟將生成初始聚類結(jié)果。經(jīng)驗(yàn)研究表明，基于CNN的模型對(duì)圖像含糊和噪聲敏感，因?yàn)榫W(wǎng)絡(luò)通常是針對(duì)高質(zhì)量圖像進(jìn)行訓(xùn)練的。我們使用高斯過程(GP)模型來生成可靠的最終聚類結(jié)果，以補(bǔ)償深度特征的局限性并捕獲數(shù)據(jù)的豐富性。與基于CNN的方法不同，GP模型提供了靈便的參數(shù)方法來捕獲底層系統(tǒng)的非線性和時(shí)空相關(guān)性。因此，將其與基于CNN的方法相結(jié)合以進(jìn)一步減小尺寸而又不丟失復(fù)雜的和導(dǎo)入的時(shí)空信息是一種有吸引力的工具。我們應(yīng)用GP模型檢測(cè)異常值，刪除異常值與其他軌跡線之間的連接，然后將異常值重新分配給異常值斷開后形成的精煉簇，從而產(chǎn)生高質(zhì)量的簇。
音樂視頻中的多人臉跟蹤
為了評(píng)估我們方法的效果，我們將其與最新方法進(jìn)行了比較，以分析無約束視頻的具有挑戰(zhàn)性的數(shù)據(jù)集。在一系列實(shí)驗(yàn)中，我們使用了音樂視頻，該視頻具有很高的圖像質(zhì)量，但場(chǎng)景，相機(jī)設(shè)置，相機(jī)運(yùn)動(dòng)，化妝和配件(例如眼鏡)的變化卻非常明顯。在聚類準(zhǔn)確性和跟蹤方面，我們的算法優(yōu)于其他方法。與其他方法相比，使用本算法的聚類純度要好得多(使用音樂視頻之一，本算法的聚類純度為0.86，最接近的競(jìng)爭(zhēng)對(duì)手為0.56)。此外，我們的方法無需人工視頻分析即可自動(dòng)確定要跟蹤的人數(shù)或人數(shù)。
對(duì)于大多數(shù)指標(biāo)，包括召回率和精度，我們算法的跟蹤性能也優(yōu)于最新技術(shù)。我們的方法顯著增加了最受跟蹤的(MT)并減少了身份切換(IDS)和跟蹤片段(Frag)的實(shí)例。以下視頻顯示了幾個(gè)音樂視頻中的示例跟蹤結(jié)果。我們的算法可以可靠地跟蹤整個(gè)無約束視頻中不同鏡頭上的多個(gè)人，即使有些人的面部表情非常相似，多個(gè)主要歌手浮現(xiàn)在雜亂無章的觀眾背景中，或者某些人臉被嚴(yán)峻遮擋。這種在不受約束的視頻中進(jìn)行多面跟蹤的框架是改進(jìn)視頻的重要一步理解。該算法及其性能在我們的CVPR論文“無約束視頻中多面跟蹤的先驗(yàn)方法”中有更詳細(xì)的描述。