摘 要：為研究基于雙目立體視覺的人眼追蹤技術(shù)的發(fā)展情況，文章從專利信息挖掘與分析角度對(duì)基于雙目立體視覺的人眼追蹤技術(shù)的全球?qū)＠爸袊鴮＠M(jìn)行分析，了解該技術(shù)近20年的發(fā)展趨勢、地域分布、各國發(fā)展態(tài)勢、全球重要申請(qǐng)人、中國重要申請(qǐng)人等，并進(jìn)一步分析應(yīng)用于裸眼3D場景的基于雙目立體視覺的人眼追蹤專利實(shí)現(xiàn)人眼追蹤所采用的裝置類型、光源類型以及實(shí)現(xiàn)人眼追蹤精度和速度提升的手段。

　　關(guān)鍵詞：人眼追蹤;雙目立體視覺;專利分析

　　引 言

　　人眼追蹤技術(shù)是一種通過計(jì)算機(jī)視覺對(duì)人眼進(jìn)行定位和跟蹤的技術(shù)，在人工智能、心理學(xué)、人機(jī)交互設(shè)備、智能交通系統(tǒng)、廣告研究、體育運(yùn)動(dòng)研究等領(lǐng)域具有廣泛應(yīng)用[1]。人眼追蹤應(yīng)用在駕駛員疲勞檢測、裸眼3D呈現(xiàn)、廣告研究等領(lǐng)域需要滿足追蹤精度高、實(shí)時(shí)性強(qiáng)等要求，而雙目立體視覺系統(tǒng)能夠?qū)μ囟繕?biāo)進(jìn)行信息提取，具有工作量小、處理速度快、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，其在動(dòng)態(tài)目標(biāo)識(shí)別跟蹤等領(lǐng)域具有較高應(yīng)用價(jià)值[2]。基于雙目立體視覺系統(tǒng)的人眼追蹤技術(shù)是利用布設(shè)的雙目攝像頭采集圖像信息，通過攝像頭標(biāo)定、建立人眼3D模型、特征提取、視線方向計(jì)算等步驟實(shí)現(xiàn)人眼的定位和追蹤[3，4]。

　　專利文件是申請(qǐng)人對(duì)其技術(shù)進(jìn)行公開以獲得專利權(quán)保護(hù)的一類法律文件，同時(shí)，因?yàn)閷＠募菍?duì)技術(shù)的公開，其也是一類技術(shù)文件。專利文件以文字、圖表等形式記載技術(shù)方案，能夠較為全面地反映研發(fā)人員在創(chuàng)新中發(fā)現(xiàn)的新問題、用以解決該問題的技術(shù)手段及取得的技術(shù)效果。因此，本文從專利信息挖掘與分析視角，對(duì)基于雙目立體視覺的人眼追蹤相關(guān)專利進(jìn)行分析以研究該技術(shù)的發(fā)展情況，同時(shí)，本文進(jìn)一步研究了在裸眼3D顯示領(lǐng)域的雙目立體視覺的人眼追蹤技術(shù)情況。

　　1 全球?qū)＠治?/p>

　　本文檢索基于incoPat數(shù)據(jù)庫，截止到2021年4月，共檢索到雙目立體視覺人眼追蹤全球?qū)＠? 261條，申請(qǐng)?zhí)柡喜⒑蟮玫綄＠? 008件。

　　雙目立體視覺人眼追蹤專利的年度申請(qǐng)量趨勢如圖1所示，盡管2007和2012、2013年的專利數(shù)量略有回落，但該技術(shù)的專利在近20年總體呈現(xiàn)上升趨勢，其中，2009年起專利數(shù)量持續(xù)快速增長，并在2017年達(dá)到最高峰，而2018—2019年專利數(shù)量有所減少，2020—2021年的數(shù)據(jù)因部分專利未公開而不參與趨勢分析討論。可見，近20年來雙目立體視覺人眼追蹤技術(shù)在經(jīng)過快速發(fā)展后進(jìn)入一個(gè)較為平穩(wěn)的階段。

　　從地域分布看，雙目立體視覺人眼追蹤專利主要分布于中國(311件)、日本(198件)、美國(182件)、世界知識(shí)產(chǎn)權(quán)組織WIPO(105件)、韓國(90件)、歐洲專利局(60件)等國家和地區(qū)。其中，中、日、美、韓的總和專利數(shù)量占該技術(shù)全部專利數(shù)量的77.5%?？梢?，該技術(shù)在中日美韓四國的研究和應(yīng)用較為活躍。由圖2雙目立體視覺人眼追蹤專利的主要國家專利年度申請(qǐng)量趨勢圖可知，主要國家的專利年度申請(qǐng)量在近20年間均呈現(xiàn)了由少到多增長并在達(dá)到頂峰后有所回落的趨勢;在2002—2005年間，日本的專利數(shù)量高于其他國家的專利數(shù)量，其專利數(shù)量的高峰出現(xiàn)在2012年也早于其他國家，這表明該技術(shù)在日本最早受到重視并最早達(dá)到“飽和”;中、美的起步雖然晚于日本，但在2010、2011年逐漸超過日本，進(jìn)一步比較中、美兩國的趨勢線可知，2011年之前，美國的專利數(shù)量基本多于中國，2011—2013年間中國逐漸趕超，并在2013年后完全超過美國，表明該技術(shù)在中國從2011年進(jìn)入活躍期。

　　以專利數(shù)量對(duì)全球申請(qǐng)人進(jìn)行排序，排名前九的申請(qǐng)人中，日本申請(qǐng)人3個(gè)，包括佳能(排名第一)、松下(排名第三)、索尼(排名第三);韓國申請(qǐng)人3個(gè)，包括三星(排名第三)、韓國電子通信研究院(排名第四);中國申請(qǐng)人2個(gè)，包括京東方(排名第三)、深圳超多維(排名第四);芬蘭申請(qǐng)人1個(gè)，為諾基亞(排名第五);瑞典申請(qǐng)人1個(gè)，為tobii(排名第六)?？梢?，該技術(shù)的全球研發(fā)主力多為涉及多種綜合業(yè)務(wù)的知名跨國公司，僅有兩家專注于人眼追蹤技術(shù)的企業(yè)，其中，深圳超多維是一家致力于VR/AR等創(chuàng)新視覺科技和裸眼3D顯示技術(shù)的研究、應(yīng)用、創(chuàng)新產(chǎn)品的研發(fā)和生產(chǎn)的企業(yè)，tobii是一家致力于眼動(dòng)儀與眼動(dòng)技術(shù)研究的企業(yè)。

　　2 中國專利分析

　　為了解該技術(shù)在中國的發(fā)展情況，本文進(jìn)一步對(duì)雙目立體視覺人眼追蹤的中國專利進(jìn)行分析。在311件中國專利中，實(shí)用新型專利30件，占比9.3%，發(fā)明專利281件，占比90.7%，這是由于發(fā)明專利既可以對(duì)產(chǎn)品結(jié)構(gòu)進(jìn)行保護(hù)，又可以對(duì)方法進(jìn)行保護(hù)，而雙目立體視覺人眼追蹤的算法是相當(dāng)重要的一個(gè)部分，因此，申請(qǐng)人更傾向于申請(qǐng)發(fā)明專利;實(shí)用新型專利能夠?qū)Y(jié)構(gòu)的改進(jìn)進(jìn)行保護(hù)且獲權(quán)周期短，對(duì)于雙目立體視覺人眼追蹤的裝置系統(tǒng)等則適合申請(qǐng)實(shí)用新型專利。另外，該技術(shù)的發(fā)明專利已授權(quán)107件，發(fā)明專利授權(quán)率僅為38.0%，而根據(jù)2020年國家知識(shí)產(chǎn)權(quán)局年報(bào)的統(tǒng)計(jì)數(shù)據(jù)，2020年發(fā)明專利授權(quán)率為47.3%[5]，可見該技術(shù)的中國專利授權(quán)難度相對(duì)較大。

　　雙目立體視覺人眼追蹤中國專利在各省份的分布情況如圖3所示，排名前四的廣東、北京、上海、江蘇的專利申請(qǐng)數(shù)量在平均值31.7件之上，而排名第五至第十的省市的專利數(shù)量在平均值之下。其中，排名第一的廣東為第一梯隊(duì)，專利數(shù)量遙遙領(lǐng)先，突破了100件;排名第二的北京為第二梯隊(duì)，數(shù)量也遠(yuǎn)超第三梯隊(duì)的上海和江蘇;排名第五至第十的6個(gè)省市為第五梯隊(duì)，6省的專利數(shù)量總和僅相當(dāng)于北京的專利數(shù)量，遠(yuǎn)不及廣東一省的專利數(shù)量?？梢?，該技術(shù)的活躍度集中，主要活躍于國內(nèi)的經(jīng)濟(jì)發(fā)達(dá)地區(qū)。

　　從中國專利的申請(qǐng)人類型看，個(gè)人申請(qǐng)人占比為10.4%，近90%的申請(qǐng)人為企事業(yè)單位，其中，企業(yè)、高校、科研單位的占比分別為69.0%、16.5%、3.16%。對(duì)中國專利的主要申請(qǐng)人進(jìn)行排序，深圳超多維排名第一，京東方排名第二，上海大學(xué)、北京芯海視界三維科技有限公司和視覺技術(shù)創(chuàng)投私人有限公司并列第三，華南理工大學(xué)、維沃移動(dòng)、張家港康得新光電材料有限公司并列第四，上海青研科技有限公司、廣州杏雨信息科技有限公司并列排名第五。

　　對(duì)比排名前二的申請(qǐng)人，從全球?qū)＠麛?shù)量看，京東方專利數(shù)量多于深圳超多維，京東方在擁有12件中國專利的基礎(chǔ)上還擁有6件海外專利，包括美國4件、日本1件、WIPO1件，即33%以上的專利布局于海外，表明京東方更重視海外市場和海外專利布局，而深圳超多維則主攻國內(nèi)市場，專利均在國內(nèi)布局。另外，中國專利的重要申請(qǐng)人包括上海大學(xué)、華南理工大學(xué)兩所高校，而根據(jù)在前對(duì)申請(qǐng)人類型的分析可知高校申請(qǐng)人占比不大，卻有兩所高校能夠成為排名第三、四的重要申請(qǐng)人，可見，高校在雙目立體視覺人眼追蹤技術(shù)研究上具有獨(dú)特優(yōu)勢。此外，維沃移動(dòng)通信是知名手機(jī)品牌“VIVO”的廠商，其專利均應(yīng)用于手機(jī)，并同時(shí)涉及人臉追蹤和人眼追蹤，可見該技術(shù)的發(fā)展與手機(jī)等智能設(shè)備的發(fā)展密切相關(guān)。排名第三的北京芯海視界三維科技有限公司是視覺技術(shù)創(chuàng)投私人有限公司在華投資子公司，是一家專注從事立體顯示器件研發(fā)的企業(yè)。張家港康得新光電材料有限公司、廣州杏雨信息科技有限公司都申請(qǐng)了涉及內(nèi)窺鏡裸眼3D顯示的人眼追蹤專利。上海青研科技有限公司是專業(yè)從事眼動(dòng)技術(shù)(眼球追蹤)的公司，其眼動(dòng)技術(shù)的軟硬件產(chǎn)品包括VR眼動(dòng)實(shí)驗(yàn)、VR戒毒等。

　　3 關(guān)鍵技術(shù)分析

　　雙目立體視覺人眼追蹤根據(jù)所采用的裝置類型，可分為穿戴式和遙測式[6];根據(jù)雙目立體視覺人眼追蹤裝置的工作光照環(huán)境，可分為紅外光源系統(tǒng)和自然光源系統(tǒng)[7]。為了研究雙目立體視覺人眼追蹤技術(shù)在裸眼3D方面的應(yīng)用以及算法改進(jìn)，進(jìn)一步檢索了應(yīng)用于裸眼3D場景的雙目立體視覺人眼追蹤的專利以及采用圖像處理技術(shù)的雙目立體視覺人眼追蹤的專利，截至2021年4月，檢索得到70件專利。對(duì)以上專利去噪、合并、去重后進(jìn)行人工標(biāo)引，按照涉及穿戴式、遙測式、紅外光源、自然光源4個(gè)方面進(jìn)行歸類統(tǒng)計(jì)如下。

　　如圖4所示，25件采用圖像處理技術(shù)的雙目立體視覺人眼追蹤專利中，44%的專利為穿戴式，56%的專利為遙測式，表明穿戴式和遙測式設(shè)備的應(yīng)用程度較為接近。而45件應(yīng)用于裸眼3D場景的雙目立體視覺人眼追蹤的專利所采用的設(shè)備均為遙測式，這與裸眼3D的特殊要求有關(guān)。從光源類型區(qū)分，采用自然光源的專利數(shù)量遠(yuǎn)大于紅外光源，這是由于自然光源無需額外配置光源減少了設(shè)備成本、利于推廣應(yīng)用，可見，采用自然光源系統(tǒng)的雙目立體視覺人眼追蹤是研究的熱點(diǎn)。當(dāng)然，自然光源系統(tǒng)也面臨著適應(yīng)復(fù)雜光照環(huán)境、攝像機(jī)精確標(biāo)定、建立可靠模型等方面的挑戰(zhàn)。

　　對(duì)采用遙測式且自然光源的雙目立體視覺人眼追蹤專利按照涉及“人臉與人眼檢測”“僅人眼檢測”“結(jié)合特殊標(biāo)記”“涉及攝像機(jī)標(biāo)定”這4個(gè)技術(shù)手段進(jìn)行5個(gè)方面的技術(shù)功效劃分，得到圖5的技術(shù)功效氣泡圖。

　　在裸眼3D中應(yīng)用人眼追蹤技術(shù)是為了快速、準(zhǔn)確地獲取觀看者的視線位置，從而根據(jù)觀看者的視線進(jìn)行3D視覺呈現(xiàn)，因此，應(yīng)用于裸眼3D場景的人眼追蹤需要滿足追蹤精度高和追蹤實(shí)時(shí)性佳的要求。人眼追蹤的精度和速度提升受多種因素影響，包括：建立可靠的眼睛模型、精確的攝像機(jī)標(biāo)定等，其中，只有實(shí)現(xiàn)攝像機(jī)精確標(biāo)定才能有效地利用模型進(jìn)行可靠識(shí)別追蹤。圖5可知，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中37.5%的專利都涉及了對(duì)于攝像機(jī)的標(biāo)定。而在人眼追蹤的手段方面也可以采用多種手段，其中之一是采用由粗到精的追蹤檢測策略，即，在圖像中先檢測和定位人臉，隨后在人臉區(qū)域內(nèi)定位人眼，進(jìn)而檢測人眼的特征，該追蹤檢測策略是一種較為常見的提高人眼檢測可靠性的手段。由圖5可知，相較于“僅人眼檢測”，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中較多的專利采用了“人臉與人眼檢測”的技術(shù)手段，并且，采用“人臉與人眼檢測”的技術(shù)手段更利于提升追蹤精度和速度。