`````````````````````````````````````````````````````````````````````````````````````````導盲機器人研發

Development of a Guide-dog Robot for Blind Pedestrians

   研究生:瑞祥          指導教授:宋開泰教授  

    

.導盲機器之背景介紹

白色柺杖(White cane)是最原始至今也仍是盲人最普遍使用的行進輔助工具,藉著一根柺杖盲人可以察覺出地上的障礙物、路面的不平坦、坑洞與台階等等環境中的狀況,然而要具有此能力必須經歷相當長久的訓練與學習。而導盲犬提供盲人行進輔助的另一個選擇,然而訓練的不易、耗時及成本高昂則使得導盲犬的使用率在各國普遍都不高,例如日本的導盲犬協會曾在1991年做過統計,在250000的盲人中有20000人若有導盲犬的協助就可獨立生活,然則實際導盲犬的數量卻只有700在台灣,盲人重建院在1999年也做過類似的統計,有50000人需要導盲犬的協助,但是在台灣卻僅有一隻導盲犬。因此如何免去漫長的適應與學習,開發方便實用且可大量製造低成本之導盲機器就成為重要的研究主題。從20多年前就有不少的學者及實驗室投入設計與研究的工作,一直持續到今日,導盲機器類型大致上可分為四類:

(1) 電子式行進輔具(Electronic travel aids):

早期導盲機器的研究多半是設計一些裝置有感測器的小型電子裝置,並且以盲人可以接受的型式將感測器的偵測結果傳達給盲人,例如: 使用聲音的高低頻變化或振動。其目的是讓盲人在環境中具有比較安全及快度的行動能力,因此只注重局部性閃避障礙物(Local obstacle avoidance)而不考慮全面性導航(Global navigation),這些裝置或元件統稱為電子式行進輔具(Electronic travel aids: ETAs),例如: 1973Benjamin 發表的C-5 Laser Cane1977 PressyMowat Sensor1980Bissit Heyes共同發表的Notiingham Obstacle Detector(NOD) 以及1974KayBinaural Sonic Aid(Sonicguide)。此外也有少部分能夠提供盲人作全面性的導航、準確估測使用者位置的ETAs,如1982Brabin 發表的Talking SignalsKellyAckerman1974年公同發表的Sona SystemMOBIC project

(2) 移動式機器人(Mobile robot)

移動式機器人目前廣泛應用在工廠自動化中作物件搬運之用途,由於安全與自動化的要求,移動式機器人或自走式機器人一般都具備有多種感測器、計算能力強大之控制電腦及高度之智慧能力,使得機器人可以在複雜的環境中進行自主性的導航,例如: 位置估測、路徑規劃、軌跡追蹤、障礙物閃避等等複雜的功能。因此就功能性而言只要加強人機介面的設計,移動式機器人即可適用於導盲之用途。如Yamanashi UniversityHITOMIHARUNOBU一系列的移動式機器人、NavChairPAM-AID都是用於導盲用途之大型自走式機器人。

(3) 穿戴式行進輔具:

NavBelt ,顧名思義就一種具有導航功能的腰帶,由BorensteinKoren共同發表,算是一具有移動式機器人功能的ETANavbelt的設計理念來自於移動式機器人與盲人兩者在運動上的相似性。移動式機器人與盲人同樣具有執行運動、行進的能力,但是卻也同樣需要一個偵測系統來偵測在行進路徑上的障礙物並加以閃避,因此直接將移動式機器人的障礙物閃避系統(Obstacle avoidance system)穿載在盲人身上,盲人成為半被動地接受障礙物閃避系統命令的運動載具,並且可提供比移動式機器人更靈活的行動能力。

(4) 導引式手杖:

較為新穎的導盲機器設計是在柺杖的末梢接上一具載有許多感測器、小型控制電腦而下方裝有導輪的移動式平台,也就是將原本移動式機器人的動力系統移除,保留智慧感測的部分,這樣的架構特點是:

a.       捨棄動力裝置,包括: 馬達、齒輪機構、驅動器、電池、控制卡等,可充分減少機器的體積重量及盲人的負擔,大大提高機器的可攜性。

b.      系統複雜度減小之後,可以著重在感測系統與導航輔助技術的設計上,如位置估測、路徑規劃、軌跡追蹤、障礙物閃避等等。

c.       輪子柺杖(Wheel-cane)的機構設計相對於NavBelt,在心理層面上可以給予盲人較大的依賴感與安全感。因此導引式手杖的設計可以禰補目前柺杖、電子式行進輔具、移動式機器人及NavBelt所具之缺點。目前已存在之此類型機器有BorensteinGuideCanePeter AignerRobotic cane

這樣的架構不論在體積及質量上對一個盲人而言都已具有相當高的可攜性,同時又不須像ETAs般需要盲人親自拿著感測器對環境進行掃描,即可得到大量的環境資訊。而且相較於NavBelt,更可以提供盲人類似與導盲犬之間心理上的安全感和依賴感,因此這樣的架構在導盲機器人的研究上是具有相當潛力的。  

. 影像避碰之背景介紹

自走式機器人或導盲機器人是否具有實用性的價值,「安全」是其先決且最基本的條件。因此一個好的障礙物偵測與閃避(Obstacle detection and avoidance)方法就一直是參與移動式機器人研究的學者關心的主題。在以往的研究中導盲機器的障礙物偵測與閃避的功能多在以往的研究中多是建立在主動式感測器資訊上,如: 超音波、雷射、紅外線等,這些感測器資訊能夠提供精確的距離資訊(Range information),但是在有限的感測器數目及計算資源下,卻無法提供物體在空間中的幾何排列、形狀及運動狀態的資訊,而這些資訊對於導盲機器人實際使用在一般場合中,如: 人潮擁擠之公共場合、人行道上,有助於提高導盲機器人系統或自動導航車系統在未知環境中執行巡航任務時之穩健性。相對地,影像就是獲得這些資訊最好的工具。隨著計算機運算速度與資料處理能力的提昇,電腦視覺越來越普遍使用在自動導航的機器人系統上,經由視覺感測器,如: CCD 攝影機,所獲得的連續影像,經過特殊的影像處理技術,可以辨認出場景中物體的種類、形狀、大小、遠近等資訊,也可建構出整個場景的3D結構,因此對於導盲機器人來說,具有一個即時穩健的影像導航避障控制系統並配合精確之定位系統,就足夠在未知環境中成功執行基本之導盲任務。

實際盲人有行進輔助上的大量需求但是導盲犬的普及率卻低,再加上積體電路技術的進步促使體積小速度快的單板控制電腦的出現以及感測器精確度的提昇,促使我們認為進行導盲機器人設計及功能的研究是存在著相當的必要性、實用性及可行性,而且基於這些性質的考量上,我們希望導盲機器人在最小的規格的限制上仍然具有強大之功能,因此在規劃僅具有單CCD攝影機影像系統上,我們以光流估測法則的即時避障應用設計作為主要之研究主題。目前許多光流估測法則以純粹做影像處理而言可以很精確地估測出動態連續影像的光流場,並進而計算出影像中場景或物體的深度,然而卻有計算量大且費時的代價,這也是將其應用於即時影像避障或追蹤時所必須面對解決的課題,因此在本論中主要將針對以下兩個問題進行研究探討:

1.    如何在導盲機器人實用性、可攜性、使用方便性的層面上,考量盲人的實際需求,進行全面而完整的機構及控制系統架構的設計研製,這其中包括了: 動力系統的設計、感測器的使用、定位及姿態估測以及人機介面的設計等。

2.    如何在典型的光流估測法則上進行改良,以及基於光流估測之即時影像避障法則的設計。典型的光流估測法則運算費時的原因除了影像資料量大及估測法則本質上的原因之外,遞迴計算求解是其主因,因此希望能夠在不做遞迴計算求解的情況,提出一個光流估測法則的設計,使其精確度足以應用於即時影像避障法則的深度計算。

.光流估測法則的介紹

運動感知與光流


存活(Survival)是自走式機器人是否能夠成功執行任務或導盲機器人能否安全導引盲人之首要先決條件,也就是說其是否具有足夠之智慧能力以避免任何發生碰撞可能,針對以視覺系統為主要環境資訊來源之機器人而言,即牽涉到從動態連續影像中進行所謂的運動感知(Motion perception)。運動感知可分為兩個步驟,第一個步驟是量測(Measurement) 3-D空間運動投射在2-D影像平面上的運動參數,第二個步驟是解譯(Interpretation) 已獲得2-D影像平面上的運動參數以建構出3-D空間中環境的結構及物體的運動。此外,運動感知亦可分成兩類: 長程(Long range)及短程(Short range)的運動感知,如圖1所示,短程運動感知的步驟是估測2-D影像平面上每個樣型(Pattern)的瞬時速度,也就所謂的光流(Optical flow)速度,形成速度場(Velocity field),然後作速度場的運動分析,以計算出視野中環境物體的深度。本論文的研究重點即在作短程的運動感知,在量測的步驟上是負責從時變場景(Scene)影像估測光流速度,而光流在運動感知中所扮演之地位即是量測2-D影像平面上每個圖素或區塊(Patch)的速度向量來描述3-D空間中相對應點的速度狀態; 其次才在解譯的步驟中去從光流所表示之2-D速度向量分布所形成的速度場,抽取出視場(Visual fieldScene)中每個點的速度及深度(Depth)值。

在說明光流的定義之前,我們必需先了解影像流(Image flow)與光流之間的分別。所謂的影像流是用三維空間中物體在影像平面上的投影點的二維速度來表示三維空間中相對應投射點的速度,以圖2來說明,一個剛體B相對於影像平面作任意方向的運動,而在剛體上有一點P具有速度S其世界座標為(X, Y, Z),原點固定於OW。影像平面是以OW作為投影中心(即觀點),同時在影像平面上有影像座標系統(x,y),原點OI被世界座標的Z軸所通過。則假如影像平面上的一點p是空間中點P的投影點,則p的速度向量V=(u, v)就是空間中點P速度向量S的投影,所以經由前面的定義,速度向量V就是P點速度向量S投影在p點的影像流速度向量,並且可用它來代替描述點P在空間中之運動。而像這種影像流速度向量在整個影像平面上的分布情形就構成了所謂的影像流場(Image-flow field),圖3所示為影像流場之示意圖。

而光流的發生主要來自於攝影機與環境物體之間的相對運動,使得所獲得的連續影像的影像強度(Image intensity)產生時間空間上的變化,因此其純粹從連續影像中,計算影像強度樣型(Brightness pattern)在時間空間上二維的可視速度(Apparent velocity)。在光流的定義中並沒有描述到與三維場景的關係。所以當影像的光流不為零時,視場中事實上不見得有物體的運動產生。產生這種情形的原因很多,最簡單的原因就場景中光源照度的改變。例如對一個靜止的場景取像,但是照射於場景中的光源卻是會移動的,則在定義上既然場景是靜止的,場景投射在影像上的影像流會等於零,然而因



 


 

為光源是移動的所以在影像中的影像強度是會變動的,使得計算得到的光流不為零。同樣地,也會產生有光流等於零,而影像流不等於零的情形。例如,一個表面光滑均勻的球體,由於其表面特性,當球體開始轉動而且環境照度均勻,則擷取到的連續影像其影像強度並不會變化,因此計算所得的光流等於零,而實際上影像的影像流卻是不為零的。

因此,如果要解析三維場景的結構與運動真正所需要的是影像流場。然而古典的作法乃是擷取一連串場景的影像強度變化,從連續影像估測出光流場,然後在環境照度均勻,物體表面為平面等假設條件下,讓光流場等效於影像流場,並且用以分析三維場景的架構與物體的運動。

 

 

 

 

Home | Lab NewsResearch Areas | Research Results | Projects | People | Lab Presentations | Courses | Links