復旦學子主導研發的一款App幫視障者“看見”世界

  來源:中國青年報客戶端陳書靈,王燁捷2024-03-07
打印本文
核心提示:中國青年報客戶端訊(陳書靈 中青報·中青網記者 王燁捷)只需一枚攝像頭和一對耳機便能將畫面轉化成語言,描繪場景、提示風險,讓視障者出行更安全、生活更便捷。日前,復

中國青年報客戶端訊(陳書靈 中青報·中青網記者 王燁捷)只需一枚攝像頭和一對耳機便能將畫面轉化成語言,描繪場景、提示風險,讓視障者出行更安全、生活更便捷。日前,復旦大學自然語言處理實驗室(FudanNLP)的師生們研發了一款基于多模態大模型的“復旦·眸思”(MouSi)系統,為視障者量身打造了“聽見世界”App。預計今年3月該App將完成第一輪測試,在我國一二線城市和地區同步開啟試點,根據算力情況進行推廣。

“聽見世界”App有三種工作模式。一是街道行走模式,它可以細致掃描道路情況,發現紅綠燈、十字路口、障礙物等,提示潛在風險;二是自由問答模式,它可以帶著視障人士走進博物館、藝術館、公園,捕捉四周景象的每個細節,用聲音構建生活場景;三是尋物模式,它可以及時幫助主人找到不知道被放在哪里的手杖、不同口味的牛奶等。

復旦學子主導研發的一款App幫視障者“看見”世界

圖為APP幫助視章人士辨識路線。

復旦學子主導研發的一款App幫視障者“看見”世界

圖為APP幫助視障人士找手杖。

據悉,我國盲人數量有1700多萬,但在街上很少看到盲人出行。一個重要的原因是他們出門要面對大量不安全因素,難以獨自成行。

復旦大學自然語言實驗室張奇教授介紹,“聽見世界”App項目的主導者都是“初出茅廬”的學生,在組內頭腦風暴會上,年輕學子總能提出開創性想法”。

該項目團隊共計吸納了從本科生到博士生共25名復旦學子以及桂韜等多位教師、專家的加入。為了更好地感受視障者的難處,團隊成員同樣模擬真實情境,蒙眼探索視障者“黑暗”世界,并邀請視障人士加入,進一步摸清真實而具體的需求。在基于幾億張圖片訓練出的“眸思”大模型基礎上,針對視障者提出的各類需求,同學們又用上萬張圖片進行特殊樣本訓練,使“眸思”具備能夠適配更多場景的能力。未來,該項目還會開發更多的使用模式,比如閱讀模式,服務盲人朋友點菜、讀書等場景;解說模式,承擔無障礙電影解說員的工作。

(編輯:映雪)


復旦學子主導研發的一款App幫視障者“看見”世界
 

免責聲明:

1、本網內容凡注明"來源:315記者攝影家網"的所有文字、圖片和音視頻資料,版權均屬315記者攝影家網所有,轉載、下載須通知本網授權,不得商用,在轉載時必須注明"稿件來源:315記者攝影家網",違者本網將依法追究責任。
2、本文系本網編輯轉載,轉載出于研究學習之目的,為北京正念正心國學文化研究院藝術學研究、宗教學研究、教育學研究、文學研究、新聞學與傳播學研究、考古學研究的研究員研究學習,并不代表本網贊同其觀點和對其真實性負責。
3、如涉及作品、圖片等內容、版權和其它問題,請作者看到后一周內來電或來函聯系刪除。