跳到主要內容區
 
清華大學

清華電機師生團隊設計App讓你不再煩惱整理照片

手機照片太多常找不到?清華大學電機系林嘉文老師研究團隊開發App「Aiburn」,只要放進照片就會針對照片加上註解,依人臉、景色等特徵,立刻分類出需要的照片,並為相簿、影片自動註解關鍵字與描述文字。App同時也可以自動判讀影片人物,裁除空等或無人物時段,保留精華。應用程式可望在明年下半年度在iOS App Store上架。

當你和家人、同事在同一週內分別有多次聚會活動,例如與家人一天內在不同景點遊歷,前天、昨天與同事餐敘,每次都拍了不少照片,只要將相片輸入「Aiburn」App,應用程式就會自動依據使用者需求,將家人或同事分成兩個精華相簿,或將聚餐與旅行整理出兩個不同的精華相本。Aiburn還內建景物辨識功能,可以辨別相片中人物位於山上或海邊、夜市等地,為該相簿命名標題,讓你可以輕易查詢與回顧。

清華大學電機工程學系林嘉文教授、許志仲博士後研究員、張馨云與蕭凡凱碩士生組成的研究團隊費時逾2年,利用史丹福大學  ImageNet 資料庫、人臉辨識、物件偵測技術,並加上同學們各種旅遊、會議及活動照片,設計一個App「Aiburn」,透過深度學習(Deep Learning)技術在大數據資料中挖掘出照片描述關鍵字、系統性的精選照片,未來更可即時用關鍵字搜尋手機內的任何照片。

清華電機許志仲博士()和張馨云碩士生()目前正在設計一款自動將重要相片彙整成一本本精華相簿的AppAiburn」, 也能擷取影片精華,大大幫助相片主人節省整理相簿、影片時間,可望在明年下半年度上架。

相簿整理的最佳幫手Aiburn App

「我很喜歡攝影,但每當想整理照片時,總因為相片數量太多又沒時間整理而作罷,所以有這個困擾。」為了有效率地保留美好的回憶,清華電機許志仲博士是向林嘉文老師提出這個構想,並由當時蕭凡凱碩士生研發了相簿整理技術的雛形。此應用在科技部前瞻通訊計畫「知識發掘技術及其在5G網路中行動視訊和資訊之應用」中也是相當重要的應用,希望透過設計App幫助許多拍攝者節省整理相簿的時間。

目前相簿整理應用程式非常多,例如知名的Google相簿也會自動按照日期、地點、人臉辨識分類相片,但如何標註描述,仍需要相簿主人手動建立。若採用Aiburn App應用程式,將相片輸入Aiburn後,Aiburn會自動依據活動中出現人物的頻率,時間和地點平均篩選照片,挑選出的相片集合成該活動的一本精華相簿,並依據景色加上註解,例如一整天和家人朋友前往不同景點的旅遊活動,Aiburn就會從所拍的照片平均篩選出各景點、時間或家人朋友的合照,不會特別遺漏某段時間與人物。

↑Aiburn從一趟和朋友的爬山、逛夜市活動照片群中篩選出精華照片,組合成相簿並辨別景色為該相簿命名。

目前主要執行本計畫的電機所學生張馨云表示,這項App最關鍵的技術是採用「深度學習」(Deep Learning)技術,能夠基於數據資料庫辨識人臉、景象進而篩選照片。張馨云說,整個計畫最困難的是建立屬性為人物的照片資料庫,因為史丹福大學 ImageNet資料庫內主要仍是物品和自然場景的照片,非常缺乏人物活動照片 (例如球類運動、聚餐等),所以剛開始要建立屬於Aiburn App的資料庫時,必須要先花費非常久的時間蒐集為數龐大的在地化資料庫,才能辨識出更多活動事件。

另外,許志仲博士和張馨云同學也與清華電機孫民老師影像科學實驗室合作,藉由孫老師所研發的影片濃縮與標註技術,讓Aiburn可以自動判讀影片中人物、動物的活躍程度留下重要時段,裁除空等或無人物時段,讓瀏覽者能不必等待就可以看到精采時刻!

目前「Aiburn」應用程式已漸臻完整,許志仲表示,希望未來能再加入將精華相簿和影片自動串成敘事影片的功能,幫助相簿主人像說故事般播放活動事件。預期未來可以幫助許多攝影師或有記錄生活習慣、兒女成長影像的人們,能夠更方便有效率的迅速整理相簿,節省手機、相機的許多空間,保留最美好的回憶。

 

 

瀏覽數: