以下為本實驗室從2012年起所發展的技術成果，含論文發表、技術報告、專利、產品等資訊，大部分資料皆根據完成時的年份排列。
2024年成果
人像於360影像合成之評估
由於社群媒體的興起，合成照片變得越來越普遍。其中，影像的光影渲染是關鍵技術之一，它能夠創造逼真影像。本研究提出了一個框架，將肖像合成到360度影像上時重新渲染。在大多數影像合成中，很難直接取得主體的3D形狀以在虛擬環境中重新渲染它們。我們使用光度法建立一套照相系統，使得拍照可以獲得法向量貼圖與良好擴散色影像。此外，我們利用Blender軟體中基於原理性雙向散射分佈渲染器和360環境貼圖的虛擬環境來創建合成影像。在考慮不同的情況，包括性別、姿勢、室內或室外場景、以及彩色或無彩色拍攝對象後，共產生128張合成圖像中，每一條件都以4秒的影片紀錄，並進行各種場景進行主觀評估。從30名參與者的評估分數來看，基於所提出的方法之總體滿意度高於平均水平(5點李克特量表>3 分)。
Y. J. Chang, and T. H. Lin, “Subjective assessment for inverse rendered composite images in 360-degree images,” Journal of Electronic Imaging, 2024.
遠端監控下之雞冠色彩分析
近年來家禽業的智慧化系統越來越多受到關注。本研究實施了一套智慧監控系統來管理禽舍並改善其飼養條件。專家可以透過監視螢幕遠端診斷雞的健康狀況。本視訊監控系統包括精確校準顏色的PTZ攝影機，還加入了YOLOv4演算法進行雞冠與羽毛冠偵測。該分析影像資料長達90天，我們特別提取雞冠顏色特徵，了解在生長過程中的變化。可協助動物專家以及飼主未來進行與顏色相關的肉雞健康診斷。
T. Y. Wei, and T. H. Lin*, “Comb color analysis of broilers through the video surveillance system in a poultry house,” Brazilian Journal of Poultry Science, 26(1), pp.1-8, 2024.
影像式透明度測量技術
本技術提出了一種能夠估計複合物體的透射率和霧度值的測量系統。該系統包括偏振相機、線性偏振器和背光源，經過校準以獲得四個相位偏振圖像。我們設計了41個涵蓋各種透射率和霧度值的樣品，以幫助將偏振影像與 BKY-Gardner儀器的參考基準建立關聯。經資料迴歸後，以線性方程式來估計透明物體的透過率和霧度值。52個樣品的驗證實驗表明，該方法準確估算了樣品的透過率，相關係數（R²）高達0.96，平均誤差小於4.1%。霧度估計的R²為0.94，平均誤差為5.08%。使用偽彩色圖來呈現單一物體的不同透射率和霧度值。本技術所提出的系統可以執行基於影像的半透明度測量，並獲得複合多種透明度特性之材質的透明度與霧度。
P. Y. Lai, and T. H. Lin*, “Translucency measurement based on image data regression from a polarized camera,” Applied Optics, 63(4), pp. 1170-1181, 2024.
2023年成果
偏光影像式光澤度測量技術
本研究提出了一種僅透過偏振相機且單次拍攝，即可進行光澤度測量的影像演算方法。該系統由偏光相機和漫射型 LED 板燈組成，基於ASTM D523標準規範，以60°入射方向獲取影像。我們分析了介電材料樣品的偏振特性。利用NCS光澤度和商用光澤計開發了數學迴歸模型。更進一步，我們使用各種類型的測量樣品驗證了該方法的光澤度計算，並可達到畫素等級的分辨率。根據不同實驗，我們驗證了影像式光澤度測量的可行性。
T. L. Lu, and T. H. Lin*, “Spatial variant gloss measurement of dielectric material based on a polarized camera,” Applied Optics, 62(32), pp. 8686-8695, 2023.
手勢互動之數位畫作展示
本技術在工作基礎上實施和評估數位油畫的3D呈現。該數位相光為展示藝術品和與之互動提供了一種替代和沉浸的方法。我們發展blender軟體的外掛程式，並於虛擬環境中憑藉一個攝像頭模組，它既能夠捕捉觀眾相對於框架的位置以動態調整畫作的逼真照光條件，也能識別手勢以切換各種不同的油畫。
A. José Caballero, B. D. Bordon Diaz and T. H. Lin, “Gesture-Controlled Digital Frame for Art Showcasing with Dynamic Lighting”, Automation 2023, Dec. 8-10, 2023, Taipei, Taiwan.
油畫數位化技術
本研究提出了一種透過擷取PBR紋理(如反照率、法向量和高度圖)來數位化油畫的方法。與僅採顏色的傳統方法不同，該研究能夠在虛擬3D世界中在不同視角和光照條件下複製逼真的外觀。
C. Yang, Y. H. Lee, and T. H. Lin, “Digitalization of oil paintings: leveraging PBR textures to reproduction of realistic appearance,” Proceedings of IDW/AD, International Display Workshop (IDW 23’), Dec. 6-8, 2023, Niigata, Japan.
互動式數位相框
本創作提出了一個新的3D互動數位相框。我們在防反射屏上使用PBR紋理呈現油畫，以重現逼真的光線效果。我們使用攝影機追蹤到觀眾位置，內容將動態重新渲染，以適應光線方向對藝術品的紋理細節、筆觸和顏色的情境。
Y. H. Lee, C. Yang, and T. H. Lin, “Interactive relit realistic paintings on a digital frame,” Proceedings of IDW/AD, International Display Workshop (IDW 23’), Dec. 6-8, 2023, Niigata, Japan.
遠端監控影像顯示色差評估
PTZ監視攝影機在各個領域中廣泛應用。然而在影像傳輸過程中，攝影機測量的環境顏色可能會有所不同。透過進行實驗，本研究旨在分析這些差異，為監視攝影機應用中的顏色管理提供有效的色彩校正。
C. Y. Chou, and T. H. Lin, “Color difference evaluation for transmitted images of surveillance cameras,” Proceedings of IDW/AD, International Display Workshop (IDW 23’), Dec. 6-8, 2023 Niigata, Japan.
開發雲端3D建模服務
本技術在建立一套雲端服務，允許消費者使用手機上傳影像。使用者須針對某個靜態物品拍攝多個角度的照片，在雲端系統裡我們編譯了開源軟體，透過photogrametry技術將上傳的照片重建3D，再讓使用者下載回自己的手機。
M. Grijalba Acosta, D. E. M. Krauch Bareiro, J. S. González Arrosse, and T. H. Lin, “Development of a 3D reconstruction service system by using opensource for smartphone users,” Proceedings of IDW/AD, International Display Workshop (IDW 23’), Dec. 6-8, 2023 Niigata, Japan.
2022年成果
影像式透明度測量架構開發
在本研究中我們提出一種使用偏光相機的照相方法，用於量化物體的透明度。透過控制背光板的狀態，我們可以取得偏光照片並用於觀察其內容與透明度與霧度之間的關聯。
P. Y. Lai and T. H. Lin “Image Based Objects’ Transparency measurement by a polarization camera,” Proceedings of IDW/AD, International Display Workshop (IDW 22’), Dec. 14-16, 2022 Fukuoka, Japan.
使用CNN於PBR影像生成
本研究提出了一種使用卷積網路並基於物理渲染PBR 材質生成器。為了獲取訓練數據，我們採用電腦模擬建立理想的貼圖，最終訓練好的結果，可以再輸入相同序列的照光照片合成出一系列的PBR貼圖。
C. Yang and T. H. Lin “PBR textures capture by CNN trained in virtual 3D scene,” Proceedings of IDW/AD, International Display Workshop (IDW 22’), Dec. 14-16, 2022 Fukuoka, Japan.
牙齦邊緣線偵測技術
牙齦邊緣線(GM)被視為是透明牙套生產過程中重要的特徵。在自動化生產過程，它也被認為用於分割出牙套的重要的3D參考線。本研究提出了一分析方法，能夠以曲率特徵過濾出主要的牙齦邊緣線，並允許使用者調整其平滑與貼合程度。
R. B. Chern, and T. H. Lin “A study for retrieving teeth gingival margin from three-dimensional digital models,” Proceedings of IDW/AD, International Display Workshop (IDW 22’), Dec. 14-16, 2022 Fukuoka, Japan.
使用CNN於人像影像法向量貼圖生成
本文提出了一人工智能模型，用來生成人像的法向量貼圖。我們利用基於光度學方法的攝影系統產生大量的訓練資料，夠過這些數序建立了模型。使用者用只需輸入一張人像，便可將其轉換為法向量貼圖，便可將其轉變為法向量貼圖，該資料適用於人像照片的重新渲染光影。
C. Y. Kuo, C. Yang and T. H. Lin “CNN-based normal map generator for creating relightable portrait images,” Proceedings of IDW/AD, International Display Workshop (IDW 22’), Dec. 14-16, 2022 Fukuoka, Japan.
監控系統之長期雞冠監測
本文旨在觀察雞隻長大過程中的雞冠顏色變化。為了實驗這個目標，我們採用色彩校正演算法修正監視系統的顏色，以抑制因外在因素如光線導致的色差影響。基於校正後的影像，我們使用YOLOv4的人工智能模型自動偵測雞冠，並收集齊顏色以便分析其狀態。
T. Y. Wei, T. L. Lu, T. H. Lin, and Y. C. Tsai “Long term chicken cockscomb color detection of the video surveillance in a poultry house,” Proceedings of IDW/AD, International Display Workshop (IDW 22’), Dec. 14-16, 2022 Fukuoka, Japan.
法向量貼圖產生方式評估
本研究提出了從單張人臉影像生成接近標準法向量貼圖的構想。我們使用了Flickr-Faces-High-Quality數據集的70,000張人臉影像，並使用各類軟體生成法向量貼圖。
R. Das, T. H. Lin and K. T. Wang, “A survey of the normal map generator of gimp from single shot human face image”, International Conference on 3D Systems and Applications (3DSA2022), Nov. 24-25, 2022, Taipei, Taiwan
偏光影像式電路板金屬瑕疵檢測
我們發展了偏光攝影的相關影像處理方法。
H. H. Tsai, T. L. Lu and T. H. Lin “Material classification of printed circuit board by polarization photography,” Imaging and Applied Optics Congress 2022 (OPTICA), July 11-15, 2022. Vancouver, Canada
立體光度法於肖像照之光影渲染
本研究提出了一種基於簡化光度立體方法的人像影像重打光渲染系統。該系統由一個可控數位單眼相機和五個偏振閃光燈組成，可以獲得彩色無陰影影像並從陰影影像合成法向量貼圖。校準光度立體圖時，法向量貼圖被視為陰影影像的線性組合，並相對於白色塗層球體上的特定法線方向進行校正。重新打光渲染的影像是在預先定義的虛擬環境中透過逆渲染產生的。為了評估個人偏好，共統計了24名成年受試者的主觀評估，並比較AI深度肖像重打光渲染 (DPR)方法。根據不同場景的實驗，我們得出的結論是，所提出的基於簡化光度立體的系統在突出肖像圖像方面表現較好。
H. Y. Chang, and T. H. Lin*, “Portrait imaging relighting system based on a simplified photometric stereo method,” Applied Optics, 61(15), pp. 4379-4386, 2022.
2021年成果
牙齒比色研究
牙齒比色再製技術可協助精準製作牙科贗復，提高病患自信與美學。牙科產業亦可避免過度依賴國外遭技術壟斷，在老年化之社會，國內假牙年需求量達十萬以上。數位可量化的牙齒色彩屬性擷取有助於收集大量數據，為臨床比色與再製提供需求，大數據有助於產業研發如材料、訂定標準等關鍵影響力。偏光取像亦是新學術領域關鍵技術。在本計畫中，偏光大量應用於擷取不同視覺感知上不同面向的參數，本計畫將聚焦於實驗設備之設計與架設、設備之光學色彩校正、偏光色彩量測與螢光色彩的探討，並對明年度牙科贗復的光澤度、透明度與紋理進行初步的量測與分析。
3D列印切層支撐材生成
本研究發展3D列印切層演算法，特別針對光固化列印形式的支撐材演算，包含具有微小投影干涉與策略性樹狀結構之最佳生成策略。
DIY結構光3D掃瞄器
我們使用Jatson nano作為3D掃描器的主要運算，並搭配微型投影機達到3D掃描的目的，該掃描器支援一鍵掃描，是一個單獨可以獨立使用的DIY低價位的結構光3D掃描器。
禽舍之監控系統色彩校正研究
科技化家禽飼養已是逐漸成形的趨勢。在Covid-19大流行期，對於禽舍的遠端管理與監控更成為了新需求。許多研究致力於使用電腦視覺來辨識監控家禽和家畜的情况。然而，較少研究集中分析影像設備顏色的精確度。本研究我們專注於校正遠端禽舍的影像。由於禽舍通常是開放或半開放式，其照光條件經常變動。因此，相機顏色容易受影響，包括關於顏色的疾病掌握。自1990年以來有許多關於相機顏色校正的研究。高階多項式是一種常見的方法，並在本研究中加以驗證。
T. L. Lu, T. Y. Wei, P. Y. Lai, R. B. Chern, T. H. Lin and Y. C. Tsai, “Color calibration applicated at the poultry house video surveillance,” Asia Color Association Conference 2021, Nov. 2-3, 2021, Indonesia.
3D模型誤差演算開發
本成果為3D模型誤差比對，透過電腦圖學演算法，我們將兩個經過ICP演算法定位後的模型進行誤差比對，該比對技術可以達到即時演算兩模型之差異。
大量3D列印切層排列效率最佳方法
光固化3D列印往往需要花費相當多的時間，等待材料固化以及機構運作。特別是在需要大量列印的情景，因此本技術針對最小堆疊高度以及最大堆疊面積等因素，經過各種排列組合將需要大量批次列印的階層做最佳的排列，使得列印效率可以有效提升。
2020年成果
顯微影像光學檢測系統
本專案針對特定中小企業需求，開發顯微影像設備與專屬檢測品管用軟體。該技術使用背光與特定打光條件，將檢測品的輪廓外觀凸顯出來，我們進一步開發硬體系統與控制檢測軟體。測量等級可達0.2micron。
多視角相機系統與計算式影像
本技術透過17台相機，高速同步拍攝多角度立體影像，產生精彩的瞬間時間凝結多視角立體照片(Bullet time effect)。我們發展了快速校正相機系統技術，並根據觀測者於觀賞立體相片時，考量列印輸出之精確排列與最佳觀賞視差，同時也讓使用者可以透過裸眼立體顯示器快速預覽相片輸出的結果。該技術獲得科技部未來科技獎肯定。
基於立體相機之全自動彩色3D掃瞄器
本技術介紹如何透過硬體架構，一鍵自動校正校正所有系統中的硬體。本技術所使用的架構為開放式硬體Arduino，搭配立體相機可以達到高精確度卻低成本的彩色3D掃描器。將3D掃描器的技術發展推升至與操作數位相機一般的簡單，只需要按一個按鈕，Pipeline中所有運算皆在本論文中詳細揭露。本硬體包含一組立體相機，一個可以產生旋轉運動的雷射線，以及一個可以承載模型與校正板的轉盤。透過轉盤承載校正板，可以自動化拍攝多個方為的校正板照片。而這些照片首先用來校正相機的白平衡，及用來校正雙相機的內部參數，以及系統的外部參數。更進一步利用這些推估出來的外部參數所產生的3D參考點，重新估算轉盤的懸軸，以及將之定義成世界座標原點。由於我們假設轉盤的重現性佳，因此於流程中並不需要再加入高風險的ICP演算法，而同樣有相當高的模型拼接完整度，例如可以掃描完整的撞球球體做為精確度驗證。在模型整合方面，我們引用了目前效率最高的Screened Poisson重建方法。此外，色彩處理方面，我亦提出全新的多視角混合著色理論，證實我們的方法比傳統Screened Poisson重建法的3D混色作法有更好的貼圖效果。同時我們也驗證了，在本系統架構下的精確度，即使採用了webCam等級(較差對比與較差動態範圍)依舊有良好的掃描精確度。
T. H. Lin*, “Automatic 3D color shape measurement system based on stereo camera,” Applied Optics, 59(7), pp. 2086-2096, 2020.
3D模型之低干涉脱模演算法
本成果為自動偵測3D模型的自體干涉區域，並透過有限度姿態調整，使得模型的脱模干涉越低越好。當姿態調整完後，我們演算法進一步發展脫模演算法，自動找尋連續可脫模的分模線，並產生上下模的3D模型。
基於陣列單眼相機之裸眼印刷
本研究使用了7台Nikon數位單眼相機，透過Arduino進行外同步Trigger。達到Bullet-Time攝影效果。此外我們也發明了特殊的一鍵校正技術，可以同時矯正多相機系統之3D座標與色彩，透過高解析sub-pixel照片合成slanted-lenticular裸眼多視角畫框。
T. H. Lin, Y. L. Lau, C. C. Lee and H. C. Huang, “A camera array system based on DSLR cameras for autostereoscopic prints,” Electronic Imaging 2020, Jan. 26-30, 2020, San Francisco, USA.
影像式材質檢測系統與色差分析軟體開發
本專案導入Visual Appearance學理，將之簡化並根據CIE標準轉換為實用的商品。影像式演算可以達到極微小的區域顏色測量，例如多色品的快速品管。該色差計算滿足現行CIE規範ISO標準等，該技術已轉換為市售商品。
2019年成果
自動3D足型掃瞄器
我們發展了獨特的3D校正技術，可以一鍵完成四台雷射系統與線性馬達的座標3D校正。本技術採用線雷射搭配一般VGA-60fsp等級相機，掃描精確度可達0.3mm，並於3秒左右即可完成全足部包含腳底之3D掃描。經壓力測試，一天8小時可以完成約500隻腳的3D掃描與資料收集。
基於AI影像之野鳥偵測系統
本研究在於視訊監控中的戶外AI野鳥類偵測，以降低家禽養殖場感染禽流感的風險。一旦偵測到鳥類，我們的系統就會觸發另一個動作來趕走鳥類。我們利用YOLO演算法進行目標偵測，並在資料集中添加多樣性樣本來訓練模型，從而提高辨識精度。
B. C. Zhu, T. H. Lin, Y. C. Tsai, K. W. Hsieh, F. M. Fan and P. K Lei, “Outdoor Wild Bird Detection based on YOLO algorithm,” (Oral) Proceedings of IDW/AD, International Display Workshop (IDW 19’), Nov. 27-29, 2019 Sapporo, Japan.
非金屬SVBRDF與BRDF精確度驗證
我們提出了一種與商業產品進行比較的視覺外觀擷取裝置。我們的設備能夠基於空間變化的雙向反射分佈函數SVBRDF描述非金屬材料的視覺外觀。本研究與商業產品Radiant Imaging設備進行比較，以驗證所提出設備的可靠性。
T. L. Lu, Y. L. Liu, Y. C. Hsieh, T. H. Lin, “Accuracy Verification of Visual Appearance Acquisition Device of Non-Metallic Material Based on Sparse SVBRDF,” (Oral) Proceedings of IDW/AD, International Display Workshop (IDW 19’), Nov. 27-29, 2019 Sapporo, Japan.
使用深度學習於數位3D物件特殊筆刷渲染
我們提出了一種使用深度卷積神經網路來模仿 2D 繪畫風格的 3D 渲染模型。使用者可以向網路提供特定物件的簡單繪畫，以根據繪畫風格渲染任意方向的 3D 物件圖像。
Z. Yang, P. L. Sun, and T. H. Lin, “Deep Convolution Neural Networks for Painting-like 3D Rendering,” (Oral) Proceedings of IDW/AD, International Display Workshop (IDW 19’), Nov. 27-29, 2019 Sapporo, Japan.
擴增投影於數位指甲彩繪
我們開發了用於模擬指甲彩繪的AR擴增投影系統。我們利用數位相機的顏色來提取指甲區域，另外經過校正的彩色投影機可以將在數位指甲顏色精準投影到實體指甲上。實驗驗證了我們的演算法在指甲上可形成了增強逼真的圖案。並驗證了各種色彩投影的可行性，這對模擬體驗指甲彩繪，加速試妝有顯著幫助。
Y. R. Chou, and T. H. Lin, “Developing an Augmented Reality System of Nail Make-up,” (Poster) Proceedings of IDW/AD, International Display Workshop (IDW 19’), Nov. 27-29, 2019 Sapporo, Japan.
工業用內視鏡3D測量軟體開發
我們輔助廠商加速發展內視鏡的3D測量技術，特別針對微小尺寸的精準3D測量。
客製化口罩製作
我們發展了一個快速製作口罩框架設計方法。利用3D掃描器取得人臉部與嘴巴附近的3D形狀，並透過軟體描繪該區域，即可以客製化專屬的3D口罩框架，進一步地利用3D列印設備印製口罩框架。經多組粉塵實驗證明，該設計可以有效隔絕外部粉塵滲入口鼻。
結構光3D掃描機商品化(單軸)
我們開發低成本的結構光3D掃瞄器，使用DLP與工業相機，搭配單軸步進馬達。針對齒模應用，精確度可達20micron。
SVBRDF之PBR材質與視覺外貌匹配
本研究中，我們實施了大量的人因實驗，驗證從自制的PBR材質擷取裝置所取得的數據。評估數位模擬的貼圖與實際物品的視覺外貌觀看感受。
3D掃瞄器之彩色無影材質擷取
3D掃描技術可以獲得真實物體的高品質3D形狀。然而，獲得均勻無影的紋理仍然是一項具有挑戰性的任務，特別是用於更高品質的資料儲存。我們在自行開發的3D掃描器中提出一個可以演算出無影材質貼圖的3D物件。該掃描器利用立體相機前的線雷射來掃描3D形狀，然後同時擷取彩色貼圖影像。這些影像會根據掃描的3D形狀再次根據特定的數學反射模型進行調整。基於此設計掃描3D物體的顏色均勻性顯著提升。
T. H Lin, K. L. Chan, H. S. Chen, “Shade-free texture acquisition for 3d scanning system,” CIE 2019, Jun. 16-19, 2019 DC. USA.
2018年成果
足部特徵運算與自動選鞋演算
針對3D足部形狀，我們發展了一鍵特徵演算法，可以快速演算出足部的常用特徵，例如長度、圍度、角度等。類似的技術也適用於鞋楦分析，在快速收集特徵後，可以與雲端資料庫內容進行比對，並給予適當的選鞋建議。
SVBRDF材質擷取系統
本研究中，我們自行開發了一套針對非金屬材料的SVBRDF測量技術，該設備包含4-5台彩色相機與54個球狀分佈的LED燈泡。同時我們也發展了對應的色彩校正，均勻度校正等軟體方法。透多photogrametry技術，可以估算出10x10cm大小區塊的PBR材質屬性，包含粗糙度、法向量與擴散色等。
多相機自走式機器人影像系統
自走式機器人被視為是可以用來取代大量勞力的新工具，本專案中我們大量評估了所有相機系統於自走式機器人中的適用性。
口腔下顎追蹤技術
我們團隊利用特定標記物作為特徵，並使用立體影像達到下顎追蹤，可以有效輔助牙齒正確咬合。
雙材料列印
我們發展的多材料3D列印技術，可同時混合2種材料加上支撐材於同一程序中列印，我們以假牙為例驗證我們提出的方法可行。
特徵強化於淺景深結構光3D掃描技術
結構光3D掃描機是用於三維形狀測量與檢測的重要工具。然而，由於淺景深問題，大多數商用投影機無法產生長距離的清晰圖案。我們提出了一種混合方法來增強散焦結構光3D掃描系統的技術。我們沒有使用傳統的順序二進位模式，而是用高階正弦函數。在我們的系統使用帶有棋盤的雙軸雲台來協助系統校正。最初，校準相機以獲得平台的外部位置。此外，我們利用垂直和水平條紋圖案的相乘來增強相機和投影機之間的特徵點對應。然後使用從校準相機確定的外部特徵來校正投影機。實驗結果表明，高階正弦函數顯著改善了投影誤差。我們提出的方法可以輕鬆地結合到淺景深投影機以掃描各種類型的物體。
Y. L. Liu+, and T. H. Lin*, “Feature enhancement for the defocusing structured-light 3D scanning system,” Optical Engineering, 57(6), pp. 064101, 2018.
手機3D列印-雲端切層軟體開發
手機3D列印利用手機做為發光光源，進一步固化材料達到行動3D目的。由於手機3D列印需要仰賴手機進行運算與控制，對於3D模型的運算手機的差異，不容易單純於手機開發模型『運算』的App功能，包含模型切層與修補等功能。本技術進行後台軟體部署與建立我們所開發的切層軟體、修補軟體建置編譯於平台後台，並建立資料檔案管理服務、保護、負載平衡等。
Y. C. Peng, and T. H. Lin, “Developing Cloud Service of 3D Models for 3D Printing,” 3D Systems and Applications (3DSA 18), Aug. 29-30, 2018 Taipei, Taiwan.
魚眼鏡頭相機於VR360渲染
我們使用電腦圖學openGL座標轉換方式，達到360VR渲染目的。
Y. C. Hsieh, Y. L. Lau, T. H. Lin, “Study on Rendering 360 degree photograph from two fish-eye cameras,” 3D Systems and Applications (3DSA 18), Aug. 29-30, 2018 Taipei, Taiwan.
口內3D掃描(全口無牙)
我們透過先前開發的立體式3D掃描機，進一步整合成為臨床用途的口內3D掃描器，並透過案例驗證製作全口假牙。
2017年成果
投影機變形校正技術
投影機包含了複雜的光學鏡頭設計，往往因物理限制與成本考量，投影畫面因非線性變形而無法達到正確的畫面投影。我們發展了自動校正方式，可以在一道程序內採軟體補償，自動修正投影機變形，並可賦予正確尺寸如DPI。該技術應用於光固化式3D列印中獲得極佳的列印改善效果。
光固化雙材料3D模型切層軟體開發
我們發展光固化專用的多材料接成軟體，用於導入適用於雙材料之新應用。例如全口假牙的牙齒與牙齦應分別適合不同強度與生物安全屬性。該演算法同時也包含第三種材料以便同時列印支撐材。
雙軸結構光3D齒模掃描機
本專案將結構光3D掃描技術轉換為齒模專用3D掃描機商品，設備搭配雙軸馬達、高速可同步投影機與軟體。
管道內部表面輪廓3D掃瞄機開發
本研究開發管道內部輪廓3D掃瞄機，搭配著圓錐全向反光鏡、環型雷射、相機以及線性馬達等達到管道式3D重建之目的
C. M. Kuo, T. H. Lin, C. Y. Chen, “Inner profile reconstruction pipes using dual omni-directional mirror and laser,” Proceedings of IDW/AD, International Display Workshop (IDW 17’), Dec. 6-8, 2017 Sendai, Japan.
足型掃描器之系統快速校正
本文提出了一種多攝影機的快速系統校正，可以讓您同時快速校正多個攝影機並用於3D掃瞄器開發。一旦相機用於系統中，無論是用於影像辨識還是掃描重建，都需要進行校準。本技術中我們採用用已知3D尺寸的塊狀物進行校正。
D. Y. Lai, W. Huang, Y. L. Liu, and T. H. Lin, “Fast System Calibration of Multi-Camera for Foot Scanner,” Proceedings of IDW/AD, International Display Workshop (IDW 17’), Dec. 6-8, 2017 Sendai, Japan
影像式BRDF測量用於材質渲染
近年來，隨著VR和AR產品的普及，提高沉浸式使用者體驗變得越來越重要。為了實現虛擬3D物體的真實視覺效果，通常須精確記錄照明與物體表面結構之間的光場資料。因此，多數研究致力於使用雙向反射分佈函數(BRDF)來估計3D物體的物理表面外觀。在本文中，我們開發了一種基於影像校正的BRDF測量系統，該系統整合了3D幾何和表面反射的功能。透過3D幾何重建和完整記錄的物理光反射訊息，人們可以利用這些數據來渲染基於物理擬真的3D物件。
Y. L. Liu, C. C. Lee, and T. H. Lin, “Development of image-based BRDF measurement system for 3D model rendering,” IPPR Conference on Computer Vision, Graphics, and Image Processing, August 21-23, 2017, Nantou, Taiwan
精密2D/3D螺絲檢測與重建
由於線上光學檢測(Automatic Optic Inspection)往往需要量化檢測數據，以及需要客觀且自動化的資料運算，以確保檢測內容的正確性與再現性。該應用軟體開發技術將以2D影像資料為主要輸入，針對機械元件(如螺桿，螺絲為主)於光學檢測系統中所取得得輪廓影像運算，估算螺絲之螺距(pitch)尺寸。在2D測量尺寸方面，我們利用特殊鏡頭取輪廓影像，並假設其條件近似平面，再利用次畫素技術，可以將測量精度提升至0.2micron。並針對3D外觀重建。
高速螺帽分檢系統與軟體開發
本研究中所採用的線上光學檢測系統為高速轉盤，一分鐘高於600筆檢測。其基本原理包含背投影式平行光照射待測物體，並在另一側以數位相機接收，以及透過機械運轉如震動盤、轉盤、輸送帶等機制自動運送單一尺寸螺帽。分檢過程中同一螺絲，將被自動送至特定檢測位置，根據檢驗需求約需通過3~6個檢測站別，以便達到檢驗標準。軟體之研發理念：搭配可調整之判斷邏輯，以 3~6 個檢測站，並複合達13種瑕疵檢測(如尺寸、對稱性、均勻性)與瑕疵分類，針對螺帽類進行高速篩檢以便將螺帽分類成良品與各種不同瑕疵等級。
裸眼立體3D顯示器之視覺舒適度評估
裸眼3D顯示器未來可能會廣泛使用於各種情境。然而，視覺舒適度限制了它們的發展。在這項研究中，我們評估了四個觀察參數：環境照度、影像內容、縮放比例以及主要和次要物體之間的水平距離，以確定裸眼3D顯示器上電腦生成影像之視覺舒適度。視覺舒適度評分的範圍為0-1，旨在表示本研究中對環境照度、影像內容、縮放比例以及主要和次要物體之間的水平距離進行不同處理的3D影像的視覺舒適度。受試者被要求指出引起不適的圖像。計算了參與者表示觀看影像感到舒適的每種條件下的影像比例。人因主觀評分為0.5或更高的影像被分類為可接受。透過變異數分析來分析每個參與者和每個條件獲得的可接受圖像的差異範圍。分析結果表明，環境照度和影像內容對可接受的視差範圍有顯著影響，而縮放比例和主次物體之間的水平距離則沒有影響。
H. S. Chen+*, H. F. Wang, C. J. Chou, and T. H. Lin, “Visual comfort in autostereoscopic display,” Journal of the Society for Information Display, 25(5), 2017.
基於雷射與步態之預防跌倒鞋
跌倒往往會導致身體受到嚴重傷害，特別是老人的預防跌倒成為一個重要問題。本文提出了一種基於攝影機的線性雷射障礙物偵測系統，以防止室內環境中跌倒。當偵測到障礙物時，系統會發出警報訊息以吸引使用者的注意。由於老年人大部分時間都待在家裡，因此所提出的線雷射障礙檢測系統主要針對室內情境而設計。我們的障礙物偵測系統投射一條雷射線，穿過水平面並離地面有特定的高度。光軸與平面有特定傾斜角的相機將觀察雷射圖案以獲得潛在的障礙物。基於這種配置，障礙物與系統之間的距離可以透過稱為單應性的透視變換進一步確定。經過實驗後，可以確定估算步態之演算法以及觸發應偵測的時機，並將檢測到的障礙物分為不同的危險級別，使系統發送不同的警報訊息。
T. H. Lin+*, C. Y. Yang and W. P. Shih “Fall Prevention Shoes Using Camera-Based Line-Laser Obstacle Detection System,” Journal of Healthcare Engineering, vol. 2017, Article ID 8264071, 11 pages, 2017.
2016年成果
光源渲染對色彩偏移影響程度評估
由於數位3D模型越來普及，因此數位版權變得很重要。浮水印是常用的版權資訊的技術之一。本文提出了一種透過調整虛擬3D模型的原始紋理顏色來產生不可見色差作為浮水印的方法，而該顏色調整方法將產生恰顯差異(JND)。添加浮水印後，我們可以應用特定的虛擬光源來渲染虛擬3D模型，浮水印與原始紋理之間的色差會被放大以被注意到。本研究專注評估各類燈光對顏色偏差的統計分析。
H. L. Liu, Y. L. Liu, and T. H. Lin, “A comparison of watermarking for 3D models under different lighting conditions,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
超大圖學照片渲染方法
如今透過虛擬博物館瀏覽數位藝術品變得更加便捷。隨著新興技術的創新，博物館現在可以利用3D運動感測器、高解析度顯示器和虛擬實境來舉辦數位藝術展覽。因此，能夠有效地渲染高解析度影像已是顯示與列印輸出端必須面臨的問題。我們提出了一種基於OpenGL的3D數位模型渲染方式，透過批次分割畫面可以產生超高解析度影像的實用方案，該方式幾乎沒有輸出影像大小的限制。
C. C. Lee, Y. L. Liu, and T. H. Lin, “Study on rendering ultra high-resolution image for 3D models,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
相位法之結構光3D掃描
相位法是一種能夠偵測物體表面輪廓的光學測量方法，具有高速、高解析度、即時性等特性。在本研究中，我們利用基於相移方法來檢測微機械零件表面品質的實作。在光學檢測中，表面材料的粗糙度和表面反射(即顏色外觀)始終扮演重要角色。由於材料的反射率和吸收率可能會影響相位估算，導致3D測量精度偏差。最終我們使用不同的表面微機械零件來比較與驗證表面材質對測量的影響。
T. Y. Hsiao, Y. L. Liu, and T. H. Lin, “Surface quality inspection of micromechanical parts based on phase-shifting methods,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
立體光度法之3D重建
法向量貼圖是一種眾常用於增強3D模型著色中的表面細節紋理，並協助3D重建。在本研究中，我們開發一種能夠在固定視點和特定照明條件下產生法線貼圖並恢復Lambertian反射2.5D形狀的裝置。我們的方法基於立體光度法和球諧函數演算法。此外，本研究已經證明球諧函數可以恢復低維線性空間中的3D估算。因此，透過結果的證明了3D重建的品質獲得改善。
Y. C. Chen, and T. H. Lin, “Developing a photometric device for generating quality texture and normal map,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
線性滑軌於開發3D足型掃瞄器
本研究提出了一種自行開發的3D足部掃描器，透過使用三個掃描模組、線性滑軌平台和軟體演算法來獲得3D足部模型。掃描器使用通用參考棋盤作為物件的座標系。不同掃描模組的模型資料也透過校正板將資料轉換至同一座標系中，因此自動組合在一起，最終可獲得全足部3D模型。
W. Huang, and T. H. Lin, “Developing a foot scanner based on multiple laser triangulation scanners and one linear stage,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
二合一3D掃描列印機
我們開發了一套二合一3D掃描列印機，該機器包含高功率的投影機作為3D掃瞄器與3D印表機的主要元件。我們採用線性馬達帶動成行平台，達到光固化3D列印估能。同時也搭配一台雙軸旋轉馬達裝置與工業相機，達到自動化3D掃描功能。該設備設計用來掃描齒模，與列印齒模以及牙套相關應用。
Y. L. Liu, H. T. Yau, R. S. Lin, Y. J. Chen, T. H. Lin, and J. Y. Jeng, “A two-in-one system of structured light scanner and light cured printer,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
3D數位彩妝
本研究目的是開發3D自動臉部彩妝模擬系統，該系統能夠模擬化妝3D模型，並根據所選的參考圖像融合於3D模型。我們利用仿射變換建立參考影像和掃描3D模型之間的幾何關係，然後執行模擬化妝3D模型。最後，該模型在我們化妝系統的適當色彩管理器引擎下，再由彩色3D列印機輸出成實體3D彩色模型。
M. H. Lin, Y. P. Pi, H. S. Chen, P. L. Sun, and T. H. Lin, “Digital cosmetic coloring system for 3D facial images,” Proceedings of IDW/AD, International Display Workshop (IDW 16’), Dec. 7-9, 2016 Fukuoka, Japan.
JND色差之數位3D模型浮水印隱藏研究
浮水印是圖像或文件上用於防止偽造或版權保護的之技術。對於彩色3D模型，在紋理圖像或頂點顏色上添加浮水印也是被認為可行的。我們提出了一種透過在彩色3D模型上疊加剛好明顯(JND)的圖案來隱藏浮水印的方法。浮水印上的色差在一般顯示時太小而不易被注意到，並且在電腦圖形環境中的特定照明條件下可將該色差放大。這個想法與大多數紙幣上的防偽標籤非常相似。例如：在白光下渲染時水印幾乎看不見，但在紫光下可見。
T. H. Lin, “Hidden watermark of 3D models by just noticeable color difference,” Electronic Imaging 2016, Poster, Feb. 14-18, 2016, San Francisco, USA.
立體影像式即時3D足型掃描
我們使用6臺被動式立體攝影機(Etron)，搭配投影條紋，可以達到即時的3D足部外觀截取。
彩色3D列印切層混色演算法
我們針對彩色3D列印切層混色進行優化，可以適應各種不同形式模型。包含支援貼圖形式與頂點著色等儲存形式，並考慮manifold問題，適用於粉床Jet-binding與光固化photo-curing形式3D列印。
2015年成果
瞳孔尺寸偵測筆
在這個專案中，我們開發了一個瞳孔尺寸偵測筆。這個偵測筆的前方配備有一個微型相機以及光源，經過特殊的光學設計光源與相機鏡頭，搭配及嵌入式系統，我們可以用影像分析技術偵測並抽取出瞳孔的位置及大小，其運算效率可以達到即時觀測測瞳孔的縮放變化，用以協助醫院護理人員第一時間的病患觀察。
DIY版本彩色3D掃瞄器開發 (Cloud Funding)
我們將所累積的3D掃描技術，轉換為可以DIY的自己組裝套件，在這個套件中我們大量使用了Maker的元素，例如齒輪結構等機構元件都是透過3D列印以及雷射切割機所製作出來的。我們同時也開發了的指引組裝手冊，引導學生族群可以經過簡易的組裝，並且搭配我們自主開發的核心演算程式，就可以組裝出一台價格低廉且品質佳的自動彩色3D掃描器。
單色3D掃瞄器之自動上色演算法
目前口內3D掃描機在矯正治療中越來越受歡迎，並逐漸成為主流。然而，目前多數口腔內掃描尚無儀無法自動辨識牙冠和牙齦之間的差異。在本研究，我們提出了一種強度補償方法來分離牙齒和牙齦。基於雷射掃描器之特性，我們分析了由於牙齒的幾何形狀和雷射距離而引起的能量衰減，並根據反射率推估被掃瞄體屬性，接著以此特性分離牙冠和牙齦，並分別對它們自動著色。
Y. L. Liu, Y. C. Chen, T. H. Lin, and P. C. Hu, “Study on generating binary colors for monochrome 3D intraoral laser scanner,” Proceedings of IDW/AD, International Display Workshop (IDW 15’), Poster, Dec. 9-11, 2015, Otsu. Japan.
法向量擷取裝置技術
具有各種紋理(例如擴散、凹凸和法向量貼圖)的3D模型可用於表示高品質3D數位模型。為了強調表面細節，法向量貼圖通常是最重要的。本研究的重點是如何從自製設備中估算物體的法線貼圖。法線貼圖表示局部表面幾何形狀，它儲存為R-G-B像素以表示局部[x,y,z]向量。我們提出了一迴歸統計法的解決手段，直接檢索具有相應光源的影像通道以合成高品質的法線貼圖。
C. H. Wang, Y. L. Liu, and T. H. Lin, “Developing a quality normal map acquisition device based on led array,” Proceedings of IDW/AD, International Display Workshop (IDW 15’), Poster, Dec. 9-11, 2015, Otsu. Japan.
半色調彩色3D列印體素切層開發
我們利用高半透明的可列印材料來模擬列印模型。我們專注於使用體素(Voxel) 重現3D模型的表面顏色。我們提出了四種評估整體品質的方法。從模擬數據來看，混合方法非常接近我們的預估。這種方法產生了更好的顏色邊界，並且內部顏色比其他方法更鮮豔，可以說顏色接近原始顏色。 對於光固化CMYW墨水形式3D列印機，我們必須使用CMYW調色板將色調顏色抖動為3D半色調顏色。這也證明我們的解決方案能夠滿足流暢的品質和可接受的效率。
C. I. Lin, Y. P. Sie, T. H. Lin, and P. L. Sun, “Slicing and halftoning algorithm for high quality color 3D printing,” Proceedings of IDW/AD, International Display Workshop (IDW 15’), Poster, Dec. 9-11, 2015, Otsu. Japan.
針對3D掃瞄器影像之色彩校正
我們實現了多項式迴歸來校正3D掃描模型的色彩資訊和亮度失真。此外，還從色差、亮度曲線圖和對比度對3D掃描影像的3D亮度校正進行了評估。
K. L. Chan, H. Y. Hsiao, T. H. Lin, and H. S. Chen, “Evaluation of Color correction operation for 3D scanning models,” Proceedings of IDW/AD, International Display Workshop (IDW 15’), Oral, Dec. 9-11, 2015, Otsu. Japan.
樓梯升降椅之樓梯/軌道測量(影像式3D)
樓梯升降椅屬於低樓層建築內常使用的開放式電梯，也經常拿來作為身無障礙空間工具。它的軌道必須沿著樓梯鋪設，往往都不容易測量精準。為了解決樓梯模型的3D重建，我們採用了影像3D重建，透過自行設計的特定校正板， 我們可以在各個階梯間測量及3D座標，並透過這些資訊輔助樓梯的模型建置，再進一步達到軌道規劃與事前設計等目的，避免因測量不精準而造成的經常性施工修改。
陣列立體相機之即時3D攝影
我們使用了24台相機立體相機(Etron Inc)，均勻排列環繞式分佈，24台立體相機接透過高速USB同步，並可達15fps攝影紀錄，因此我們可以拍攝3D模型/人物/動物的某一個瞬間，並且立刻將資料儲存為3D模型。
彩色3D列印之切層軟體演算法
本技術主要發展彩色3D列印機所需之切層軟體。由於3D模型的顏色紀錄僅有表面資訊，因此在不同的3D列印形式需要的切層模式不同。我們發展了FDM用的彩色(線段顏色內差)，以及體素式的3D切層(包含體素顏色混合)等技術。
2014年成果
手持式3D掃瞄器(Stereoscopy)
本技術採用深度攝影機(Etron Inc.)，Sterescopy立體影像形式，並搭配平板電腦，持續擷取深度影像(三角網格資料)，並透過連續影像的拼接連續3D影像的拼接，最終建構一個完整的3D掃描模型。
可看穿的防盜門
本文提出了一種可以看穿的“防盜門”，以創造一種透過室內看到室外景色的錯覺。這種錯覺是透過從放置在室外區域的兩個攝影機傳輸訊息，然後將它們的影像透過顯示器投射到室內來實現的。我們實現了門前的雙相機校正與拼接，並以投影機於門後投影，而該投影的相對觀測角度有考量特定視角，達到與場景融合的看穿效果。
H. F. Wang, C. C. Lan, J. Y. Huang, T. H. Lin, H. S. Chen, “Security Door,” Proceedings of IDW/AD, International Display Workshop (IDW 14’), Oral, Dec. 2014, Niigata, Japan.
單色模型彩色化研究
本技術討論了如何將單色模型彩色化，並比較了幾總映射的實作方法。在本文中，我們嘗試將高品質的色彩(特別是來自物理測量的色彩紋理)映射到3D牙模上，以建立逼真的彩色3D牙模。傳統上，3D掃描器產生的3D模型在幾何解析度和色彩品質方面都不佳。為了改善3D模型的外觀，我們使用繪畫工具並根據測量的顏色來繪製3D模型。最後並將幾個真實的牙齒模型與不同的RGB測量值進行比較。
C. C. Lan, H. F. Wang, T. H. Lin, P. C. Hu, H. S. Chen, “Study of realistic color painting for 3D models,” Proceedings of IDW/AD, International Display Workshop (IDW 14’), Poster, Dec. 2014, Niigata, Japan.
多視角混合貼圖技術
針對色彩方面的擷取與運算，整合校正所建構的3D模型與拍照相機的相對關係，我們透過投影方式將模型上的每個頂點或每個三角網格上色。此問題牽涉到多的層面如：資料型態，網格之空間遮蔽/干涉，考量點與面的可視性(visiablility)，多視角邊緣接縫問題。由於每個拍照面向可能看到同樣的模型表面，因此在決定模型顏色時勢必有多種可能，因而發展混合貼圖方法，以及透過光源均勻度校正(在前端解決)等方式解決。實驗結果顯示由右到左分別採用：可視圖方向之權重混合貼圖、可視圖方向之平均混合貼圖、最正面方向貼圖，以及照片次序優先決定貼圖。
自然光導光之自動追日系統
自然光導光系統，旨在引導陽光進入建築物進行輔助照明。當陽光垂直照射到採光系統的集熱器時，其照明性能最好，而當陽光傾斜時，其照明性能較差。為了克服這個問題，本文研究了將陽光垂直反射到日光照明系統上的定日鏡的設計。本研究提出了一種3×3鏡面矩陣定日鏡，它不同於傳統的單鏡定日鏡。使用定日鏡後，系統效率提高高達3.32倍。
C. H. Chang, H. C. Hsiso, C. M. Chang, C. Y. Wang, T. H. Lin, Y. Y. Chen, Y. L. Lai, C. J. Yen, K. Y. Chen, and A. J. W. Whang*, “Heliostat design for the daylighting system,” Applied Optics, 53(29), pp. H165–H169, 2014.
擬真材質貼圖研究
本研究討論了3D紋理模型的視覺外觀比較。在該研究中，我們收集了十個3D數位模型，每個模型都由三種類型的紋理貼圖來說明，即擴散貼圖、凹凸貼圖和法線貼圖。所有這些模型都是透過基於Visual Hull建模方法製作。在大多數情況下，具有法線貼圖的模型可改善外觀的視覺真實感。然而，凹凸貼圖和法線貼圖是由軟體產生的，在特定條件下可能會失敗。儘管如此，這對於3D模型渲染品質還是有幫助的。
T. H. Lin, C. C. Lan, C. H. Wang, and C. H. Chen, “Study on realistic texture mapping for 3D models,” International Conference on Information Science, Electronics and Electrical Engineering (ISEEE 2014), Oral, April 26-28, 2014, Sapporo, Japan.
濺射靶材表面形狀量測
客制化3D掃描器，用於工業應用服務。靶材屬於貴重材料並用於IC製程，透過3D掃描的監測，可以清楚資料材料的利用率，並可協助調整濺鍍製程參數，有效提升材料使用率。
3D模型之立體渲染的深度感知研究
這篇論文探討了在渲染3D模型與場景時，該如何定義和控制感知深度。在大多數3D操作軟體中，控制視差是渲染高品質感受3D模型所需的最重要功能。我們研究中定義了兩個重要變數：視差範圍和平均視差，用來量化分析渲染3D模型的3D效果。透過使用主觀問卷的實驗，由22位受試者的融合極限和深度感知數據，近一步回歸視差範圍和平均視差的分佈函數，用以量化3D感受與舒適感受。然後，根據這些參數的舒適範圍，再用於開發自動控制調整演算法。此演算法迭代地調整虛擬立體攝影機的參數，並同時將視差範圍和平均視差限制在舒適區域內。最後，透過使用問卷調查和關鍵融合頻率測試，我們驗證了這項演算法能夠顯著提高使用者在立體3D操作中的舒適指數。
T. H. Lin, S. Z. Hu, “Perceived depth analysis for view navigation of stereoscopic 3D models,” Journal of Electronic Imaging, 23(4), 043014, 2014.
雛形化3D掃瞄器開發
因應眾多客戶需求，我們將所持有的3D掃描技術進行雛形化與商品化。包含獨立掃描模組，以及自動掃描模組，可達到一鍵掃描。並且完成跨平台視窗界面程式開發(wxWidget)，可正常運作於windows / macOS / Jetson / Raspberry PI / Ubuntu環境。
2013年成果
透明與複雜形狀之3D重建-影子3D
複雜物件(例如網格結構或半透明材料)的3D重建是一項具有挑戰性的任務。形成複雜物體形狀的一種方法是探測其輪廓。我們提出了一種基於平面投射陰影和輪廓演算法形狀的 3D 重建系統。我們的工作重點是簡化校準程序並均衡所有捕獲影像中陰影的有效像素數量。透過這種設計，空間分辨率得到提高，並且能夠雕刻複雜的形狀。
T. H. Lin, H. T. Chang, S. J. Hu, “3D Reconstruction of Intricate Objects using Planar Cast Shadows,” ACM SIGGRAPH 2013, Poster, July 2013, Anaheim, CA, USA.
擴增投影用於實體畫作強化技術
使用投影機與CCD搭配之投影應用，主要目的在於改變實體影像之畫面顏色與風格。我們自行開發一套具有回饋機制的擴增投影裝置，該裝置包含投影機與相機。我們解決了空間校正的問題，並利用相機擷取實際圖像，經過運算後再將欲套疊的影像精準的投射回實體影像中。我們利用這樣的裝置可以達到真實物品的影像處理：例如可以把真實畫像強化對比，增加顏色豔麗性，強化輪廓等。亦可以用來修正展覽用圖畫之風格，例如解決畫像顏色不飽和的問題。
解析度可調整之3D掃描器
本文基於立體相機的3D掃描器系統，系統能夠取得各種解析度範圍資料。該系統由立體相機和一線雷射器組成。在每一對立體影像中，我們在物體表面投射一個雷射條紋，並分析它們的差異並估算它的距離值。我們發展次畫素演算法，特徵以增強CCD元件的原始解析度。在這個系統中，我們使用一個線雷射來掃描物體表面並在對極約束下產生對應關係。由於對應關係是由投射條紋的位置產生的，因此它們的解析度是可控的，該掃瞄器也僅使用VGA等級相機，凸現出次畫素演算法可以有效提升分辨率。
T. H. Lin, “Resolution adjustable 3D scanner based on stereo cameras,” Asia Pacific Signal and Information Processing 2013, Kaohsiung, Taiwan, Oct. 2013.
2012年成果
影像式環境光估算與擴增影像
我們開發了一套可以計算環境光源的演算法，該技術主要整合了電腦視覺對於影像之校正技術，假設環境光源皆為點光源且只考慮一次反射，透過自製校正板對光源的『方向』與『相對大小』進行估算。該方法可以輕鬆取得相機與目前環境光的相對關係，我們已可做到多盞燈光的計算，並以擴增實境方式驗證，將虛擬物件合成於拍照的影像中，並且渲染出擬真的光來源效果。
T. H. Lin, “Image Synthesis from Illumination Estimation,” Proceedings of IDW/AD, International Display Workshop 2012, Poster, Dec. 4-7, 2012, Kyoto, Japan.
立體相機矯正方法
本技術提出了一種針對以不同物理參數的立體影像之矯正方法。我們的方法透過分解關鍵影格的校正矩陣(Rectification)來線性插單應矩陣，使得立體相機可自動修正回平行架構，此外透過矩陣內差技術，我們亦產生虛擬視角。結果表明，我們的方法可以矯正立體影像，並且比傳統方法具有更平滑的轉換效果。
T. H. Lin, “Stereo Video Rectification by Using Interpolated Homographics,” Proceedings of IDW/AD, International Display Workshop 2012, Poster, Dec. 4-7, 2012, Kyoto, Japan.
立體攝影之自動深度控制
本技術提出了一種透過調整立體相機參數來控制深度感知的實作方法。我們採用電腦圖學的3D圖形模型和動作捕捉資料來模擬各種動作場景。目標是為具有特定動作的主體角色保持適當的3D效果，即是既舒適又有3D感。此方法分析每一幀的視差分佈，並且還考慮時間變化以實現連續幀之間的平滑過渡，經深度圖分析後，我們可以產生控制相機參數，包含FOV/Baseline/Vergence等。
T. H. Lin, “Controlling Depth perception of stereoscopic images under given constraints,” World Congress on Engineering and Computer Science 2012 (WCECS2012), Oral, Oct. 24-26, 2012, San Francisco, USA.
Visits: 1945