Surface normal estimation of thin transparent objects from polarization of transmitted light
Surface normal estimation of thin transparent objects from polarization of transmitted light |
|
|
In this paper, we propose a novel method for estimating the surface shapes of transparent objects by analyzing the polarization state of the transmitted light. The target objects are thin transparent objects, such as bottles or glasses. Thin transparent objects less refract, thus, existing methods that analyze the light transport for shape estimation fail. On the other hand, our polarization-based method can estimate the unique surface normal of thin transparent object. |
| [1] Akihito Watanabe, Daisuke Miyazaki, "Surface normal estimation of thin transparent objects from polarization of transmitted light," 2022.8 | |
Image enhancement for dichromats using image pyramid based on saturation |
|
 |
To extend the ability of dichromats to recognize the color difference, we propose a method to expand the color difference when observed by dichromats. We analyze the color between the neighboring pixels in chromaticity space. In addition, we employ multiresolution analysis to form the Poisson equation. Our multiresolution analysis is non-linear depending on the saturation of each pixel's color. Solving the multiresolution Poisson equation results in the color enhanced image. |
| [1] Daisuke Miyazaki, Hodaka Tanida, "Image enhancement for dichromats using image pyramid based on saturation," 2022.8 | |
Specular removal of monochrome image using polarization and deep learning |
|
 |
We have proposed a method to remove specular reflection from a single polarization image. Most existing methods use color information for specular removal, however, those methods can neither be applied to monochrome images nor achromatic objects. To overcome this problem, we use polarization for specular removal. Most methods not only use polarization camera but also use polarized light, while we use polarization camera and unpolarized light. In addition to polarization, we also use a deep neural network to stably remove specular reflection in a grayscale image. |
| [1] Daisuke Miyazaki, Naoto Yoshimoto, "Specular removal of monochrome image using polarization and deep learning," 2022.6 | |
Example-based multispectral photometric stereo for multi-colored surfaces |
|
 |
本論文では，カラー照度差ステレオ法を解くために事例ベース照度差ステレオ法を用いる．カラー照度差ステレオ法を解くためには仮定や制約が必要だが，事例ベース照度差ステレオ法には不要である．平滑化項により法線が平滑化されてしまう既存研究と異なり，画素ごとに処理される提案手法は平滑化されていない法線が得られる．3色を用いる古典的カラー照度差ステレオ法と異なり，本研究では16色による多波長照度差ステレオ法で実験をおこなった． |
| [1] Daisuke Miyazaki, Kazuya Uegomori, "Example-based multispectral photometric stereo for multi-colored surfaces," Journal of Imaging, vol. 8, no. 4, article no. 107, 13 pages, 2022.4 | |
Color exaggeration for dichromats using weighted edge |
|
 |
色差を2色覚者が識別できるように色差を拡張する手法を提案した．近傍画素との色差を色度で表し，ポアソン方程式を導いた．また，エッジの重みとしてシグモイド関数を用いた．重みを変えられるようにしたことで，2色覚者が望む量の色差の強調を調整できるようになった． |
| [1] Daisuke Miyazaki, Harumichi Morimoto, "Color exaggeration for dichromats using weighted edge," The International Workshop on Frontiers of Computer Vision, pp. 18-33, 2022.2 | |
Multi-band Photometric Stereo Using Random Sampling of Channels and Pixels |
|
 |
本論文では多波長光源下で複数色物体の表面法線を推定する．各チャンネル，各画素でアルベドが異なるため，法線の推定は難しい問題である．本研究では，ランダムに画素を選ぶことで，この問題を解決する．近傍画素をランダムに選ぶと，同一アルベドの画素を選ぶ確率が高い．選択された画素が同一アルベドだった場合，法線を一意に決定することができる．提案手法の有効性を示すため，7色を用いた計測装置を用いた． |
| [1] Daisuke Miyazaki, Koumei Hamaen, "Multi-band photometric stereo using random sampling of channels and pixels," The International Workshop on Frontiers of Computer Vision, pp. 64-79, 2022.2 | |
Hue Enhancement for Dichromats Using Poisson Equation |
|
   |
2色覚の人が色差を識別できるするようにするため，色差を強調する手法を提案した．既存手法は色空間で色を解析するが，提案手法は画素空間で色を解析する．提案手法は近傍画素の色度の差をもとにポアソン方程式を導出する．ポアソン方程式を解くことにより得られる出力画像は，3色覚が知覚する色差と同じ色差を2色覚も知覚することができる． |
| [1] Daisuke Miyazaki, Shingo Fujimura, "Hue enhancement for dichromats using Poisson equation," Journal of Imaging Science and Technology, vol. 66, no. 1, article no. 010502, pp. 1-8, 2022.1 | |
Shape from Shading and Polarization Constrained by Approximate Shape |
|
  |
陰影情報と偏光情報から表面法線を推定する手法を提案する．光源3個を使う照度差ステレオ法と異なり，光源1個を使うshape-from-shadingは解くことが不可能な問題である．よって，shape-from-shadingの問題を解くためには追加の入力データや追加の仮定が必要となる．偏光によって法線の候補を制約することができるため，本研究では偏光を追加データとして利用する．また，一般によく使われる仮定として，物体色を単一色に制限するという仮定があるが，それでは応用範囲が限られてしまう．そのため，本研究では対象物体の近似形状を利用する．近似形状を用いることで，複数色物体の法線も推定することができるようになった． |
| [1] Daisuke Miyazaki, Wataru Muraoroshi, "Shape from shading and polarization constrained by approximate shape," International Conference on Machine Vision Applications (MVA), P2-12, pp. 1-5, 2021.7 | |
Surface Normal Estimation from Polarization and Shading under The Convexity Assumption |
|
  |
提案手法は偏光を用いて形状を推定する．単一画像からの法線推定としてよく用いられるのがshape-from-shadingである．その他の選択肢としてshape-from-polarizationがあるが，法線を一意に決定するためには追加の仮定が必要となる．本研究では，物体表面の局所形状が凸であることを仮定する．この仮定を用いると，陰影情報の微分情報から法線を一意に決定することができる． |
| [1] Daisuke Miyazaki, Naoki Kodama, "Surface normal estimation from polarization and shading under the convexity assumption," Optical Review, vol. 28, no. 4, pp. 411-424, 2021.7 | |
Uncalibrated Photometric Stereo Refined by Polarization Angle |
|
  |
未校正照度差ステレオ法では表面法線だけではなく光源方向も未知であるため，かなり難しい問題を扱っている．一方，偏光によって法線の候補を制約することができるため，提案手法では偏光を用いて表面法線を修正する． |
| [1] Daisuke Miyazaki, Shuhei Hashimoto, "Uncalibratred photometric stereo refined by polarization angle," Optical Review, vol. 28, no. 1, pp. 119-133, 2021.1 | |
Multispectral Photometric Stereo Using Intrinsic Image Decomposition |
|
  |
固有画像分解を使うことで，反射率に影響されない固有画像を計算することができる．固有画像は白色物体の画像であるため，古典的照度差ステレオ法を適用することで法線を推定することができる．光源3色の古典的カラー照度差ステレオ法と異なり，本研究では光源7色の多波長照度差ステレオ法を用いる． |
|
[1] 濱縁 幸明, 宮崎 大輔, 日浦 慎作, "多波長カラー照度差ステレオ法へのレチネックス理論の応用,"
画像の認識・理解シンポジウム, PS3-56, 4 pages, 2019.8 [2] Koumei Hamaen, Daisuke Miyazaki, Shinsaku Hiura, "Multispectral Photometric Stereo Using Intrinsic Image Decomposition," International Workshop on Frontiers of Computer Vision, OS5-1, 16 pages, 2020.2 ***Best Paper Award*** |
|
Shape Estimation of Concave Specular Object from Multiview Polarization |
|
  |
本論文では，凹形状物体の表面法線を推定する手法を提案する．対象物体は拡散反射のない鏡面物体とする．反射光の偏光状態を解析することで問題を解く．しかし，単一視点からの偏光データだけでは曖昧性があり，表面法線を一意に決定することができない．そのため，対象物体を2つ以上の視点から観測する必要がある．このとき，物体表面上の同一点で複数視点の偏光情報を解析しなければいけない．本研究では，物体表面はほぼ平面に近いと仮定した．この仮定により，表面法線を一意に決定することができた． |
| [1] Daisuke Miyazaki, Ryosuke Furuhashi, Shinsaku Hiura, "Shape estimation of concave specular object from multiview polarization," Journal of Electronic Imaging, vol. 29, no. 4, 041006, 23 pages, 2020.1 | |
Extending the Visibility of Dichromats Using Histogram Equalization of Hue Value Defined for Dichromats |
|
   |
2色覚の人も色の違いを判別できるようにする研究をおこなった．2色覚の人の色相を定義し，それをアルゴリズムに組み込んだ．また，2色覚の色相に対してヒストグラム平均化を適用することで，2色覚の人が色の違いをできるだけ判別できるようにした． |
| [1] Daisuke Miyazaki, Sayaka Taomoto, Shinsaku Hiura, "Extending the visibility of dichromats using histogram equalization of hue value defined for dichromats," International Journal of Image and Graphics, vol. 19, no. 3, 1950016, 13 pages, 2019.7 | |
Color Photometric Stereo Using Multi-Band Camera Constrained by Median Filter and Occluding Boundary |
|
  |
本研究では，アルベドの制約条件としてメディアンフィルタを用い，表面法線の制約条件として遮蔽境界における表面法線を用いた．メディアンフィルタを制約条件として用いることで，アルベドと法線が滑らかになる一方，アルベドや法線が大きく変化する先鋭な箇所は保たれる．遮蔽境界における法線を物体領域内部に伝搬することで，物体のおおまかな形状が求まる．物体のおおまかな形状は，表面法線の初期値として利用できる．3色光源による古典的カラー照度差ステレオ法と異なり，本研究では7色光源による多波長照度差ステレオ法で提案手法の有効性を示す． |
|
[1] 宮崎 大輔, 大西 優花, 日浦 慎作, "マルチスペクトル照度差ステレオ法による形状計測,"
画像電子学会年次大会, OS2-3, 4 pages, 2019.6 [2] Daisuke Miyazaki, Yuka Onishi, Shinsaku Hiura, "Color Photometric Stereo using Multi-band Camera constrained by Median Filter and Occluding Boundary," Journal of Imaging, vol. 5, no. 7, 64, 29 pages, 2019.7 |
|
Uncalibrated Photometric Stereo Constrained by Intrinsic Reflectance Image and Shape from Silhouette |
|
  |
未校正照度差ステレオ法は表面法線だけでなく光源方向も未知であるため，解くことが難しい問題として知られている．本研究では，固有画像分解を用いることで，入力画像列だけから反射率を推定する．また，他のセンサを使わず，画像だけから物体のおおまかな形状を推定する．この2つの制約条件を用いることで，未校正照度差ステレオ法を解くことができることを示した． |
|
[1] 橋本 修平, 宮崎 大輔, 河本 悠, 日浦 慎作, "遮蔽境界の法線と平均画像を前処理に用いた未校正照度差ステレオ法,"
画像の認識・理解シンポジウム, PS1-57, 4 pages, 2018.8 [2] Shuhei Hashimoto, Daisuke Miyazaki, Shinsaku Hiura, "Uncalibrated photometric stereo constrained by intrinsic reflectance image and shape from silhouette," International Conference on Machine Vision Applications, 01-05, pp. 1-6, 2019.5 |
|
偏光とエントロピー最小化による未校正照度差ステレオ法の検討 |
|
 |
|
| [1] 宮崎大輔, 川崎拓, 河本悠, 日浦慎作, "偏光とエントロピー最小化による未校正照度差ステレオ法の検討," 画像の認識・理解シンポジウム, article no. PS3-11, 4 pages, 2017.08 | |
ジョイントバイラテラルフィルタを用いた多波長カラー照度差ステレオ法 |
|
  |
|
| [1] 宮崎大輔, 石黒健司, 河本悠, 日浦慎作, "ジョイントバイラテラルフィルタを用いた多波長カラー照度差ステレオ法," 研究報告コンピュータビジョンとイメージメディア, vol. 2017-CVIM-207, no. 40, pp. 1-8, 2017.05 | |
Surface Normal Estimation of Black Specular Objects from Multiview Polarization Images |
|
  |
反射光の偏光解析により，鏡面黒色物体の表面法線を推定する手法を提案する．単一視点の偏光画像から表面法線を一意に決定することができないため，本研究では複数視点から物体を観測した．また，複数視点における対応点で反射光の偏光解析をするため，視体積交差法により求めたおおまかな形状を利用した． |
|
[1] 重富卓哉, 松本千賀子, 宮崎大輔,
馬場雅志, 浅田尚紀, "ステレオ偏光情報を用いた物体の３次元形状復元,"
画像の認識・理解シンポジウム, pp. 880-887,
2010.07 [2] Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Surface normal estimation of black specular objects from multiview polarization images," SPIE Optical Engineering, vol. 56, no. 4, pp. 041303-1-041303-17, 2016.09 |
|
Optimization of LED Illumination for Generating Metamerism |
|
 |
メタメリズムを活用したトリックアートを作成する手法を提案する．2つの油絵の具が，ある光源下では同じ色に見え，別の光源下では異なる色に見えるように，2つの光源を算出した． |
| [1] 宮崎大輔, 中村美亜, 馬場雅志,
古川亮, 日浦慎作,
"メタメリズム生起のためのLED照明の最適化," MIRU2015 Extended Abstract, article
no. DS1-5, 2 pages, 2015.07 [2] Daisuke Miyazaki, Mia Nakamura, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, "Optimization of LED illumination for generating metamerism," Journal of Imaging Science and Technology, vol. 60, no. 6, pp. 60502-1-60502-15, 2016.11 |
|
メタメリズム生起のための光源色・物体色の同時最適化 |
|
 |
|
| [1] 宮崎大輔, 中根郁実, 古川亮, 日浦慎作, "メタメリズム生起のための光源色・物体色の同時最適化," 研究報告コンピュータビジョンとイメージメディア（CVIM）, vol. 2016-CVIM-204, no. 13, pp. 1-8, 2016.11 | |
マルチバンドカメラを用いたワンショット照度差ステレオ法 |
|
  |
|
| [1] 津田 香林, 宮崎 大輔, 古川 亮, 日浦 慎作, "マルチバンドカメラを用いたワンショット照度差ステレオ法," MIRU2016 Extended Abstract, article no. PS2-44, 2 pages, 2016.08 | |
Metamerism-Based Shading Illusion |
|
 |
本研究では，メタメリズムを利用したトリックアートの作成手法を提案する．与えられた光源下でメタメリズムが生起する条件を満たす油絵の具を提案手法によって計算する．実験では，2 光源・4 物体色の間で生起されるメタメリズムについて計算を行った．これにより擬似的な陰影を表現することができ，二次元の絵画が三次元の物体として知覚されるトリックアートを実現することができた． |
| [1]
Daisuke Miyazaki, Takafumi Saneshige, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura,
"Metamerism-based Shading Illusion," In The 14th IAPR
Conference on Machine Vision Applications
(MVA 2015), pp. 255-258, 2015.05 [2] 宮崎大輔, 實重貴文, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "擬似的な陰影を知覚させる油絵の具の混合," 画像電子学会誌, vol. 44, no. 4, pp. 649-654, 2015.09 |
|
赤外線カメラのキャリブレーションおよび透明物体の3次元形状復元への応用 |
|
  |
|
| [1] 奥下拓真, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "赤外線カメラのキャリブレーションおよび透明物体の３次元形状復元への応用," 画像の認識・理解シンポジウム (MIRU), article no. SS2-19, 2 pages, 2014.7 | |
Polarization-Based Dehazing Using Two Reference Objects |
|
  |
ヘイズが発生している画像の視認性を向上するために偏光を使う手法を提案する．ヘイズのパラメータを推定するため，2つの既知の参照物体を用いる．パラメータが推定されたら，画像をきれいに改善することができる． |
| [1]
Daisuke Miyazaki, Daisuke Akiyama, Masashi Baba, Ryo
Furukawa, Shinsaku Hiura, Naoki Asada,
"Polarization-based dehazing using two reference
objects," Proc. IEEE International Conference on
Computer Vision Workshops (CPCV), pp. 852-859, 2013.12 [2] 宮崎大輔, 秋山大輔, 馬場雅志, 古川亮, 日浦慎作, 浅田尚紀, "偏光と参照物体を用いた視程障害画像の視認性改善," 画像の認識・理解シンポジウム (MIRU), article no. SS1-14, 2 pages, 2013.7 |
|
High Density Shapes Using Photometric Stereo and Laser Range Sensor under Unknown Light-Source Direction |
|
  |
レーザーレンジセンサにより得られた三次元形状と照度差ステレオ法を組み合わせて表面法線を推定する手法を提案する．照度差ステレオ法では光源方向が既知でなければいけないという問題点があるが，提案手法は光源方向を未知として推定する．光源方向が未知であるため，応用範囲は広い． |
| [1]
Tomoyuki Kamikawa, Daisuke Miyazaki, Masashi Baba, Ryo
Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada,
"High Density Shapes Using Photometric Stereo and
Laser Range Sensor under Unknown Light-Source
Direction," Proc. IAPR Workshop on Machine Vision
Applications (MVA2013), pp. 125-128, 2013.5 [2] 上川智幸, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "疎な3次元形状を制約条件とした未校正照度差ステレオ法による密な3次元形状の推定," 研究報告コンピュータビジョンとイメージメディア (CVIM), vol. 2013-CVIM-189, no. 5, pp. 1-6, 2013.11 |
|
口唇形状と音声の相関にもとづく発話者検出に関する検討 |
|
  |
|
| [1] 宮崎大輔, 甲斐寛規, 馬場雅志, 青木広宙, 古川亮, 青山正人, 日浦慎作, "口唇形状と音声の相関にもとづく発話者検出に関する検討," 画像の認識・理解シンポジウム (MIRU), article no. SS4-17, 2 pages, 2013.7 | |
鏡面反射の偏光に基づく事例ベース表面法線推定 |
|
  |
|
| [1] 小野晶久, 宮崎大輔, 馬場雅志, 青木広宙, 古川亮, 青山正人, 日浦慎作, "鏡面反射の偏光に基づく事例ベース表面法線推定," 画像の認識・理解シンポジウム (MIRU), article no. SS3-20, 2 pages, 2013.7 | |
Optimization of 3D Shape Sharpening Filter Based on Geometric Statistical Values |
|
  |
石像の鋳型に石膏を入れて固めた物が石膏像である．本研究では，石膏像の3Dデータに鮮鋭化フィルタを適用することで，元の石像のディテールを再現する． |
| [1]
Masanari Yokomizo, Daisuke Miyazaki, Masashi Baba, Ryo
Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada,
"Optimization of 3D Shape Sharpening Filter Based on
Geometric Statistical Values," Proc. IAPR Workshop
on Machine Vision Applications (MVA2013), pp. 260-263,
2013.5 [2] 横溝将成, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, 浅田尚紀, "幾何学的統計量に基づく３次元形状鮮鋭化フィルタの最適化," 画像の認識・理解シンポジウム, 2012.08 |
|
A First Introduction to Metamerism Art |
|
  |
メタメリズムを利用したトリックアートを作成する研究を実施した．本研究では，メタメリズムを生じさせる塗料の混合比率を推定する手法を提案した． |
| [1] Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "A First Introduction to Metamerism Art," SIGGRAPH Asia 2012 Posters, pp. 17:1-17:1, 2012.11-12 | |
Interactive Removal of Shadows from A Single Image Using Hierarchical Graph Cut |
|
  |
1枚の画像から影を除去する手法を提案した．ユーザがヒントを入力できるようにした．影の暗さはグラフカットによるエネルギー最小化で求めた．計算速度を短縮するため，多値ラベル問題をグラフカットで解く際，階層的にグラフカットをおこなうアルゴリズムを提案した． |
| [1] Daisuke Miyazaki, Yasuyuki Matsushita, Katsushi Ikeuchi, "Interactive removal of shadows from a single image using hierarchical graph cut," IPSJ Transactions on Computer Vision and Applications, vol. 2, pp. 235-252, 2010. | |
Photometric Stereo under Unknown Light Sources Using Robust SVD with Missing Data |
|
  |
特異値分解を利用することで，光源方向が未知の場合でも照度差ステレオ法を解くことができる．しかし，外れ値の影響を受けるという問題がある．そこで，外れ値にロバストにするため，特異値分解を階層的に適用する手法を提案する． |
| [1] Daisuke Miyazaki, Katsushi Ikeuchi, "Photometric stereo under unknown light sources using robust SVD with missing data," Proc. International Conference on Image Processing, 2010.09 | |
Median Photometric Stereo as Applied to The Segonko Tumulus and Museum Objects |
|
  |
鏡面反射に対してロバストな照度差ステレオ法を提案する．物体の形状と色が滑らかであることを仮定し，適切にコスト関数を定義することで，外れ値が除外される手法を提案する． |
| [1] Daisuke Miyazaki, Kenji Hara, Katsushi Ikeuchi, "Median Photometric Stereo as Applied to the Segonko Tumulus and Museum Objects," International Journal of Computer Vision, Vol. 86, No. 2-3, pp. 229-242, 2010.01 | |
Wavelet-Texture Method: Appearance Compression by Polarization, Parametric Reflection Model, and Daubechies Wavelet |
|
  |
まず，直線偏光板を用いることで拡散反射と鏡面反射を分離した．続いて，それぞれの反射成分ごとに反射モデルのパラメータを推定した．最後に，入力画像とレンダリング画像の差をウェーブレット変換で圧縮した．レンダリング時は，反射パラメータを使って拡散反射と鏡面反射を計算し，逆ウェーブレット変換で復元した差分を追加することで，写実的なレンダリング画像が得られる． |
| [1]
Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi,
"Wavelet-Texture Method: Appearance Compression by
Polarization, Parametric Reflection Model, and Daubechies
Wavelet," International Journal of Computer Vision,
Vol. 86, No. 2-3, pp. 171-191, 2010.01 [2] 宮崎 大輔, 柴田 卓司, 池内 克史, "Wavelet-Texture法：Daubechiesウェーブレットとパラメトリック反射モデルと円偏光板によるBTF圧縮," 電子情報通信学会論文誌D-II, Vol.J90-D, No.8, pp.2081-2093, 2007.08 |
|
Estimating Sunlight Polarization Using a Fish-Eye Lens |
|
  |
一般的な計測状況を想定し，魚眼レンズが真上に向いていない状況で，空の偏光解析をおこなった．魚眼レンズとカメラと直線偏光板を組み合わせた計測装置を傾けたときの空の偏光パターンがどのように変化するか解析した． |
| [1] Daisuke Miyazaki, Mahdi Ammar, Rei Kawakami, Katsushi Ikeuchi, "Estimating Sunlight Polarization Using a Fish-eye Lens," IPSJ Transactions on Computer Vision and Applications, Vol. 1, pp. 288-300, 2009 | |
偏光の基礎理論とその応用 |
|
 |
偏光は古くから知られている物理現象であり，これまでに様々な研究がなされてきた．偏光は，物質の構造を知るような物理学的な応用だけでなく，立体視スクリーンなどのようなエンターテインメントへの応用もあり，幅広い応用が考えられている．偏光に関する研究は主に光学の分野で行われているが，近年，他の分野でも偏光に関する研究は増えてきている．その中でも，本論文では，コンピュータビジョンの分野でなされている偏光に関する研究を紹介する． |
| [1] 宮崎大輔, 池内克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6 | |
Shape Estimation of Transparent Objects by Using Inverse Polarization Raytracing |
|
  |
偏光レイトレーシング法は光線の追跡をするレイトレーシング法と光の偏光状態を計算するミュラー計算法を組み合わせたものである．まず，透明物体の形状の初期値を設定する．次に，偏光レイトレーシング法で計算した偏光レンダリング画像と偏光入力画像の差を最小化させるように形状を変化させる．最後に，反復計算が収束した後，物体の形状が得られる． |
| [1] Daisuke Miyazaki, Katsushi Ikeuchi, "Shape Estimation of Transparent Objects by Using Inverse Polarization Raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol.29, No.11, pp.2018-2030, 2007.11 | |
二色性反射モデルに基づくリアルタイム鏡面反射成分除去 |
|
  |
|
| [1] 肥後 智昭, 宮崎 大輔, 池内 克史, "二色性反射モデルに基づくリアルタイム鏡面反射成分除去," 情報処理学会コンピュータビジョンとイメージメディア研究会 (CVIM), pp.211-218, 福岡, 2006.09 | |
Polarization-Based Shape Estimation of Transparent Objects by Using Raytracing and PLZT Camera |
|
    |
本論文の前半では，偏光を用いて透明物体の形状を推定する．提案手法では，レイトレーシング法を用いて相互反射を考慮する．また，ミュラー計算法により光の偏光状態も計算する．入力偏光データとレンダリング偏光データの差を最小化する反復計算により物体形状を推定する．本論文の後半では，光の偏光状態を計測する装置を示す．電圧を変えることで状態が変わるPLZTという物質を使い，光を解析する． |
| [1] Daisuke Miyazaki, Noriyuki Takashima, Akira Yoshida, Eiki Harashima, Katsushi Ikeuchi, "Polarization-based Shape Estimation of Transparent Objects by Using Raytracing and PLZT Camera," in Proceedings of SPIE (Polarization Science and Remote Sensing II, Part of SPIE’s International Symposium on Optics and Photonics 2005), Vol.5888, pp.1-14, San Diego, CA USA, 2005.08 ★Invited talk★ | |
Creating Photorealistic Virtual Model with Polarization Based Vision System |
|
  |
レーザーレンジセンサと偏光を用いた計測装置により，写実的なCGモデルを取得する方法を提案する．物体を回転台に置き，レンジ画像とカラー画像を取得する．複数のレンジ画像を統合することで形状が得られる．点光源下のカラー画像も得られる．得られた形状とカラー画像列から，反射モデルのパラメータを推定する． |
| [1] Takushi Shibata, Toru Takahashi, Daisuke Miyazaki, Yoichi Sato, Katsushi Ikeuchi, "Creating Photorealistic Virtual Model with Polarization Based Vision System," in Proceedings of SPIE (Polarization Science and Remote Sensing II, Part of SPIE’s International Symposium on Optics and Photonics 2005), Vol.5888, pp.25-35, San Diego, CA USA, 2005.08 | |
Transparent Surface Modeling from A Pair of Polarization Images |
|
  |
偏光度と表面法線の対応関係は1対1ではない．この曖昧性を解くため，本論文では，通常の位置の物体と，少し傾けた物体の偏光データを比較する．本論文では物体表面の幾何学的性質を議論し，物体表面上で同一点で2つの偏光データを対応させる方法を示す． |
| [1]
Daisuke Miyazaki, Masataka Kagesawa, Katsushi Ikeuchi,
"Transparent Surface Modeling from a Pair of
Polarization Images," IEEE Transactions on Pattern
Analysis and Machine Intelligence (PAMI), Vol.26, No.1,
pp.73-82, 2004.01 [2] 宮崎大輔, 池内克史, "偏光と放物的曲線の解析による透明物体の表面形状計測," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol.44, No.SIG9, pp.86-93, 2003.07 |
|
Polarization-based Inverse Rendering from A Single View |
|
  |
視点と光源方向が固定された状態で，単一視点から観測した物体の幾何学的，光学的，環境的情報を取得する方法を提案する．提案手法は偏光から表面法線を推定し，拡散反射成分からテクスチャを取得し，鏡面反射成分から光源方向を取得し，物体表面の粗さを取得する． |
| [1] Daisuke Miyazaki, Robby T. Tan, Kenji Hara, Katsushi Ikeuchi, "Polarization-based Inverse Rendering from a Single View," in Proceedings of International Conference on Computer Vision (ICCV2003), pp.982-987, Nice, France, 2003.10 | |
Determining Surface Orientations of Transparent Objects Based on Polarization Degrees in Visible and Infrared Wavelengths |
|
  |
可視光の反射光と赤外線の放射光の偏光度を解析することで透明物体の表面形状を取得する手法を提案する．可視光の反射光の偏光度により，表面法線を取得する．可視光の偏光度からは法線の候補が2つ出てきてしまうが，遠赤外の偏光度を使うことでこの曖昧性を解くことができる． |
| [1]
Daisuke Miyazaki, Megumi Saito, Yoichi Sato, Katsushi
Ikeuchi, "Determining surface orientations of
transparent objects based on polarization degrees in
visible and infrared wavelengths," Journal of
Optical Society of America A (JOSA A), Vol. 19, No. 4,
pp.687-694, 2002.04 [2] 斉藤 めぐみ, 佐藤 洋一, 池内 克史, "赤外光の偏光解析とその透明物体形状モデリングへの応用," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol. 41, No. SIG10, pp. 12-18, 2000.12 |
|
The Great Buddha Project: Modelling Cultural Heritage through Observation |
|
    |
形状モデルの生成のために，同時位置合わせとマージングの手法を開発した．光学モデルの生成のために，現実物体の写実的なモデルを取得するための固有テクスチャ法を開発した．CG物体を現実のシーンに合成するため，現実の照明下にあるCG物体をレンダリングする手法を開発した．これらの要素技術を，鎌倉の大仏のマルチメディアモデルを生成するために用い，有効性を示した． |
| [1] Daisuke Miyazaki, Takeshi Ooishi, Taku Nishikawa, Ryusuke Sagawa, Ko Nishino, Takashi Tomomatsu, Yutaka Takase, Katsushi Ikeuchi, "The Great Buddha Project: Modelling Cultural Heritage through Observation," in Proceedings of the Sixth International Conference on Virtual Systems and MultiMedia (VSMM2000), pp.138-145, Gifu, Japan, 2000.10 ★Best overall paper★ | |
