ABSTRACT Minimally invasive endoscopic procedures are gaining importance for better patient outcomes. While traditional systems use standard cameras, there is an increasing demand for 3D information to improve diagnostic and surgical accuracy. As a result, various 3D endoscopic systems have been developed, with structured‐light (SL) projection gaining traction for its compatibility with existing equipment. Despite advances in SL based scan, practical 3D endoscopy still faces key challenges. These include issues like pattern interference and pose estimation failures. Additionally, removing projected patterns to obtain clean texture images remain crucial for medical diagnosis. To address these challenges, we propose an approach based on neural signed distance field (neural SDF), incorporating a pattern reflection model. The method integrates (1) camera pose estimation using an electromagnetic sensors, (2) 3D shape measurement via SL projection, (3) multi‐frame shape integration using a neural implicit surface representation, and (4) removal of projected patterns from endoscopic images using a pix2pix model. To ensure robust optimization, electromagnetic tracking provides accurate initial camera poses for optimization. By simulating SL projection in the neural surface model and optimizing camera pose, projector pose, and surface geometry, and by removing SL projection from the captured images, we can obtain paired sequences of endoscopic and depth maps.

Abstract 3D measurement for endoscopic systems has been largely demanded. One promising approach is to utilize active‐stereo systems using a micro‐sized pattern‐projector attached to the head of an endoscope. Furthermore, a multi‐frame integration is also desired to enlarge the reconstructed area. This paper proposes an incremental optimization technique of both the shape‐field parameters and the positional parameters of the cameras and projectors. The method assumes that the input data is temporarily sequential images, that is, endoscopic videos, and the relative positions between the camera and the projector may vary continuously. As solution, a differential volume rendering algorithm in conjunction with neural signed distance field (NeuralSDF) representation is proposed to simultaneously optimize the 3D scene and the camera/projector poses. Also, an incremental optimization strategy where the optimized frames are gradually increased is proposed. In the experiment, the proposed method is evaluated by performing 3D reconstruction using both synthetic and real images, proving the effectiveness of our method.

Abstract Accurate 3D shape measurement is crucial for surgical support and alignment in robotic surgery systems. Stereo cameras in laparoscopes offer a potential solution; however, their accuracy in stereo image matching diminishes when the target image has few textures. Although stereo matching with deep learning has gained significant attention, supervised learning requires a large dataset of images with depth annotations, which are scarce for laparoscopes. Thus, there is a strong demand to explore alternative methods for depth reconstruction or annotation for laparoscopes. Active stereo techniques are a promising approach for achieving 3D reconstruction without textures. In this study, a 3D shape reconstruction method is proposed using an ultra‐small patterned projector attached to a laparoscopic arm to address these issues. The pattern projector emits a structured light with a grid‐like pattern that features node‐wise modulation for positional encoding. To scan the target object, multiple images are taken while the projector is in motion, and the relative poses of the projector and a camera are auto‐calibrated using a differential rendering technique. In the experiment, the proposed method is evaluated by performing 3D reconstruction using images obtained from a surgical robot and comparing the results with a ground‐truth shape obtained from X‐ray CT.

Abstract Reconstructing 3D shapes from images are becoming popular, but such methods usually estimate relative depth maps with ambiguous scales. A method for reconstructing a scale‐preserving 3D shape from monocular endoscope image sequences through training an absolute depth prediction network is proposed. First, a dataset of synchronized sequences of RGB images and depth maps is created using an endoscope simulator. Then, a supervised depth prediction network is trained that estimates a depth map from a RGB image minimizing the loss compared to the ground‐truth depth map. The predicted depth map sequence is aligned to reconstruct a 3D shape. Finally, the proposed method is applied to a real endoscope image sequence.

The acquisition of micro-vibrations is important for analyzing machinery. In the present study, we propose a method for measuring and visualizing the three-dimensional (3D) displacements of such micro-vibrations, especially in the case of sound waves propagating through space. The proposed method uses the speckle patterns of coherent light to measure the minute displacements. Speckle patterns are useful for detecting extremely small displacements owing to their sensitivity to the pose of the object. However, it is impossible to measure the displacement at each position because the pattern changes nonlinearly with respect to large depth changes. Therefore, a method of nonlinear low-dimensional embedding of the speckle pattern is proposed to analyze the displacements and extended to measure micro-displacements in a 3D space. We divided the 3D space into multiple slices and synchronously captured each speckle pattern. The displacements in the entire 3D space were simultaneously recovered by optimizing the embedded vectors, which were consistent in a 3D lattice. The propagation of sound waves in the 3D space was visualized using the volume-rendering technique. The experiments confirmed that the proposed method correctly measured the displacements by comparing them with the ground truth captured by microphones. We also visualized the wavefront of the sound wave propagating through space.

Abstract Background and study aims Polyp size measurement is an important diagnostic step during gastrointestinal endoscopy, and is mainly performed by visual inspection. However, lack of depth perception and objective reference points are acknowledged factors contributing to measurement errors in polyp size. In this paper, we describe the proof-of-concept of a polyp measurement device based on structured light technology for future endoscopes. Patients and methods Measurement accuracy, time, user confidence, and satisfaction were evaluated for polyp size assessment by (a) visual inspection, (b) open biopsy forceps of known size, (c) ruled snare, and (d) structured light probe, for a total of 392 independent polyp measurements in ex vivo porcine stomachs. Results Visual assessment resulted in a median estimation error of 2.2 mm, IQR = 2.6 mm. The proposed probe can reduce the error to 1.5 mm, IQR = 1.67 mm (P = 0.002, 95 %CI) and its performance was found to be statistically similar to using forceps for reference (P = 0.81, 95 %CI) or ruled snare (P = 0.99, 95 %CI), while not occluding the tool channel. Timing performance with the probe was measured to be on average 54.75 seconds per polyp. This was significantly slower than visual assessment (20.7 seconds per polyp, P = 0.005, 95 %CI) but not significantly different from using a snare (68.5 seconds per polyp, P = 0.73, 95 %CI). However, the probe’s timing performance was partly due to lens cleaning problems in our preliminary design. Reported average satisfaction on a 0 – 10 range was highest for the proposed probe (7.92), visual assessment (7.01), and reference forceps (7.82), while significantly lower for snare users with a score of 4.42 (P = 0.035, 95 %CI). Conclusions The common practice of visual assessment of polyp size was found to be significantly less accurate than tool-based assessment, but easy to carry out. The proposed technology offers an accuracy on par with using a reference tool or ruled snare with the same satisfaction levels of visual assessment and without occluding the tool channel. Further study will improve the design to reduce the operating time by integrating the probe within the scope tip.

非合焦画像からぼけを取り除くために符号化開口が有効であることが知られている．しかし，その開口形状の設計に関する研究は十分に行われていない．そこで本論文では実用的な設計法とその詳細な実装を示すことを目的とし，特に最適化に用いる遺伝的アルゴリズムの性能を大きく左右する交叉法の比較と評価を行う．また，ぼけ除去画像を認識に用いる場合，その画像の良し悪しは画質（視覚的品質）ではなくその後の認識率により評価されるべきである．そこで本論文では，PSNRを基準とした画質評価と，その画像を認識した際の認識率との関係を示す．Although coded aperture is known as an efficient technique to remove the optical blur from the defocused image, studies on designing the shape of the aperture have not been well explored yet. Therefore in this paper, we will show a practical method with detailed implementation of the optimization of the coded apertures. Especially, crossover process which strongly affects to the performance of genetic algorithm is intensively evaluated and compared with the other methods. In the context of object recognition, the performance of the deblurring should be evaluated by not the visual quality but the resultant recognition rates. Therefore we will show the relationships between PSNR-based image quality criterion and actual recognition rates through experiment.

One of promising approach to reconstruct a 3D shape is a projector-camera system that projects structured light pattern. One of the problem of this approach is that it has difficulty to obtain texture simultaneously because the texture is interfered by the illumination by the projector. The system proposed in this paper overcomes this issue by separating the light wavelength for texture and shape. The pattern is projected by using infrared light and the texture is captured by using visible light. If the cameras for infrared and visible lights are placed at different position, it causes the misalignment between texture and shape, which degrades the quality of textured 3D model. Therefore, we developed a multi-band camera that acquires both visible and infrared lights from a single viewpoint. Moreover, to reconstruct a 3D shape using multiple wavelengths of light, namely multiple colors, an infrared pattern projector is developed to generate a multi-band grid pattern. Additionally, a simple method to calibrate the system is proposed by using the fixed grid pattern. Finally, we show the textured 3D shapes captured by the experimental system.

本論文では，プロジェクタ--カメラシステムを用いて，動きのある対象の形状を高密度かつ高フレームレートに計測するシステムを提案する．非常に速い動きがあるシーンを高密度に計測するためには，時系列にパターンを切り替える手法は向かず，ワンショットでの計測が望ましい．その解決手法として，縦横の線からなるグリッドパターンの交点を用いたワンショット形状計測法を提案されてきた．しかしこれまで提案された手法では，交点情報のみによる解には曖昧性があり，一意に解を決めるには線間隔の粗密といった追加情報が必要であった．そこで本論文では，追加情報なしに交点のみから一意解を得る手法を提案する．提案手法は，1つのカメラと2つのプロジェクタからなり，それぞれのプロジェクタは平行線パターンを投影することで交点を生じさせ，その交点から形状を復元する．このようなシステムでは交点のみから，線形解法によって一意に解を決定することができるため，線間隔に粗密をつける必要がなくパターン密度を上げることが可能となる．さらに，複数のプロジェクタを用いることによって，パターンが遮蔽されて形状計測できない部分を大きく減らすことが可能である．実験では，実際にシステムを構築し，動物体の高密度な形状をビデオレートで計測することに成功した．Development of active 3D scanning system that can capture fast-moving dynamic objects is an important research topic for many applications. To capture fast-moving objects, a oneshot scanning method that uses a single static image is preferable than those that uses multiple patterns. Recently, oneshot scanning methods that use intersection points of grid patterns have been proposed. In those methods, solutions only from intersection points have ambiguity, and thus, additional information, such as variation of grid intervals, were used to solve this. However, the variation of grid intervals makes it difficult to increase the density of the pattern. In this work, we propose a system that consists of a camera and multiple projectors and each of the projectors projects a parallel line patterns instead of grid patterns. Shape is reconstructed from the intersection points between those two sets of parallel lines. It is shown that a unique linear solution is possible for such a system, thus, dense grid patterns with uniform intervals can be used to increase density of the pattern. Furthermore, by using two projectors, blind areas caused by occlusion and self-occlusion are drastically reduced. In the experiment, we built a system which consists of two projectors and a single camera, i.e., a minimum configuration of the method, and successfully captured a dense shape of fast moving object with video rate.

非常に高速に動く3次元物体の形状を高密度，高フレームレートで取得できれば，多くの物体解析や事故防止等に大きく貢献できる．本論文ではラインベースによるグリッドパターンからのワンショットスキャンを拡張して密な形状を取得できるシステムを提案する．ワンショットスキャンは1枚の画像から物体の形状を計測できるが，密なパターンを使用できないため，計測結果が疎になるなど幾つかの解決すべき課題があった．そこで，パターンの交点を用いた形状計測の拡張，デブルーイン系列とbelief-propagationによる線検出の効率化，という手法を組み合わせてこれらの課題を解決した．この提案手法とハイスピードカメラを用いて実験を行ったところ，高フレームレートで高速移動物体の密な形状の取得に成功した．

本論文では，ビデオカメラとプロジェクタを用いた3次元計測システムにおいて複数形状を計測し，それらの位置合わせ後に残る形状間のずれを最小化することで，計測精度を向上させる手法を提案する．プロジェクタ·カメラによる3次元計測では最初に校正を行い，その後，その校正パラメータを用いて計測を行う．校正の際，ノイズやレンズの歪みや量子化誤差などの影響により，校正パラメータに誤差が発生すると，復元される形状が歪むことになる．一般に，完全に誤差なく校正を行うことは困難であり，同じ物体を複数方向から計測し精密に位置合わせしても，各形状間には位置合わせ誤差が残る．そこで本論文では，この位置合わせ誤差を最小化するように，プロジェクタ·カメラの内部パラメータ（焦点距離），プロジェクタ·カメラ間の相対位置姿勢である外部パラメータ，複数のプロジェクタ·カメラセット間の剛体変換パラメータおよび点群の3次元座標を推定する．これはカメラのみにおけるバンドル調整法をプロジェクタ·カメラシステムに応用したものと考えることができる．提案手法により，3次元計測の精度向上および，それによる正確な形状統合が実現できることを示す．In this paper, we propose a new method to improve precisions of multiple 3D shapes acquired by a projector-camera active stereo system. The improvement of precision of the shapes is achieved by minimizing “gaps” between overlapping shapes that remains after registration algorithms are performed. To use projector-camera system for 3D acquisition, we must calibrate the system in advance. Then, we can measure 3D shapes using the calibrated parameters. Noise, lens distortions, or quantization errors can cause calibration errors, which often causes distortions of the reconstructed shapes. In general, error-free calibration is very difficult. So, even if we capture multiple shape data from an object and register all the shapes, there still remains errors between the shapes. In this paper, we re-estimate the extrinsic parameters between the camera and the projector and the focal length of the camera by minimizing the registration errors at the overlapping area of multiple shapes and the errors of epipolar constraints. The process improves the accuracies of the 3D measurement and corrects the rigid transformation parameters of the registrations of the shapes.

シーンの形状復元に影を使う手法が，これまでに提案されて来た．影は，光のあるシーンにおいてつねに存在するため，特殊な装置を用いることなく，屋外など，あらゆるシーンで観測できるという利点がある．特に，直線状のエッジを含む物体から対象シーンの表面に影が投影されると，エッジによって作られる影の境界線（以下影曲線）上の点は，エッジと光源を含む単一の平面上にある（共面である）ため，これを利用した手法が多く提案されている．しかし，これらの手法では，カメラの内部パラメータや光源位置，参照平面のキャリブレーションなどが必要であるため，適用可能なシーンが限られており，これまで実際に利用されることはあまりなかった．もし，これらの値が未知であっても形状復元が可能であれば，利用範囲が広がりその利便性も増す．そこで，本論文では，影曲線を含む平面と，シーン中の平面の集合について，平面間に成り立つ関係式を導き，連立方程式として解くことで，内部パラメータが未知，あるいは既知の平面（参照平面）がない場合でも形状復元を実現する手法を提案する．シミュレーションおよび実画像を用いた実験により，提案手法により正しく形状が復元されることを示す．To date, various techniques for scene shape reconstruction using shadows have been proposed. Shadows have the advantage that they can be used in outdoor and various other scenes without using special devices, since they exist wherever light is present. When an object with a straight edge casts a shadow on a scene, the points on the shadow boundary (shadow curve) are on a single plane that includes the light source and the edge (i.e. the points are coplaner). Previous shape reconstruction techniques that use such shadow boundaries require calibration of camera parameters, knowledge of light source position, and a reference plane. Since their application ranges are limited, such techniques have not been widely used. Hence, a technique capable of realizing reconstruction even when some of the values are unknown would be applicable to various scenes. This paper realizes such a technique. This technique reconstructs a 3D shape by solving the simultaneous equations of planer regions in the scene and the planes that include shadow curves. We conducted an experiment using simulated and real images to verify the correct shape reconstruction by the proposed technique.

コンピュータビジョンにおいて自己校正は重要な研究課題であり,ステレオカメラを中心に盛んに研究が行われてきた.ところが,光切断法などのようなアクティブビジョンシステムにおける自己校正に関する研究はこれまであまり行われてきていない.本論文では,光切断法におけるレーザ平面位置の自己校正手法について検討する.これは,固定カメラで撮影した画像系列で観測される複数のレーザ反射の曲線位置のみを用いて,各レーザ平面を推定する問題と定義される.この問題における拘束式は,観測された曲線間の交点から得ることができる.本論文では,相対的な位置関係が既知の2本のラインレーザを用いる場合には,この問題を解くことが可能であることを示す.最適化を用いてこの問題を解くには,目的関数の極小値の多さが問題となる.我々は近似された問題をGrobner基底を用いて解くことで,最適化のための初期解を得る方法を提案する.この初期解を用いれば,非線形最適化により最終的に高い精度で三次元復元が可能となる.

コンピュータビジョンの分野においては, 画像から物体の輪郭を抽出し, その時間的な変化からシーン中の物体の動きの解析を行うことは重要でかつ難しい問題であり, これまでにもさまざまな方法が提案されている.その中で, Snakesに代表されるエネルギー最小化の原理に基づいた方法がある.我々は時空間においてSnakesに類似したエネルギー最小化の原理に基づいた物体抽出手法としてActive Tubesを提案している.しかしActive Tubesをはじめとしたエネルギー最小化の原理に基づいた方法では, エネルギー項の係数決定を経験的に行わなければならないという問題点がある.本研究ではその問題点を解決するため, エネルギー関数の極小値を求める計算にニューラルネットワークを用いることを提案する.望ましい収束結果を教師データとして用いることのよって, エネルギー項の係数をニューラルネットワークに学習させることを試みた.エネルギー最小化の原理に基づいた手法としてActive Tubesを例とし, 実画像を用いた実験を行いニューラルネットワークによる収束の有効性を確認した.

本論文では, 動的輪郭モデルに基づいた新しい輪郭追跡モデルを提案する.そのために, 多重スケール画像(ピラミッド画像)と時空間画像とを組み合わせた新しい画像空間を導入する.この画像空間に管状の動的輪郭モデルを適用することで, 輪郭追跡を実現している.本モデルの長所として, 画像系列を先頭から順に処理することができ, カメラ画像などを撮影と同時に処理するような処理モデルに適用可能なこと, フレーム間での目標物体の移動量が比較的大きい場合にも追跡が可能であること, 追跡対象輪郭上の点の位置や速度の連続性の条件を利用することで, 安定した輪郭追跡が可能であること, 処理効率が高いことが挙げられる.

連続画像から物体の運動を解析することは, 重要でかつ困難な問題であり, これに対して多くの研究がなされてきた. 本論文で提案するActive Tubesは, 非剛体物体の運動を解析するためのモデルの一つである. このモデルは, Kassらの提案したSnakesを時間軸に沿って重ねたものとみなすことができ, Snakesと同様のエネルギー最小化の手法を用いて時空間画像中の物体を抽出する. 当初, Active Tubesの収束アルゴリズムとして, Greedy Algorithmを用いていた. しかし, Greedy Algorithmはノイズなどの影響を受けやすいため, 新しいアルゴリズムとしてRandomized Greedy Algorithmを提案する. 提案されたアルゴリズムはGreedy Algorithmと同程度に高速である上に, ノイズに対してより頑健である.

図と文章の相補的な利用はコミュニケーションの手段として非常に有効であり、計算機でこれらのメディアを統合的に解析、生成する必要性が高まっている。本稿では、そのようなメディアの統合を実現するための一つの手法として、教科書、専門用語辞典などに用いられる概念図を解析する手法について述ぺる。そのために、概念図のパターン憎報と説明文として付加されている自然言語テキストと両方の解析を行い、それらを統合する。統合の方法としては、概念図中の図形要素と説明文中の単語とのリンク付け、概念図の図形要素の意味を解釈することを行う。これにより、概念図とその説明文の有機的な結合、概念図の持つパターン情報の意味推定が可能になる。本研究では、情報科学辞典を対象に実際に解析を行い、その有効性を確かめた。

In this paper, we propose a new technique to achieve one-shot scan using single color and static pattern projector; such a method is ideal for acquisition of a moving object. Since a projector-camera systems generally have uncertainties on retrieving correspondences between the captured image and the projected pattern, many solutions have been proposed. Especially for one-shot scan, which means that only a single image is used for reconstruction, positional information of a pixel on the projected pattern should be encoded by spatial and/or color information. Although color information is frequently used for encoding, it is severely affected by texture and material of the object. In this paper, we propose a technique to solve the problem by using topological information instead of colors. Our technique successfully realizes one-shot scan with monochrome pattern.

水中での形状計測や解析に対する関心が高まっていることから、本研究では、高密度・高精度に広範囲の水中の３次元形状を計測する手法を開発する。提案手法では、ROVやAUVなど水中ロボットに開発する計測装置を搭載し、移動しながら水中の３次元形状を取得し、これらを位置合わせすることで、GPSの使えない水中においても広範囲の形状を計測する。
具体的には、本研究を通して、水中３次元計測の課題である、①屈折の影響や光量の減衰やベースライン不足による精度低下、②電波が届かず見通しの悪い水中での自己位置推定の難しさ、さらに③複数の３次元形状を統合することや計測結果の解析の困難さの解消を目指す。
初年度は、上記課題を解消するため、主に水中アクティブ３次元センサの基礎アルゴリズム開発および検証実験を実施した。具体的には、水中では中心投影カメラモデルが成り立たないため、ライトフィールドによる補正手法や、大きな歪に対応した近似モデルの２つの手法による解決を実現した。また、プロジェクタの光量の減衰については、ｉ）ラインレーザを用いる共面性復元を水中で使用するできるように変更するための理論構築および実装し実験した。これにより、従来のレーザ復元手法では、１本のラインレーザしか使用できなかったのに対し、共面性による本手法では、より多くのラインレーザを用いたグリッドパターンにより、高精度かつ高密度に３次元復元することができることを確認した。また、並行して、水中ロボットに3次元センサを設置して水中で広範囲の形状計測を実現するための水中ロボット開発やロボットに設置する3次元復元計測装置の開発、およびそれらを用いた実験を実施した。具体的にはＲＯＶに、現在開発を進めている水中3次元アクティブセンサを設置して、プールや港湾にて計測テストや精度評価を実施した。これら成果を査読付き会議へ投稿した他、九州大学から特許出願の予定である。

２０２０年度には、「（３）形状解像度，距離精度の向上」「（４）（深層学習による）複雑な対象形状への対応」を進めるための方策として，２０１９年度から継続して，格子パターンの抽出結果から格子グラフを作成し，グラフに対して作用するグラフ畳み込みネットワークを適用することでグラフのノードごとに格子点のIDを推定するアルゴリズムを開発した． さらに，そのようなグラフ畳み込みネットワークの学習を行うために，CGで学習用データを生成し，CGデータから学習用データを生成する手法を開発した．このような手法では，CGによって学習用画像を生成すると共に，例えばノードごとに対応IDを色で表現した画像をレンダリングすることによって，各ノードについての正解ID値をCG画像からサンプリングすることができる．また，大腸など，非常に複雑な対象形状への対応の準備として，大腸に似せた形状モデルに対して，パターン投影画像のCG描画を行う実験を実施した．研究成果の一部は，国際学会EMBCで発表された． また，投影パターンから，深層学習によって画像特徴（パターンの格子構造，コード情報など）を取得する際，大量の学習データを作成する必要があるが，このようなデータもCGで作成することは解決策の一つである．今年度は，CGで作成されたパターンで深層学習モデルの事前学習を行い，実際の少量のデータで実データに適合させる方法を開発した．その成果は，情報処理学会研究報告で報告された． また，３次元内視鏡に関する研究の一部を，２０２０年度に出版した大学院向けの教科書に掲載した．

本研究では、(Ａ)符号化したアパーチャをプロジェクタのレンズに設置することによるライトフィールド・プロジェクタを構築し、被写界深度の拡大を実現し、さらに、これを実システムで使用するため、(Ｂ)ライトフィールド・プロジェクタのキャリブレーション手法を開発し、加えて、複数台のプロジェクタを用いて（Ｃ）合成ライトフィールドを生成することで遮蔽物の多いシーンにおける密な３次元復元を実現するシステム、および（Ｄ）空間中の任意の平面に任意のパターンを描画するシステムを開発した。成果は著名な国際会議に採択され発表した他、特許出願した。

内視鏡の鉗子孔に通すことが可能な、超小型、高輝度化、長焦点深度のパターン光源を開発した。さらに、生体組織のように、パターン光源を照射した時に、散乱、鏡面反射によるハイライト、パターン中の輝点による露出過多の起きる物体でも、安定した計測が可能な能動ステレオ方式の形状計測手法を開発した。これらの成果を通常の内視鏡と組み合わせることで、豚の消化管内部の形状を、実際と同じスケールで計測することに成功した。

複雑な反射特性を有する物体の形状と反射特性を効率よくモデル化・レンダリングする手法を開発した．見えの計測と圧縮については，負値を取り扱う必要がないNMF（非負値行列因子分解）を用いることで，レンダリングの高速化にも寄与することを示した．また形状の計測については，照明の方位が不明でも陰影変化から物体の形状を求めることができる未校正照度差ステレオ法に関する研究を行った．

本研究課題では，光源環境を自由に変化できる装置と偏光解析を組み合わせることで法線を推定する技術を開発した．本研究期間では，透明物体の形状を計測するための基礎原理を確立し，透明物体の形状計測が可能であることを示唆する実験結果が得られた． また，当初の計画とは異なるアプローチで物体の表面形状を計測する技術の開発にも取り組んだ．照度差ステレオ法を改良し，鏡面反射のある有色物体の法線を推定する技術を開発した．

本提案の目的は、超高速な形状計測センサの開発および、計測した形状データを用いた応用の研究を行うことである。提案する形状計測手法は、プロジェクタから固定したパターンを投影し、観測対象上に写ったパターンをカメラで観測することによって形状を復元する。単一画像から形状データを得られるため、ハイスピードカメラを用いることにより、高速な事象の観測が可能な手法を開発した。これまでの実験により、1000～32000コマ/秒で撮影された、複雑かつ高密度な形状の計測に成功した。

プロジェクタとカメラを利用して、テクスチャ付きの全周囲3次元形状モデルを作成するシステムを構築する研究を行った。この研究により,(1)複数形状の位置合わせを精密に行う手法、(2)複数形状を統合した単一の全周囲モデルを高速に生成する方法、(3)多数の光源条件下で撮影された画像集合から、反射特性パラメータを推定し、統合されたテクスチャを生成する方法、(4)プロジェクタでパターンを投影することで運動する物体を計測することが可能な形状計測方法が開発された。

近年、脳神経外科領域では、頭蓋底手術の技術発達、微小手術解剖の詳細な検討により、脳神経、脳血管、頭蓋底構造物などの複雑な手術立体解剖の知識と多くの手術経験が要求される深部病変への手術が行えるようになってきた。一般に、脳神経外科医は経験をもとにCT(コンピュータ断層画像)、MRI(核磁気共鳴画像)、脳血管撮影により得られた情報と腫瘍の解剖学的見地を加味することで頭の中で立体構造をイメージし、頭の中で手術シュミレーションを行ったうえで手術到達法を作成する。本研究課題では、より安全な外科的治療を提供できる脳神経外科医の育成に寄与するため、仮想現実感(VR)技術を応用した触覚を伴った東部神経外科手術支援・シミュレーションシステムの開発を行う。平成18年度は以下のテーマについて研究する予定であった。 1.CT、MR画像からの精細な頭部3次元ソリッドモデルの構成 2.柔軟で変形可能なボリュームモデルの構築 3.CR、MR画像の高精度化 4.組織.器官の触覚モデルの作成 5.3次元ソリッドモデルの高速表示 6.CT、MR画像の領域分割アルゴリズムの検討研究 7.3次元空間における対話操作のためのデータ管理方式の研究 しかし、本年度からスタートした研究課題である上、9月末に研究全体を統括する研究代表者の急な退職により、研究打合せ等も十分であったとは言えず、実質的な研究成果はこれまでに継続していた研究の延長線上にある「どのボクセルに操作が適用されているのかを高速にハンドリングするための新しい空間データ構造であるMVR+木の開発に関する成果のみであった。

本研究の目的は,物質表面の微細形状や質感をモデル化し、表現するための手法の研究である. (a)立体形状を持つ物体をサンプリングし,CGとして再現するためには,物体の形状と見え(appearance)を,同時にサンプリングする必要がある.このための手法として,従来からラインレーザによる光切断法を用いてきたが,そのために必要なラインレーザの校正手法は,非常に複雑なものであった.本研究では,プロジェクタ,あるいはラインレーザを用いて物体の計測を行うために,光源の位置や方向などについて校正を行うことなく形状データを計測することができる手法を開発した.この手法については,3次元データ解析および可視化についての国際会議であるIEEE International Symposium on 3D Data Processing, Visualization and Transmission(3DPVT)と,国内最大のコンピュータビジョンの会議である、画像の認識・理解シンポジウム(MIRU)で発表された. (b)物体の見えのサンプリングを行い,CGとして描画可能なデータを得るための工程を行うためには,物体のサンプリング,サンプリングされた画像からのテクスチャの切り出し(レクティフィケーション),球面調和関数によるテクスチャデータの近似,テクスチャの統合など,複雑な処理を必要とする,これらの処理を行うために,従来はユーザが逐一パラメータと処理を指定していたが,その処理の煩雑さゆえにユーザに対する負荷が大きく,専門的能力を必要とした.そこで,これらの処理を,インタラクティブに行うことの出来るユーザインターフェースを開発した.

ネットワークカメラにより送られて来る映像情報から、移動オブジェクトを抽出・追跡し、移動物体に関する情報を初期イベントとして、監視制御システムに転送する。監視制御システムは、イベントの時系列を表現するイベントグラフにより表現された危険状態を保持し、送られてきたイベントから危険状態を判定する。今年度は、移動物体抽出、イベント生成、監視制御システムを統合したプロトタイプシステムを試作し、駐車場監視システムを適用した。移動オブジェクトとしては、車、人間、その他とし、監視空間(駐車場)内の駐車スロットごとに危険領域を設定した。危険状態として、移動オブジェクト同士の衝突、駐車スロット内への人間の長時間滞在を設定した。ビデオ映像から移動オブジェクトのおよその3次元位置、大きさ、色情報を抽出し、<オブジェクトID、時刻、位置、高さ、幅、色>をイベントとして、監視制御システムに転送する。2次元画像処理では映像上で重なっている移動オブジェクトは衝突と判定されるが、3次元位置を検出することで、3次元空間で衝突していない場合を判定可能とした。監視制御システムでは、危険領域(駐車スロット)を20個、通常監視領域を1個設定した。駐車スロットに対しては、人間の滞在時間により警報を発生させることとした。危険領域、通常管理領域とも、移動オブジェクト同士の衝突を危険状態として設定した。通常監視領域には、さらに、車の長時間滞在を危険状態として設定した。移動オブジェクトが、いずれかの状態に陥った場合、警報を発生させるものとする。映像からの移動物体の検出では、長時間の監視を行うため、背景の緩やかな変化に対応できる差分方式を提案し、実験により有効性を示した。監視制御システムでは、移動オブジェクト同士の衝突、指定領域内に含まれるオブジェクトの効率的な検索を実行するために時空間データ構造であるPMD木を応用した。実験より3次元位置を使うことで車同士の衝突の検出、衝突なしのすれ違いの検出がほぼ可能であった。

技術設計のデータベースにおいては,各設計間での参照関係が存在する.また,ある設計を一部修正して別のバージョンの設計とすることがしばしばである.設計データベースにおいては,図面が重要な役割をはたす.図面データを効率的に管理することが設計データベース管理システムでは要求されるが,各バージョンに対応した図面間では,一部しか変化していないにもかかわらず,全データをデータベースに格納されることが多く,データ量の増大をもたらす.そこで,本研究では,図面間の差分を効率的に管理し,変化しない部分を共有化する方式を提案した.すなわち,複数バージョンの図面データから重複部分を除くことで,効率的なバージョン管理構造を発案した.シミュレーション実験によれば,従来のもっとも単純な方式に比べ,必要なメモリー量を1/3に削減することが可能となった.しかも,データ検索効率は,従来法とほとんど同等の性能であった. また,HTML文書などの半構造化データを木構造で表現し,頻出する構造を検出することで,木構造を圧縮する手法を提案した. さらに,図面などの幾何構造データの接続関係,トポロジーを保存した可逆圧縮方式を提案し,グラフ文法で表現することが可能であることを示した.プラントソフトウェアの構造表現に,この方式を応用し,グラフ表現とソフトウェア構造を対応させることで,監視制御システムソフトウェアの半自動合成法を提案した.

原子力プラント、発変電所、駐車場などの屋外の施設や屋内の重要施設では、24時間の監視が要求される場合がある。現状では、ビテオカメラの映像を監視員がテレビモニターを目視することよるチェックが普通であるが、こういった業務は肉体的な疲労と精神的なストレスを伴う。本研究では、このような監視業務を支援するシステムに関する研究を実施した。具体的には以下の研究を行った. 1.パンチルトカメラにおいて,カメラ旋回中においても背景/フレーム間差分塗を利用するために,円筒面への投影画像を作成し,その画像における複数のテンプレートマッチングの結果を多数決にかけることで背景の移動量を推定し,補正することで差分法を利用できるようにするアルゴリズムを開発した. 2.PMD木というデータ構造を用いることで,監視対象において生じる時空間イベントを効率よく記録/検索することを提案し,その実相の性能評価を行った. 3.監視対象の施設を高い臨場感で再現するために,ウオークスルー可能な写真を用いた仮想3次元環境を構築する手法と,写真画質で変形可能な仮想オブジェクトを構築する手法について研究した. 4.時空間におけるイベントのパターンを学習,分類するために,位置情報を加えたグラフ表現を提案し,そのグラフデータの表現と検索方式,また,学習アルゴリズムを開発するためのパターンの抽出に関する研究を実施した.

従来,ポリゴンで構成されていたCG(コンピュータグラフィックス)モデルを内部の詰まったソリッドモデルで構成し,このソリッドモデルに対して,変形,切開などの操作を可能とした.また,ソリッドモデルの高速な表示アルゴリズムを考案し,実験により実用性を評価した.実際のシステムにソリッドモデルを適用するために,CT画像からのソリッドモデルへの変換方式を提案した.さらに,平成12年度に開発されたボリュームグラフィックスボードを購入し,汎用のPCにおいても,高機能ワークステーションと同程度のスピードでの描画性能を実現した.仮想的3次元空間中のオブジェクトに対する操作を実現するためには,メスと頭部表皮との交差判定や内部判定(以下,干渉チェックと呼ぶ)を高速に実現する必要がある.このためには,空間中のオブジェクトを効率的に管理し,距離に基づく検索を高速・確実に実行しなければならない.空間オブジェクトの管理と検索,さらにオブジェクトの時間的な変化の効率的管理方式として,PMD木というデータ構造を開発し,その性能評価を実施した.PMD木を用いることで,膨大な空間オブジェクトの時間的な変化や位置変化の履歴管理が可能であることを示した.CT画像や実写画像から変形可能な3次元モデルの作成方式に関する研究では,複数の実写画像と3次元地図から仮想3次元空間を構築し,その中をウォークスルーできるシステムの実現方式を提案した[8].さらに,オブジェクトをあらゆる方向から撮影することで,写真品質での変形可能な仮想オブジェクトを構築する方式を提案した.位置構造をもつグラフデータの表現と検索方式,パターンマッチシグ方式に関する研究を実施した.