ロボットビジョン ハンドアイキャリブレーション導入｜受入要件

ロボットビジョンのハンドアイキャリブレーションを導入するとき、カメラの画像でワークが見えたことと、ロボットが安定してその位置へ到達できることは別の合格条件です。特にタイ工場で複数の設備メーカーやインテグレーターが関わる案件では、「何を基準座標にするか」「どの姿勢でデータを取るか」「どのワークで合否を判定するか」を発注前に決めておく必要があります。本記事は導入担当者がRFP、FAT、SATに落とし込めるよう、校正の仕組み、誤差の切り分け、運用時の再校正までを整理します。個別機種の精度や投資回収額を一般値として約束する記事ではありません。

まず決めるべきこと：カメラが動くか、固定されるか

「ハンドアイ」は、ロボットとカメラの座標関係を求める仕事の総称として使われます。手首・ツールにカメラを載せる eye-in-hand では、カメラがロボットの移動と一緒に動きます。設備側にカメラを固定する eye-to-hand では、ワークとロボットを外部から観察します。二つは治具、ケーブル、撮影姿勢、校正ターゲットの固定位置、後からの再校正作業が異なります。OpenCVの公式資料も両構成を分けて変換行列を説明しています。OpenCVのhand-eye校正資料

手首搭載が適するのは、ロボットが複数位置から同じ対象を見る、遮蔽物を避けて近づく、カメラの視野を動的に使う場合です。ただし、カメラブラケット、配線の屈曲、ツール交換時の取り付け再現性が座標関係に影響します。固定式は視野内の複数ワークやコンベヤ周辺をまとめて見やすい一方、据付構造とロボットベースの相対位置が変われば変換を見直します。Cognexの公式手順も、カメラをロボットに搭載する方式と固定する方式を区別して扱っています。CognexのVGR手順

既存のロボットビジョン導入全体像を読んで方式を絞った後、ここでは座標系の整合と受入試験だけを深掘りします。移動ワークや深度カメラが主題なら、3Dビジョンとコンベヤ追従も併せて確認してください。そこでは追従や時刻同期の課題が加わるため、静止ワークの校正合格だけでは十分ではありません。

ハンドアイキャリブレーションとは何を求める作業か

ロボットのコントローラーは、ベース、フランジ、ツール中心点（TCP）などの座標を管理します。カメラ側は画像座標、カメラ座標、校正ボードの座標を持ちます。ピッキングでは、画像上で見つけたワークの位置・向きを、ロボットが動作する座標へ変換しなければなりません。例えば eye-in-hand では、カメラからツール側への剛体変換を求め、ロボットが報告するフランジ姿勢と組み合わせます。eye-to-hand では、固定カメラとロボットベースの関係を求めます。フレームの向きを取り違えた行列は、数式上は計算できても実ワークでは誤位置を指示します。

この変換を求めるため、既知寸法のターゲットを複数のロボット姿勢で撮影し、各撮影時のロボット姿勢を対応づけます。OpenCVの calibrateHandEye は、ロボットのgripper→baseとターゲット→cameraを入力し、camera→gripperを出力します。eye-to-handでは入力変換の組み方が変わるため、実装者はフレーム名、矢印の向き、単位、回転の表現を図とテストデータで固定すべきです。OpenCVは解を決めるには平行でない回転軸を含む動きが必要で、少なくとも三つの異なる姿勢、実務ではさらに多くの姿勢を勧めています。これは姿勢の数だけを増やせば合格するという意味ではありません。OpenCV Camera Calibration

ターゲットの「既知寸法」は印刷ファイル上の設計寸法だけを意味しません。印刷・貼付・板の反り・固定具のたわみで物理寸法や平面性が変われば、画像から得る位置推定にも影響します。発注書にはターゲットの種類、実測寸法、識別ID、固定方法、交換時の再確認を含めます。固定ボードは校正の途中に動かさないこと、均一に照らし影を避けることをUniversal Robotsの手順も明示しています。URカメラ校正手順

内部パラメータ、TCP、ハンドアイを混同しない

校正という一語で三つの異なる作業をまとめると、FATで不具合が出たときの責任分界が曖昧になります。カメラ内部パラメータは焦点距離、主点、レンズ歪みなど画像と光線の関係です。TCPはロボットのフランジから実際の作業点までの位置・向きです。ハンドアイ変換はロボット側のフレームとカメラ側のフレームを結ぶ外部関係です。どれか一つを調整して他の誤差を隠すと、検証位置を変えたとたんに誤差が再発します。

OpenCVのカメラ校正APIは、複数視点のパターンから内部・外部パラメータを求め、再投影誤差を返します。ただし再投影誤差は画像上の一致を示す指標であり、把持点での実到達誤差をそのまま保証する値ではありません。OpenCV calib3d資料 一方、Universal RobotsのTCP資料では、TCPをフランジに対する並進・回転として定義し、アクティブTCPが動作に使われることを示しています。ツール交換後に別のTCPが選択されているだけでも、画像側が正しくても動作点はずれます。UR TCP設定資料

導入時は三つを別ファイル・別版数で保存し、「誰が」「いつ」「どの治具で」取得したかを残します。レシピの切替時は現在有効な内部パラメータ、TCP、ハンドアイ変換の組み合わせを画面に表示できるようにします。ログにフレーム名と単位を残すことも大切です。「x=0.15」とだけ記録しても、メートルかミリメートルか、baseかcameraかが不明ならトラブル解析に使えません。

ロボットビジョン校正の導入フロー：現物確認から受入まで

1. ワークと工程を先に定義する

カメラの型番より先に、ワークの代表と例外を集めます。材質、光沢、色、寸法公差、置かれ方、重なり、裏表、姿勢のばらつき、供給トレーやコンベヤの位置を記録します。検出したい座標が中心点なのか、穴・角・把持面なのかも明記します。同じワークを「認識できた」だけでは、吸着パッドやグリッパーが安全に入るとは限りません。把持失敗や衝突が工程上どの損失につながるかを工程側と合意しておきます。

タイ工場では、量産機の照明、作業シフト、周辺設備の反射、清掃方法がラボと異なることがあります。ここでは市場統計を一般化するのではなく、対象ラインの実物で条件を採取します。RFPに代表ワークの写真だけを付けるのではなく、不良・難条件のサンプルと採取時の環境条件を付けます。開発者に見せなかった難条件は、量産後の「仕様外」と判断されやすいためです。

2. 座標図と機械基準を凍結する

図面には、robot base、flange、TCP、camera、target、fixture、workpieceの各フレームを一度だけ定義します。固定カメラならカメラ支持架台とベース据付の関係、手首搭載ならブラケットとフランジの関係を記載します。変換の矢印は「A座標の点をB座標へ変換する」と文章で定義し、行列名を設計者任せにしないことが重要です。ロボットメーカーによって姿勢の表現や軸の向き、角度単位が異なるため、実装の入力境界で統一します。

設備側の原点復帰、ストッパー、位置決めピン、治具交換の再現性も、校正の前提です。カメラだけを高性能化しても、毎回トレーが異なる位置に置かれるなら検出・把持の合格率は改善しません。機械基準を変える変更は、ハンドアイ変換や作業点の再確認を要する変更として扱います。保全担当が現場で架台を増し締めした後にも、位置確認の簡易手順を用意します。

3. 撮像と内部校正を行う

ターゲットが視野内の一角にしか現れない画像を多数集めても、画面全体の歪みや作業範囲の確認は不十分です。想定する作業距離と視野内の複数位置で画像を取り、ピント、露光、照明、反射、モーションブラーを点検します。カメラとレンズの取り付け後に設定を固定し、オートフォーカスや露光の自動変更が再現性に影響するかを確認します。OpenCVの再投影誤差は画像処理側の品質を観察する材料ですが、その値だけで機械位置決めの合否を出さないでください。

光源がシフトごとに変わる環境では、朝・昼・夜の代表条件でターゲット検出とワーク検出を確認します。照明が装置内に閉じているなら外乱への感度は小さくできますが、周辺光や反射物があるラインでは撮影条件をFATとSATの双方で残すべきです。画像データは個人情報や機密品を映し込むこともあるため、保存範囲・保存期間・アクセス権を導入仕様の中で決めます。

4. TCPと撮影姿勢を確定する

実際に使うグリッパー・吸着具・治具でTCPを教示します。仮TCPのままハンドアイだけ調整しても、最終ツールを装着した後に把持点が変わります。URの資料はTCPをフランジに対する位置と向きで管理すると説明しており、使用中のアクティブTCPが動作へ反映されます。したがってFATでは画面上のTCP名・版数も受入記録に残します。UR TCP設定資料

撮影姿勢は同一点を少し横に動かすだけでは足りません。作業領域をカバーし、回転軸が偏らない姿勢を設計します。ターゲットが視野から欠けないこと、ロボットが干渉しないこと、カメラケーブルが引っ張られないことを同時に確認します。安全柵や協働運転のリスク評価は、校正用の手動運転・教示モードにも適用します。校正作業だけの特例として保護装置を無効化しない運用を決めてください。

5. ハンドアイを計算し、未使用姿勢で検証する

計算に使った姿勢で良い結果が出ても、実ワークへの汎化は確認できません。推定に使わなかったロボット姿勢と視野内の位置で、ターゲットまたは基準点を再計測します。カメラ由来の予測把持点と独立した物理基準を比較し、位置だけでなく角度も記録します。測定値は「平均」だけでなく最大・分布・端部の傾向を残します。一つの見栄えのよい実演で合格としないことが、調達側の最も有効なリスク低減です。

計算結果は変換行列と併せて、入力データのロボット姿勢、ターゲット検出結果、除外した画像、ソフト版数を保存します。後日再計算した結果が変わった場合、どの入力やアルゴリズム変更が原因か追跡できるためです。Cognexのような製品固有の撮影手順には推奨姿勢数が示されることがありますが、それを他のカメラやロボットへ無条件に移さず、採用する製品の手順と現場の合格データを使います。

精度の「何mm」をどう仕様化するか

RFPに「精度±○mm」と一行だけ書くと、画像検出の誤差、TCPの位置誤差、ロボットの繰返し位置決め、治具のばらつき、ワーク個体差のどれを指すか不明になります。必要なのは、工程が許容できる最終的な把持・挿入・組付け誤差を先に決め、検証方法を添えることです。例えば穴への挿入なら穴とピンのすきま、近接する部品や安全クリアランス、ワークの傾きが重要です。箱のピッキングなら把持面の範囲や搬送中の保持が重要です。同じカメラ仕様でも工程の許容値は違います。

誤差を足し算で「保証精度」と表示するのも慎重に扱うべきです。独立したばらつきと、温度や据付に起因する系統的なずれは性質が異なります。まず原因を「画像上の検出」「画像から3D姿勢」「hand-eye変換」「TCP」「ロボット・機械」「ワーク供給」に分け、各段階の観測量を定義します。画像の再投影誤差が小さいのに実把持位置がずれるなら、ターゲット寸法、変換方向、TCP、据付などを疑う手掛かりになります。逆に、画像側の検出が不安定ならロボットだけを再教示しても根本原因は残ります。

受入値は案件ごとの製品図面と工程能力から定め、サプライヤーと合意します。この記事に汎用の合格mm値は置きません。測定点を視野の中央だけでなく端部、ワーク高さの上限・下限、開始時と連続運転後に設けると、局所的な補正で隠れた問題を見つけやすくなります。合否判定では試験回数、NG時の扱い、再試験の条件、測定器と基準治具の管理も必要です。数字だけを合意して測り方が未定なら、FATからSATへ問題が持ち越されます。

表の項目はRFPの測定計画のたたき台です。画像の再投影誤差と工程の成功率は単位も意味も異なります。互いに換算して「同じ精度」と表現せず、両方を残してください。

RFPに入れる仕様項目：サプライヤーへ何を渡すか

入札先を比較するには、同じ条件を渡す必要があります。まず対象工程の動画、ワーク図面、実サンプル、治具図面、ロボット型式・制御ソフト、使えるI/Oまたは通信方式、設置スペース、照明と安全制約をそろえます。次に、eye-in-handかeye-to-handの希望と理由、既設設備から変更できる範囲、現場が持つべき校正データの所有・バックアップ方針を記します。方式を決め切れない場合は両案を求め、各案で必要な治具・停止時間・保守作業を比較できる形式で提出してもらいます。

成果物としては、座標系図、校正手順書、ターゲット仕様、版数管理されたパラメータ、画像とロボット姿勢の取得ログ、例外処理の状態遷移、FAT/SATの試験票、保守員向け再校正手順を指定します。ソースコードの納品範囲やライセンス、学習モデルの更新方法がある場合は別に明記します。作業者が画面の「校正成功」を見ただけでは、どの校正セットが量産レシピへ適用されたか分かりません。アクティブな設定IDを表示し、取り違え時に運転開始を抑止できる設計が望まれます。

RFPの質問には「どの変化で再校正が必要か」「校正結果の妥当性を誰がどう確認するか」「カメラ交換時に復旧できるまでの手順と必要物は何か」を入れます。提案書が単一の精度数値だけを提示している場合は、評価ワーク、視野位置、試験回数、測定方法、周囲条件を追加で確認します。カメラとロボットを別会社が供給する場合、通信のタイムスタンプ、姿勢読取時点、変換の実装責任、障害時のログ取得責任も分担表に落とします。

FATで確認すること：工場出荷前に「動いた」を超える

FATはサプライヤー環境で行いますが、量産条件をできるだけ再現します。最初に機械据付、カメラ・レンズ・照明・ケーブル、ターゲット、ツール、TCPの実機構成を確認し、図面と版数を照合します。その後、校正データを一度削除または別名退避し、手順書だけで再校正できることを確認すると、担当者の暗黙知への依存が分かります。構成によってはデータ削除が危険なので、バックアップと復元手順を先に確認したうえで実施します。

試験では、学習・校正に使っていない位置と姿勢、サイズ・色・反射の異なる代表ワーク、供給位置の端を含めます。認識成功率だけでなく、ロボットが把持したか、搬送中に落としたか、誤ワークをつかんだか、視野外や未検出時に安全停止・再試行・排出へ移るかを記録します。評価結果は画像、検出座標、ロボット姿勢、実到達位置、OK/NG、発生条件を同じ試行IDで紐づけると再現しやすくなります。

FATで合格したパラメータ一式はハッシュ値または版数で固定し、輸送・再据付後のSATで比較します。校正用ボードや治具も設備とともに納入するか、現地で再製作可能な図面を付けます。電源断後の復帰、通信断、カメラ未接続、照明故障、グリッパー交換、誤ったTCP選択などの異常系を試すことも必要です。校正計算が成功した瞬間ではなく、設備として安全に復帰できるところまでがFATです。

SATで確認すること：タイ現地の据付と変動を受け止める

SATでは据付後のロボットベース、カメラ支持部、治具、照明の位置をFAT図面と照合します。輸送や配線作業でブラケットが動いた可能性を排除できなければ、現地で再校正します。Universal Robotsのカメラ取付資料は、カメラ位置を調整した後に校正を繰り返すよう求めています。これは特定メーカーの手順ですが、変換が剛体配置に依存するという基本原理にも合います。URカメラ取付資料

現地では実製品と実供給装置を使い、予定するシフト・照明・清掃後・温度変化などの代表条件を選びます。すべての環境を短時間で再現できない場合、SATの即時合格条件と量産立上げ後の観察項目を分け、責任者と期限を決めます。タイ語で作業するオペレーター向けには、失敗画面の意味、再試行の上限、校正が必要な警告、保全への連絡先を、実際の画面表記に合わせて訓練します。英語だけの手順書が存在しても、シフトごとの判断が一致するとは限りません。

FATとSATの差が出たときは、まず撮影条件と機械配置の差を確認し、次にTCP・変換パラメータ・ワーク供給を順に切り分けます。現場で座標に補正値を重ねて一時的に合格させる前に、元データを保存してください。補正を追加する場合は適用範囲、基準温度、レシピ、取り消し方法を明記し、次回の再校正で二重補正にならないようにします。現場での微調整そのものを禁止するのではなく、原因と版数を追えるようにすることが目的です。

ドリフトと再校正：量産後に誰が何を見ればよいか

校正値は永久に有効な定数ではありません。カメラやレンズの交換、ブラケットの緩み、ロボット・治具の移設、ツール交換、衝突、基準ボードの損傷があれば、影響したフレームを確認します。カメラ内部設定を変えた場合は内部校正、フランジから作業点が変わった場合はTCP、カメラとロボットの相対配置が変わった場合はハンドアイ、と原因に応じて必要な作業を選びます。全てを毎回やり直す運用は停止時間を増やしますが、変更履歴がなければ省略可否も判断できません。

日常点検では、固定した基準ワークやチェック治具を使い、画像上の検出位置とロボットが予測する作業点を比較する「健全性チェック」を作れます。基準を外れたら量産を止め、原因を切り分け、正式な校正手順へ進みます。この閾値は工程の許容差と測定ばらつきに基づき現場で決めるもので、記事の汎用値をそのまま使うべきではありません。点検記録にはパラメータ版数、使用TCP、カメラ設定、治具ID、日時、作業者、判定結果を保存します。

校正作業の権限も決めます。オペレーターは異常を検知して停止・連絡、保全員は機械と配線の状態を確認、エンジニアはパラメータ更新と検証、責任者は量産への再投入を承認する、といった役割分担です。交代勤務の引き継ぎで「昨日から少しずれる」を口頭だけにしないため、点検値の推移をグラフやログで見られるようにします。ただしドリフトの原因を統計的に推定する前に、治具やツールの交換履歴を照合する方が早い場合もあります。

実装でよくある失敗と防ぎ方

第一に、座標変換の向きを逆にする失敗です。camera→toolとtool→cameraを同じ名前で扱い、単位も混在すると、限られた姿勢ではもっともらしく見えても端部で外れます。防止策は、フレーム名を明記した変換図、既知位置での単体テスト、行列の逆変換を明示した実装レビューです。第二に、ターゲットを動かしたまま異なる姿勢の画像を取得する失敗です。校正方式がターゲット固定を仮定するなら、取得途中に触れた時点でデータを取り直す必要があります。

第三に、画像の再投影誤差だけで「ロボットの精度」と判断する失敗です。再投影誤差はカメラモデルの評価指標です。工程の成否は実ツールと実ワークで別に評価します。第四に、TCPの選択を画面・ログ・レシピから追えない失敗です。同じロボットに複数ツールや複数TCPがあるほど、アクティブな値の記録が重要です。第五に、校正データを装置内だけに保存し、バックアップを納品しない失敗です。故障時に同じ条件を再現できず、復旧が長引きます。

第六に、FATでは中央の同一ワークだけを繰り返し、SATで視野端や反射ワークの問題が出る失敗です。評価点の空間分布とワークの難条件を試験票で指定します。第七に、通信遅延やワーク移動を手眼校正の問題と取り違える失敗です。動くコンベヤでは撮影時刻・エンコーダ・ロボット指令時刻を別に検証します。静止ワークで成功しているなら、3Dビジョンとコンベヤ追従の記事の論点が参考になります。問題を一つの「カメラがずれる」にまとめないことが、復旧時間を短くします。

導入判断のチェックリスト

発注前に確認したいのは、①ワークと難条件のサンプル、②必要な最終工程精度と測定方法、③eye-in-handまたはeye-to-handの根拠、④座標図、⑤カメラ内部校正・TCP・ハンドアイの責任分界、⑥未使用姿勢を含むFAT/SAT、⑦再校正のトリガーと現地担当、⑧パラメータの版数・バックアップ、⑨異常時の安全な停止と復帰、⑩タイ現地の運用者が読める手順です。提案比較表では「可能」と「実機で証明済み」を別欄にすると、見積の見かけ上の差を読み違えにくくなります。

最小の実証から始めるなら、代表ワーク一種類だけでなく難条件を少数混ぜ、現物の治具とツールを使って、未使用姿勢の位置誤差と工程成否を測ります。合格ならワーク種類と稼働条件を段階的に拡げます。RFPを発行する前の時点でも、ワークと工程の写真、許容差、想定サイクルタイム、既設設備の制約があれば、どの情報が不足しているかを洗い出せます。方式選定を「メーカーの機能一覧」から始めず、工程の受入条件から逆算すると、FAT/SATの議論が具体的になります。

よくある質問

ロボットビジョンのハンドアイキャリブレーションとは？

カメラとロボットの座標系の関係を求め、画像で見つけた位置や向きをロボットが使える座標へ変換するための校正です。eye-in-handとeye-to-handでは求める変換とターゲットの置き方が異なります。カメラ内部校正やTCP設定も別途必要で、手眼変換だけで工程精度が決まるわけではありません。

撮影姿勢は何点あれば十分ですか？

一般の案件に一律の枚数は示せません。OpenCVは解を求める最小条件と、より多くの姿勢を使う推奨を説明していますが、重要なのは回転軸や作業範囲の多様性、ターゲットの見え方、未使用姿勢での検証です。採用するカメラ製品の手順と受入試験に従って決めてください。

カメラを交換したら必ず再校正が必要ですか？

レンズやカメラの内部特性、取り付け位置が変わる可能性があります。交換後は内部パラメータとカメラ・ロボットの相対配置を確認し、変更のあった範囲を再校正してください。交換前後の健全性チェックで影響が見えなくても、合格判定の手順と記録を残すことが重要です。

FATで合格したらタイ工場でのSATを省略できますか？

据付、照明、治具、供給装置、実ワークがFAT環境と異なります。SATでは少なくとも変更点の照合と実機の受入確認が必要です。どの試験を繰り返すかは輸送・再据付の範囲とRFPの合格条件で決めます。FAT結果だけで現地の量産工程を保証することはできません。

ハンドアイ校正が成功したのに把持がずれるのはなぜですか？

画像検出、内部校正、ターゲット寸法、変換方向、TCP選択、ツール取付、治具位置、ワーク供給などが候補です。画像上の再投影誤差、未使用姿勢の基準点誤差、実ツールの到達誤差を分けて測れば、原因を絞れます。動くワークでは時刻同期と追従制御も確認します。

まとめ

ロボットビジョンのハンドアイキャリブレーション導入では、方式選定より先に工程の合格条件と座標系の定義をそろえることが要点です。カメラ内部校正、TCP、手眼変換を別管理し、未使用姿勢と実ワークで検証します。FATで再現性と異常復帰を確かめ、SATで据付後の条件を確認し、量産中は変更履歴と健全性チェックでドリフトを追います。汎用の精度数字より、対象工程に合った測り方と責任分界が導入の成否を左右します。

TOMAS TECHでは、タイ工場のワーク・治具・ロボット構成を前提に、座標系図、RFPの評価項目、FAT/SAT試験票の整理からご相談いただけます。方式が未確定の検討段階でも、お問い合わせから工程の条件をお知らせください。

参考情報

• OpenCV Camera Calibration: calibrateHandEye — hand-eyeの入力・出力変換、eye-in-hand/eye-to-hand、姿勢条件。
• OpenCV Camera Calibration and 3D Reconstruction — 内部校正と再投影誤差。
• Universal Robots: Camera calibration — ボード固定と照明条件。UR製品固有の手順。
• Universal Robots: TCP Configuration — TCPとアクティブTCPの定義。
• Universal Robots: Attaching the Camera Mount — カメラ位置変更後の再校正。
• Cognex: VGR Hand-Eye Calibration — 固定式・手首搭載式の構成と製品固有の手順。