1. センサーは、色を 見て いるの?
1. 画素は、明るさしか測れない
1. フォトダイオードは強度を測り、色はフィルターが与える
センサーの マスは、ひかりが どれくらい 明るいかを はかる ぶひんです。「赤い」か「青い」かは、そのままでは 分かりません[1]。
たとえば、白と 黒の テレビを 思いうかべて ください。あれは 明るさだけで 絵を つくって います。センサーの マスも、そのままでは 同じです。
そこで、マスの 上に、赤・緑・青の どれかを とおす 小さな 色セロハンのような フィルターを のせます。マスは、とおってきた 光の 明るさだけを はかります。ただし 本当の フィルターは、セロハンでは ありません。
だから、1つの マスが 知っているのは、ひとつの 色の 明るさだけです。
白黒の目に、色めがねをかける
画素の中にある光を感じる部品(フォトダイオード)は、光の強さを検出するだけで、色の情報は持っていません。色は、その上に重ねる原色などのカラーフィルターを通すことで再現されます[1]。
たとえるなら、白黒テレビのカメラの前に、色つきのセロハンを1枚かぶせたようなものです。赤いセロハンの下の画素は、赤い光がどれだけ来たかだけを数えます。
特許の文章(1976年成立のベイヤーの特許)にも、波長感度の広いセンサーの上に色フィルターのモザイクを重ねる方式が書かれています[2]。つまり、色フィルターを小さなタイルのように敷きつめる考えが、この方式の出発点でした。
では、そのタイルを赤・緑・青でどう並べるのでしょうか。
2. どうして 緑の マスだけ、2ばい あるの?
2. なぜ、緑のフィルターだけが多いのか
2. 緑が全体の半分を占める配列と、その説明
赤・緑・青の フィルターは、2×2の 4マスを 1くみに して ならべます。そのうち 緑は 2マス、赤と 青は 1マスずつです[2][5]。
どうして 緑だけ ふえて いるのでしょう。ひとつの せつめいは、人の 目です。人の 目には、色を 見分ける 3しゅるいの つぶ(すいたい)が あり、ひるまの 明るさは、おもに 緑に 近い 色に びんかんな 2しゅるいが いっしょに はたらいて 感じる、と いわれます[3]。
この せつめいでは、緑の マスを 多くすると、人が 明るさを 感じる ときの 見え方に 近づけられる、と 考えます。とっきょも、明るさに びんかんな 部ひんを 多く おく 形を せつめい して います。
2×2の4画素に、緑が2つ
ベイヤー配列は、赤・緑・青のフィルターを、緑を増やして並べた配列です。2×2の4画素のうち、緑が2つ、赤と青が1つずつ入ります[5]。特許の言葉では、明るさに敏感な素子が配列の位置の半分を占め、全体にまんべんなく散らばります。赤と青は残りの位置です[2]。
「緑が2倍」は、赤だけ、青だけと比べたときの話です。全体では、緑が半分、赤と青が4分の1ずつです。
人の目の錐体が手がかりになる
特許は、緑を「明るさに敏感な素子」、赤と青を「色の差に敏感な素子」と呼んでいます[2]。明るさに敏感な素子を多く置く、という設計です。背景として、人の目の話がよく添えられます。昼間の網膜では、緑に最も敏感なM錐体とL錐体が一緒に働いて明るさを感じる、というものです[3]。
人の目の錐体はL・M・Sの3種類で、Sは少数派です。理論モデルでは、S錐体が約6%のとき情報量が最も多くなる、と計算されました。LとMの比は、人によって1:4から15:1まで違っても、ふつうの色覚が保たれるそうです[4]。
では、1色しか見ていない画素から、元の色をどう取りもどすのでしょうか。
Bayerの特許では、輝度に敏感な素子(実装では緑)が配列位置の半分を占め、全体に均等に分布する。クロミナンスに敏感な素子(赤・青)が残りの位置を埋める[2]。したがって比率は緑50%、赤25%、青25%で、「緑が2倍」とは赤または青それぞれに対する比だ。
緑が多い理由としてよく挙げられるのは、人の視覚特性だ。昼間視では、緑に最も敏感なM錐体とL錐体の応答を合わせて輝度を知覚する、という説明がある[3]。特許自体は、輝度に敏感な素子を多く置く設計を述べており、錐体の話は背景の補足にあたる。
人の網膜にも制約がある。錐体はL・M・Sの3種類で、S錐体は少ない。最適な配列を探した理論モデルでは、S錐体が約6%のとき伝達される情報が最大になった。実際の割合を直接示す数字ではない。L:M比は人により1:4〜15:1と幅があっても、通常の色覚が保たれる[4]。
では、この「1画素1色」のモザイクから、1画素3色の写真はどう作られるのか。
3. たりない 2しょくは、どう つくるの?
3. 足りない2色は、となりの画素から計算で作る
3. デモザイクと、境目に出る偽色
ある マスが 赤しか 知らないなら、緑と 青は、となりの マスの 数を 見て きめます。たとえば、赤の マスの まわりに ある 緑の マスの 数を、たして 2で わります。まん中の 緑は、まわりの 平きんだと 考えるのです[6]。
この 計算を、カメラの 中の コンピューターが ぜんぶの マスで やります。それで、はじめて 1まいの 写真に なります[5]。
でも、色が きゅうに かわる ところは、むずかしい のです。となりに ない 色が まざって、ほんとうは ない 色が 出る ことが あります。これを「にせの 色」と いいます[6]。
周りの同じ色の平均をとる
1色しか測らない画素に、足りない色を計算で戻す処理を、デモザイクと呼びます[6]。いちばん単純な方法は、足りない値を、隣り合う同じ色の画素2〜4個の平均で作るやり方です[6]。
カメラの中の画像処理エンジンが、この合成と補間を行い、もとの画素数の写真に仕上げます[5]。
くっきりした境目で、ない色が出る
平均は、色がなだらかな場所ならうまくいきます。ところが、白と黒のくっきりした境目では、本来ない色が出る偽色や、ギザギザ状の「ジッパー効果」と呼ばれる乱れが出やすくなります[6]。
細かい縞模様を撮ったとき、規則正しい配列とぶつかって色がにじむことがあります。この色のにじみを、どうすれば減らせるでしょうか。
ベイヤー配列では各画素が1色分しか測らないため、欠けた2色を周囲の同色画素から復元する処理(デモザイク)が要る[6]。最も単純な双線形補間は、足りない値を隣り合う同色画素2〜4個の平均で与える。一様な領域では有効だが、輝度の急変する境界では、本来ない色が現れる偽色や、ジッパー効果と呼ばれる縁のギザつきが出やすい[6]。
なお、素朴に画素を1色ずつ記録すると解像度が3分の1〜4分の1になるが、画像処理エンジンが合成と補間を行うことで本来の画素数の写真になる、とパナソニックは説明する[5]。実際の写真の細かさは、この単純な見積もりより高い。
だから、補間のしかたを工夫するだけでなく、配列そのものを変えるという発想が出てくる。
4. フィルムの つぶを まねて、ならべかたを かえた?
4. フィルムの粒を手がかりに、配列を不規則にした
4. X-Trans ── 6×6の低周期配列と、モアレの抑制
写真フィルムの 中には、小さな ぎんの つぶが、ふぞろいに ちらばって います。つぶが ふぞろいだと、きれいな しまもようが 出にくい、という 考えが ありました[8]。
ふじフィルムの X-Trans という センサーは、これを ヒントに、色の フィルターを 6×6の 36マスを 1くみに して、ふぞろいに ならべました。どの よこの 列にも 赤・緑・青が 入り、ななめにも かならず 緑が あります[7]。
こうすると、しましまの 色の にじみを、へらせると されて います[8]。ただし、ぜんぶ なくなる わけでは ありません。
銀の粒のランダムさがヒント
富士フイルムのX-Trans CMOSは、6×6の36画素を1つの単位とする、周期性の低いカラーフィルター配列です。すべてのラインにRGBの3色があり、斜めにも必ず緑が置かれています。写真フィルムの銀粒子のランダムな並びと、周りの画素から色を補う効率の良さを両立させたい、と富士フイルムは説明しています[7]。
モアレを、フィルターなしで抑えるねらい
規則正しいパターンで起きる色のにじみ(色モアレ・偽色)は、ふつうは光学ローパスフィルターという部品で抑えます。X-Transは、この部品なしでも抑えられるとされています[7]。IEEE Spectrumの記事は、フィルムの銀粒子の大きさがランダムなのでモアレが出ない、という発想を紹介しています[8]。
ここで言えるのは「減らせる」までで、「完全に消える」とは書かれていません。
配列を不規則にする以外に、もっと大胆な解き方はあるのでしょうか。
モアレや偽色は、規則的な画素配列が、規則的な被写体の模様とぶつかる折りに強く出る。ならば配列の規則性を下げればよい、というのがX-Transの発想だ。富士フイルムによれば、6×6の36画素を1単位とし、周期性の低いカラーフィルター配列を採る。全ラインにRGBの3色を置き、斜めにも必ず緑を配置する。フィルム写真の銀粒子の配置の高いランダム性と、周辺画素からの色補間の効率性を両立させたものだという[7]。
この配列の狙いは、光学ローパスフィルターなしでも色モアレ(偽色)を抑えることだ。IEEE Spectrumは、従来の2×2の配列に対して6×6で不規則に色画素を並べた点と、フィルムの銀粒子の大きさがランダムなのでモアレが出ない、という発想を紹介している[8]。ただし記事が述べるのは抑制の方向で、モアレが完全に消えるとまでは述べていない。
配列を変えるほか、そもそもフィルターを使わない設計もある。
5. フィルターが なくても、色は わけられる?
5. シリコンの「深さ」で、色を分ける方式
5. Foveon X3 ── 吸収の深さによる色分離と、その限界
もうひとつの やり方は、1つの マスの 中に、ふかさの ちがう 3つの 部ひんを かさねる ことです。
センサーの ざいりょうの シリコンは、みじかい 波ちょうの 光(青い 光)を、おもて 近くで すいこみます。ながい 波ちょうの 光(赤い 光)は、もっと ふかい ところまで とどきます[9]。
だから、ふかさで 3つに わければ、フィルターを つかわず、1つの 場しょで 赤・緑・青が 分かります。まわりの マスから 色を おぎなう 計算(デモザイク)は いりません[9]。
この センサーは、2002ねんに シグマという 会社の カメラ SD9 に はじめて のりました[10]。ただし、色が まざりやすい、くらい ところで ざつ音が ふえやすい、という 指てきも あります。
1つの場所で3色を測る
Foveon X3は、シリコンが光の波長によって吸収される深さが違う性質を使います。表面付近では短い波長(青)、深くなるほど長い波長(赤)が吸収されます[9]。そこで、1画素の位置に深さの違う3つのフォトダイオードを重ね、1つの場所でRGBを取ります。カラーフィルターもデモザイクも要りません[9]。
大学の研究から生まれた
シグマによると、この原理は、カリフォルニア工科大学のカーバー・ミード教授の研究に端を発します。開発者のディック・ライオンが、各位置の特定の深さで3つのフォトダイオードを使って色をとらえる方法を、理論として導きました[9]。2002年に、シグマのSD9というカメラに最初に搭載されました[10]。
弱点も指摘されている
ある分析では、層の間で色が混ざること(クロストーク)や、暗い場所でノイズが増えることが弱点とされています[10]。これは一つの見方で、どんな場合も悪いという意味ではありません。
3つの解き方は、どれも「1画素で色をどう知るか」への答えです。では、自分の目はどうでしょうか。
X-Transが配列の規則性を崩して偽色を抑えるのに対し、Foveon X3は色フィルターそのものを使わない。シリコンは、表面付近で短い波長を、深さが増すにつれて長い波長を吸収する。この性質を使い、1画素の位置に深さの異なる3つのフォトダイオードを重ねてRGBを取る。カラーフィルターが要らず、デモザイクも要らないのが特徴だ[9]。
シグマは、この原理がカリフォルニア工科大学のカーバー・ミード教授の研究に端を発し、開発者のディック・ライオン(Dick Lyon)が、各画素位置の特定の深度で3つのフォトダイオードにより色を捉える方法を理論的に導いたと述べる[9]。初搭載は2002年のシグマSD9である[10]。
ただし、層間の色の混ざり(クロストーク)と、暗所でのノイズ増加が弱点として分析されている[10]。これは一つの分析の指摘で、構造上つねに不利だとまでは言えない。1画素1色+補間、配列の不規則化、深さによる分離という3つは、同じ課題へのトレードオフの違う答えと読める。
6. スマホで、色の にじみを さがして みよう
6. 自分の目と、スマホの写真で確かめる
6. 出口 ── 縞模様の観察と、資料の読みどころ
わたしたちの 目にも、色を 見わける つぶが あります。3しゅるい あって、そのうちの 1しゅるいは、とても すくないと いわれます[4]。
やって みよう:スマホで、こまかい あみ目の ある ものを うつして みましょう。ぬのの しまもようや あみ戸が よいです。うつした 写真を おおきくして、まるで ない 色が にじんで いないか さがします。ただし 出ない ことも あります。そのときは、ちがう ものを ためして みましょう。
しらべた もとの じょうほう
参考にした情報源
参考にした情報源と、その使い方
本文の出典番号と対応しています。( )内は使った場所です。
- weblio辞書「Image sensor」 https://www.weblio.jp/content/Image+sensor (フォトダイオードは強度を測り、色はフィルターで再現)
- US 3,971,065 Color imaging array (Eastman Kodak) https://patents.google.com/patent/US3971065A/en (フィルターのモザイク、緑が半分の配列)
- Wikipedia: Bayer filter https://en.wikipedia.org/wiki/Bayer_filter (緑を多くした理由の説明)
- Design of a Trichromatic Cone Array (PLoS Computational Biology) https://pmc.ncbi.nlm.nih.gov/articles/PMC2820519/ (人の錐体の割合と個人差)
- パナソニック デジタルカメラ講座 第二十七回 https://av.jpn.support.panasonic.com/support/dsc/knowhow/knowhow27.html (RGGB配列と補間処理)
- Wikipedia: Demosaicing https://en.wikipedia.org/wiki/Demosaicing (補間と偽色)
- 富士フイルム X-Trans CMOS http://www.fujifilm-x.com/ja-jp/products/x-trans-cmos/ (6×6の配列)
- IEEE Spectrum「CES 2012: Fujifilm's New CMOS Sensor」 https://spectrum.ieee.org/ces-2012-fujifilms-new-cmos-sensor-uses-novel-color-filter-array (モアレ抑制の発想)
- シグマ SEIN「FoveonとSIGMAのミーム」 https://www.sigma-global.com/jp/our-community/sein/voice/TheMemeofFoveonandSIGMA/ (深さで色を分ける原理と由来)
- Wikipedia: Foveon X3 sensor https://en.wikipedia.org/wiki/Foveon_X3_sensor (初搭載と弱点)
なおした ところ
更新履歴
更新履歴(改版の記録)
- 初版を公開。
このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。