1. さいしょの デジカメは、どれくらい おそかった?
1. 1975年の試作機は、1枚の記録に23秒かかった
1. 1975年のコダック試作機 ── 撮像50ミリ秒に対して記録23秒
1975ねん、アメリカの コダックという 会社で、サッソンさんが デジタルカメラの しさくきを つくりました[2]。おもさは 3.6キロ ほどでした。
マスの 数は、よこ 100 × たて 100 で、1まん こ です[2]。うつす のは、1びょうの 20ぶんの 1。ところが、テープに きろく する のには 23びょう かかりました。
サッソンさんは、この カメラを「ふつうの フィルムを つかわない、ぜんぶ 電気の カメラ」を ためす ものと せつめい しました[2]。12月に、さいしょの 1まいを、コダックの ぎじゅつしゃ マーシャルさんを うつしたと つたえられて います。
光は、どうやって 数に なるのでしょう。
1万個のマスと、23秒
1975年12月、コダックのスティーブン・サッソンが試作したデジタルカメラは、フェアチャイルド社製のCCD(100×100画素)を使っていました。重さは約3.6kgで、画像はカセットテープに記録されました[2]。
画素は100×100で1万個、いまの言い方では0.01メガ画素です(1メガは100万)。撮像そのものは50ミリ秒、1秒の20分の1でした。ところが、テープへの記録には1枚あたり23秒かかりました[2]。最初に撮影されたのは、コダックの技術者ジョイ・マーシャルだったと伝えられています。
フィルムのいらない写真
サッソン自身は、消耗品を使わずに静止画を撮って見せるまでを、すべて電子で行う写真システムの実証だと説明しています。当時のコダックの経営陣は、商品化にはすぐ関心を示しませんでした[2]。それでも、写真を数の並びにして扱うという考え方は、この試作機で動く形になりました。
では、画素の中で、光はどうやって数になるのでしょうか。
最初期のデジタルカメラの試作機のひとつは、1975年12月にコダックのスティーブン・サッソン(Steven Sasson)が撮影を行ったものとして伝えられる。フェアチャイルド(Fairchild)製のCCDは100×100画素、つまり1万画素(0.01メガ画素)で、本体は約3.6kg、画像はカセットテープに記録された[2]。「世界初」とは言い切れず、最初期の試作機と呼ぶのが妥当だ。
注目したいのは時間配分だ。撮像は50ミリ秒(1秒の20分の1)なのに、記録には1枚23秒かかった[2]。割り算すると約460倍で、光を数にする段階より、数を運び出して保存する段階のほうがはるかに遅かった。
サッソンは、消耗品を使わず静止画を撮って表示する、すべて電子の写真システムの実証だと説明した。コダックの経営陣は、商品化に関心を示さなかったという[2]。ただ、試作が商品にならなかったことと、その発想が消えたことは別の話だ。センサーの中身は、このあとも別の場所で磨かれていく。では、そもそも画素の中で、光はどう数になるのか。
2. 光は、どうやって 数に なるの?
2. 光が当たると、画素の中に電子がたまる
2. 光電効果と電荷の蓄積 ── フォトダイオードとポテンシャルウェル
雨の 日に、小さな バケツを たくさん ならべた ところを そうぞう して ください。バケツの 水の りょうを 見れば、どこに 雨が たくさん ふったか わかります。
カメラの 中でも、にた ことが おきて います。光が あたると、電気の 小さな つぶが とび出します。これを「ひかりでんし」と いいます[3]。マスの 中の バケツに たまり、その 数が 光の つよさを あらわします。
光で 電子が とび出す この できごとには、アインシュタインさんが 考えた「こうでんこうか」という 名前が ついて います[4]。ただし ほんとうは、光の つぶが ぜんぶ 電子に なる わけでは ありません[3]。
では、1まん この バケツの 中みを、どうやって 読むのでしょう。
光が電子をたたき出す
光が画素に当たると、電子が飛び出します。アインシュタインが理論化した光電効果です。2009年のノーベル物理学賞のプレスリリースを引用した記事によると、CCDの技術はこの効果を使って、光を電気信号に変えています[4]。
電子をためる「バケツ」
浜松ホトニクスの解説では、CCDの各画素は、フォトダイオードと、光電子をためるポテンシャルウェルでできています。ポテンシャルウェルは、電子をためる「バケツ」にたとえられています[3]。光が強いほど、たまる電子が多くなると考えると、バケツの中身が明るさの数になります。
ただし、光の粒がすべて電子になるわけではありません。波長ごとに「どれだけ電子になるか」を表す割合を、量子効率(QE)といいます[3]。
1万個のバケツの中身は、どうやって読み出すのでしょうか。
CCDは光電効果を利用する。2009年のノーベル賞プレスリリースを引用した記事によれば、アインシュタインが理論化したこの効果で、光は電気信号に変わる[4]。画素は、フォトダイオードと、光電子をためるポテンシャルウェルの組でできている。ポテンシャルウェルは、浜松ホトニクスの解説ではバケツにたとえられている[3]。
ただし、光子の1個1個がそのまま電子になるわけではない。波長に依存する変換効率を量子効率(QE)という[3]。したがって、バケツにたまる電子の数は、当たった光の数そのものではなく、その一部になる。「光を数える」といっても、画素が行っているのは、割合つきの計測だ。そのバケツが画素の数だけある以上、中身をどう読み出すかが次の設計課題になる。信号を短時間で集めて読み出すことは、CCDの設計上の課題だったと説明される[4]。
3. バケツの 中みは、どうやって 読むの?
3. 電子の入ったバケツを、リレーのように送る
3. CCDの発明 ── 1969年の電荷転送と、2009年のノーベル物理学賞
バケツが 1まん こ あっても、1こずつ 読みに いくのは たいへんです。そこで、バケツから つぎの バケツへ、電子を リレーのように わたして いく しくみが 考え出されました[3]。
これが「CCD(シーシーディー)」です。1969ねん 10月17日、アメリカの ベルけんきゅうじょで、ボイルさんと スミスさんが はつめい しました[1]。なかまの トンプセットさんが、写真を とる ことに つかえる ことを しめしました。
2009ねん、ボイルさんと スミスさんは、この はつめいで ノーベルしょうを もらって います[1]。
でも、ここまでの 数は、明るさだけです。色は どこで 生まれるのでしょう。
1969年、ベル研究所で
CCDは、1969年10月17日、アメリカのベル研究所で、ウィラード・ボイルとジョージ・スミスが発明しました。同僚のマイケル・トンプセットが、撮像への応用を示しました[1]。
仕組みはこうです。シリコンのチップの上に、光に敏感なコンデンサ(画素)が並び、光電効果で生まれた電子をためます。そのあと、電圧のパルスを順番にかけて、ためた電荷を隣のコンデンサへ次々に移し替えます[1]。浜松ホトニクスの解説では、これがバケツリレーにあたります。列の最後まで運ばれた電荷は、1つのアンプで電気信号になります[3]。
2009年、ボイルとスミスは、「撮像用の半導体回路、CCDセンサーの発明」でノーベル物理学賞を受けました[1]。
ここまでで、光は「明るさの数」になりました。ところが、明るさだけでは色が分かりません。色は、どこから来るのでしょうか。
CCDは、ベル研究所のウィラード・ボイル(Willard Boyle)とジョージ・E・スミス(George E. Smith)が1969年10月17日に発明し、同僚のマイケル・トンプセット(Michael Tompsett)が撮像への応用を示した[1]。シリコンチップ上の光に敏感なコンデンサ(画素)は、光電効果で電子を生み、電荷として保持する。そこへ電圧パルスの列をかけ、電荷を隣のコンデンサへ次々に移し替えて、端まで運んで読み出す[1]。
CCDでは、電荷は画素から画素へ運ばれ、最後の1つのアンプで電気信号になる[3]。画素ごとに信号を取り出す方式との違いは、第6章のCMOSで見る。
2009年のノーベル物理学賞は、ボイルとスミスに「撮像用の半導体回路、CCDセンサーの発明」で贈られた[1]。ただし、ここまで運んだ電荷が表すのは光の量、つまり明るさだけだ。カラー写真にするには、色の情報を別の手段で足す必要がある。
4. 色は、どこで 生まれるの?
4. ベイヤー配列では、画素の上に赤か緑か青のフィルターが1枚だけのる
4. ベイヤー配列 ── 緑が50%、赤と青が各25%
バケツが 数えるのは、光の 明るさ だけです。色は、バケツの 上に のせた 色つきの まくで 分けます。
赤だけ とおす まく、みどりだけ とおす まく、青だけ とおす まく。1つの マスに のるのは、その うちの 1まい です。
ならべ方は、みどりが いちばん 多くて はんぶん。赤と 青は、4分の 1ずつ です[5]。人の 目は、みどりの 光で 細かい ところを よく 感じる ので、みどりを 多く した と 書かれています[5]。
1975ねんに、コダックの ベイヤーさんが、この ならべ方の とっきょを 出がん しました。
でも、赤の マスに、みどりと 青の 数は ありません。どう するのでしょう。
光の色を3つに分ける
画素が数えるのは光の量です。色を知るために、ベイヤー配列のセンサーでは、画素の上に赤・緑・青のどれか1色だけを通すフィルターをのせます[5]。
よく使われるのが、ブライス・ベイヤーが考えたベイヤー配列です。ベイヤーはコダックの研究者で、特許は1975年3月5日に出願され、1976年7月20日に成立しました[5]。サッソンの試作機と同じ1975年に、同じコダックの中で、色を分ける方法も考えられていたことになります。
緑を半分にした理由
配列では、緑が50%、赤と青が各25%です。特許には、人の視覚が最も敏感に反応する緑の細部を、いちばん多く拾うという考え方が書かれています[5]。たとえば4つの画素のまとまりなら、緑が2つ、赤が1つ、青が1つです。
ベイヤー配列は、いまもほとんどのデジタルカメラやカメラ付き携帯で使われているとされます[6]。
ところが、赤のフィルターがのった画素には、緑と青の数がありません。それは、どう補うのでしょうか。
画素が測るのは、フィルターを通りぬけた光の量だけだ。ベイヤー配列では、センサーの各画素の上に赤・緑・青のどれか1色のフィルターがのり、緑が50%、赤と青が各25%になる。人の視覚は緑付近の光で細部を感じとる力が強いため、緑をもっとも多く標本化する、というのが特許の考え方だ[5]。
この特許(US3971065)は、コダックの研究者ブライス・ベイヤー(Bryce Bayer)が1975年3月5日に出願し、1976年7月20日に成立した[5]。同じ年、同じ会社で、サッソンの試作機とは別に、色の分け方が考えられていたことになる。この配列は、ほぼすべてのデジタルカメラ、ビデオカメラ、カメラ付き携帯で使われているとされる[6]。ただし「ほぼすべて」は追悼記事の表現で、全部とは言えない。
配列の結果、1つの画素には3色のうち1色分の値しかない。残る2色分を、どこから得るのか。
5. たりない 色は、どう おぎなうの?
5. 足りない2色は、となりの画素から計算で補う
5. デモザイク ── 欠けた色を隣の画素から計算する
赤の マスには、赤の 数しか ありません。みどりと 青の 数は、となりの マスの 数から けいさん して つくります[7]。
この けいさんを「デモザイク」と いいます。たりない ところを、まわりの 数を つかって うめる のです。
うめ方は、1つでは ありません。となりの 数を そのまま つかう やり方や、へいきんを とる やり方などが あります[7]。
カラー写真の 色の 一部は、カメラの けいさんで おぎなわれた もの です。
欠けた色を埋める計算
ベイヤー配列では、画素ごとに1色分の情報しかありません。そこで、隣の画素のデータから足りない色を補う、デモザイク(デベイヤリングとも)という計算をして、赤・緑・青がそろった画像を作ります[7]。
画素1つで見ると、3色のうち、実際に測った値は1つで、残り2つは計算で補う値です。
補い方はいくつもある
産業用カメラのメーカーの資料では、補い方として、最近傍法(近くの画素の値をそのまま使う)や、平均をとる方法などが紹介されています[7]。スマホなどの中でどんな計算をしているかは、この資料では分かりません。
光を数にするしくみは、CCDだけではありません。画素ごとに信号にする作り方も生まれました。それは、どこで、何のために考えられたのでしょうか。
6. ちいさくて 電気を すこし しか つかわない センサーは?
6. 惑星探査機のカメラを小さくする工夫から、CMOSセンサーが生まれた
6. CMOSアクティブピクセルセンサー ── JPLの省電力カメラと裏面照射
CCDは、バケツリレーで 運んで、さいごの 1か所で 電気の しんごうに かえます。ちがう つくり方の「CMOS(シーモス)」センサーは、マスごとに しんごうに かえます[3]。
1990ねんだいの はじめ、アメリカの NASAの けんきゅうじょ(JPL)で、フォッサムさんたちが、わくせいを しらべる きかいの カメラを、小さく して、電気を へらす ために つくりました[8]。CCDの 100ぶんの 1ほどの 電気で うごき、「チップの 上の カメラ」と よばれました[8]。
光の 入れ方にも くふうが あります。はいせんの ない うらがわから 光を 入れると、はいせんに じゃまされる 光が へり、光を とらえる ちからが 上がります[9]。
画素ごとに信号にする
CCDが電荷を運んで最後の1つのアンプで信号にするのに対し、CMOS型は、各画素がフォトダイオードとアンプの対でできていて、画素ごとに電気信号に変えます[3]。
探査機のカメラを小さくしたい
CMOSのアクティブピクセルセンサーは、1990年代はじめに、NASAのジェット推進研究所(JPL)のエリック・フォッサムらが、惑星探査機のカメラを小さく、省電力にするために開発しました。従来のCCDの約1%、つまり100分の1の電力で動き、「チップ上のカメラ」と呼ばれました[8]。フォッサムは1995年にPhotobit社を創業しています。
光の入り口を裏側にする
デジカメWatchのソニーの裏面照射型CMOSの解説では、配線層のない裏側から光を入れることで、配線に光がじゃまされるロスを減らし、感度を上げた、と紹介されています[9]。ロスがなくなったわけではなく、減らした、という意味です。
CCDが電荷を運んで最後の1つのアンプで信号にするのに対し、CMOS(シーモス)型は、各画素がフォトダイオードとアンプの対でできていて、画素の中で電気信号に変える[3]。電荷を運ばなくてよい分、画素ごとの読み出しがしやすい。
CMOSのアクティブピクセルセンサーは、1990年代はじめに、NASAのジェット推進研究所(JPL)のエリック・フォッサム(Eric Fossum)らが、惑星探査機のカメラを小さく省電力にするために開発した。従来のCCDの約1%の電力で動き、「チップ上のカメラ」と呼ばれた[8]。フォッサムは1995年にPhotobit社を創業した[8]。探査機という厳しい制約が、小さく省電力という設計の方向を決めたといえる。
さらに、配線層のない裏面から光を入れる裏面照射型は、配線に光がじゃまされるロスを減らし、感度を上げた構造だ[9]。「ロスをなくした」ではなく「減らした」が適切な言い方になる。光を数にする長い道のりは、画素の中の電子から、光の入り口の向きにまで工夫が及んでいる。
7. ほうがんしで、マスと うめる けいさんを やって みよう
7. 方眼紙で「画素」と「補う計算」を体験する
7. 出口 ── 方眼紙での模擬と、資料の読みどころ
ほうがんしと、えんぴつ(赤・みどり・青)を 用意します。6 × 6 の マスを かきます。
まず、みどりを チェックばんの もように、マスの はんぶんに ぬります。のこりの マスは、1ばんめの 行は 赤、2ばんめの 行は 青、3ばんめは 赤、と こうごに ぬります。
つぎに、赤い マスを 1つ えらびます。その マスの みどりの 色を、まわりの みどりの マスを 見て、「だいたい この くらいの 色」と よそう してみましょう。これが、デモザイクの 考え方 です。
ただし、ほんものの カメラは、数を つかって けいさん します。この あそびは、考え方を ためす ものです。
方眼紙に6×6のマスを描き、赤・緑・青の色鉛筆で、ベイヤー配列を作ってみましょう。緑をチェック模様でマスの半分に塗り、残りのマスは、1行目は赤、2行目は青、3行目は赤、と行ごとに交互に塗ります。
次に、赤のマスを1つ選び、そのマスの緑の濃さを予想します。赤のマスの上下左右は、緑のマスです。その4つの濃さに0〜9の数をつけて平均すれば、デモザイクの「平均をとる方法」を試せます[7]。
ただし、この遊びは考え方を体験するためのもので、実際のカメラの計算とは別物です。火も刃物も使いません。
もっと読みたくなったら、浜松ホトニクスの解説[3]、IEEE Spectrumのサッソンの記事[2]、NASA JPLのニュース[8]を開いてみてください。
方眼紙に6×6のマスを描き、緑をチェック模様に塗る。残りのマスは、奇数行を赤、偶数行を青にして、ベイヤー配列を作る。赤のマスの上下左右は緑なので、その4つの濃さを0〜9の数にして平均すれば、赤のマスの位置の緑を推定できる。これはデモザイクの「平均」の方法の模擬[7]で、実際のカメラの処理そのものではない。
資料を読むなら、日本語では浜松ホトニクスの解説[3]、Baslerのデモザイクの説明[7]、デジカメWatchの裏面照射型CMOSの解説[9]が読みやすい。英語では、IEEE Spectrumのサッソンの記事[2]、ベイヤー特許[5]、IEEEのCCDのマイルストーン[1]、NASA JPLのニュース[8]が原典に近い。
しらべた もとの じょうほう
参考にした情報源
参考にした情報源と、その使い方
出典について:IEEEのマイルストーン、IEEE Spectrumの記事、メーカーの解説、米国特許、NASA JPLのニュース、報道・個人の記事を使った。何に使ったかは、それぞれの項目の最後に書いている。
- IEEE ETHW マイルストーン「Charge-Coupled Device, 1969」。https://ethw.org/Milestones:Charge-Coupled_Device,_1969 (CCDの発明と仕組み、2009年のノーベル物理学賞について)
- IEEE Spectrum「Kodak's first digital camera」。https://spectrum.ieee.org/first-digital-camera-history (1975年の試作機の仕様とサッソンの説明について)
- 浜松ホトニクス 学習ガイド(CCD/EM-CCD/CMOSの比較)。https://camera.hamamatsu.com/jp/ja/learn/technical_information/thechnical_guide/visual_guide.html (画素の構造、電荷の転送、量子効率、CCDとCMOSの違いについて)
- Photography Blog「CCD inventors awarded Nobel Prize in Physics」。https://www.photographyblog.com/news/ccd_inventors_awarded_nobel_prize_in_physics (光電効果とCCDについて。ノーベル賞のプレスリリースの引用記事)
- 米国特許US3971065(Bayer, Eastman Kodak)。https://patents.google.com/patent/US3971065A/en (ベイヤー配列の割合と出願・成立の日付について)
- HDWarrior「Father of the Bayer filter」。https://www.hdwarrior.co.uk/2012/11/23/father-of-the-bayer-filter-dies-aged-83/ (ベイヤー配列の使われ方について。個人の記事)
- Basler ドキュメント「デモザイク」。https://ja.docs.baslerweb.com/demosaicing-mode.html (デモザイクの考え方と補い方について。産業用カメラのメーカー資料)
- NASA JPL ニュース「Queen Elizabeth Prize honors digital imaging pioneers」。https://www.jpl.nasa.gov/news/queen-elizabeth-prize-honors-digital-imaging-pioneers/ (CMOSアクティブピクセルセンサーの開発について)
- デジカメWatch「ソニーの裏面照射CMOSの解説」。https://dc.watch.impress.co.jp/docs/review/special/351111.html (裏面照射型CMOSの構造について。報道)
なおした ところ
更新履歴
更新履歴(改版の記録)
- 初版を公開。
このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。