このサイトは、ほんの入り口です

ここにあるのは、だれかが実際に調べ、考え、作ってきたことを集めたメモです。気になったら、ページの下の「参考にした情報源」から、もとの本や記事、それを生み出した人たちに、直接ふれてみてください。このメモには書ききれないおもしろさが、そこにあります。

スマホは 1まい とる ときに、なんまいも かさねて いる? ── しゃしんを なおす ばしょの はなし

スマホの1枚は、何枚も重ねてできている ── 写真を「直す場所」が鉛筆から暗室、パソコン、スマホの中へ動くまで

写真の補正技術の移り変わり ── ネガ修整・焼きこみ・Photoshopから、連写合成のHDR+・Night Sightまで

分野:技術

スマホで しゃしんを 1まい とった とき、なかでは なんまいも とって かさねて いる ことが あります[9]。

じつは、しゃしんは むかしから、とった あとで なおされて きました。その「なおす ばしょ」は、どう うつって きたのでしょう。この ページで わかります。

GoogleのPixelというスマホでは、シャッターを1回押したつもりでも、内部では2〜10枚ほどを撮って重ねていることがあります[9]。

けれど、写真を撮ったあとで直すこと自体は、100年以上前からありました。鉛筆、暗室、パソコンのソフトと、直す場所は何度も引っ越しています。その道すじが分かります。

GoogleのHDR+は、1回の撮影で全解像度のRAW画像を2〜10枚撮り、位置を合わせて合成する[9]。スマホは、撮影の瞬間に補正まで済ませているわけだ。

では、補正はいつ、どこで行われてきたのか。ネガへの鉛筆、暗室での焼きこみ、Photoshop、そして連写合成までの流れを、館の資料や論文から読むと、「直す場所」が少しずつカメラへ近づいたことが分かる。

読み方を切り替えられます。画面の上にある「よみかた」のボタンで、小学校低学年むけ・小学校高学年むけ・中学生むけの3つの書き方に切り替わります。むずかしいと思ったら、いつでもやさしい方に戻ってください。選んだ読み方はブラウザが覚えているので、次に別の記事を開いたときも同じ読み方で始まります。

1. むかしの しゃしんやさんは、えんぴつで なおして いた

1. 100年以上前の写真家は、ネガに鉛筆で線を描いていた

1. ネガ修整 ── 撮ったあとにフィルムの側を直す

スイスの カメラの はくぶつかんには、1880ねんごろの、ネガを なおす ための つくえが のこって います[1]。

つくえの うえには、すりガラスが あります。その うえに ネガを おき、した から かがみで 光を あてて、すかして はたらきます。つかう どうぐは、えんぴつ、ナイフ、ふで、けしゴムなどです[1]。

むかしの しゃしんやさんは、ネガに ほそい 線を かいて、かおを あかるく したり、光の ところを ふやしたり しました[2]。

でも、なおしすぎは よく ないと されました。きほんの かんがえは「ひつような ぶんだけ」でした[1]。

透かして直す、小さな机

スイスのカメラ博物館には、1880年ごろの修整台が展示されています。すりガラスの上にネガを置き、下から鏡で光を当てて、透かしながら作業する机です。道具は、拡大鏡、修整用のナイフ、筆、絵の具、消しゴム、鉛筆などでした[1]。

博物館は、手を入れるのを必要最小限にとどめるという考え方を紹介しています[1]。

鉛筆の線で、顔を明るくする

ヴィクトリア朝の写真家は、先の細い鉛筆でハイライトを足したり、先の鈍い鉛筆で線を交差させて、顔の一部を明るく見せたりしたそうです[2]。

写真を撮ったあとで手を入れる習慣は、ずいぶん昔からありました。では、ネガではなく、紙に焼く段階では、何が行われていたのでしょうか。

ガラス板ネガの時代から、写真家は撮影後のネガ自体に手を入れてきた。スイスのカメラ博物館には、1880年ごろの修整台がある。すりガラスにネガを置き、下から鏡で光を当てて透かす構造で、拡大鏡、修整ナイフ、筆、水彩絵の具、消しゴム、鉛筆などを使った[1]。

直し方を描いた別の資料では、ヴィクトリア朝の写真家が、細い鉛筆でハイライトを足し、鈍い鉛筆のクロスハッチングで顔を明るくした[2]。博物館は「修整は必要最小限にとどめる」という考え方を紹介しており、直す技術と同時に、直しすぎない判断が求められていたことが分かる。そのため、ネガの次は、紙に焼く段階での調整が問題になる。

2. くらい へやで、てで 光を ふやしたり へらしたり

2. 暗室では、手で光をさえぎって明るさを変えた

2. 焼きこみと覆い焼き ── 暗室での部分的な露光調整

ネガから しゃしんの かみに うつす とき、くらい へやで 光を あてます。ここでも、なおす ことが できました。

かみの 一ぶに あたる 光を へらすと、そこは あかるく なります。反対に ふやすと、くらく なります[3]。この さぎょうを、おおいやき・やきこみと いいます。

かみに あたる 光を、どうぐで 一ぶだけ さえぎって、あかるさを かえて いたのです[3]。

紙に当たる光を、場所ごとに増減する

暗室で写真を紙に焼くとき、紙の一部に当たる光を減らすと、その部分は明るく仕上がります。これをドッジング(覆い焼き)といいます。反対に光を増やすと暗く仕上がり、これがバーニング(焼きこみ)です[3]。

紙に当たる光を、道具で部分的にさえぎることで、明るさを変えていました[3]。

同じネガから、ちがう1枚をつくる

アメリカの風景写真家アンセル・アダムスは、ネガを楽譜、プリントを演奏にたとえたと紹介されます[4]。同じネガから、焼きこみや覆い焼き、切り取りを変えた別のプリントを作り、展覧会では並べて比べられました[4]。

直すことは単なる修正ではなく、写真家の選び方そのものになりえます。その手作業を、パソコンの中へ運んだのは誰だったのでしょうか。

暗室では、印画紙の一部への露光量を減らして明るく(ドッジング)、増やして暗く(バーニング)できる。紙に当たる光を道具で部分的に遮ることで、明暗を調整した[3]。

この手作業は、単なる修正ではなかった。フェニックス美術館のアンセル・アダムス展の解説は、同じネガから焼きこみ、覆い焼き、切り取り、コントラストを変えた複数のプリントを並べて比べると、アダムスの選択が分かると述べる[4]。アダムスは、ネガを楽譜、プリントを演奏にたとえたと紹介される。直しは、撮影後に写真家が解釈を加える工程でもあった。ではその工程は、機械の側へどう移ったのか。

3. パソコンの ソフトは、がくせいの プログラムから はじまった

3. パソコンの「Photoshop」は、学生のプログラムから生まれた

3. Photoshopの誕生 ── Displayから1990年の1.0まで

1987ねん、アメリカの だいがくの だいがくいん生 トーマス・ノールさんは、がぞうを うつして なおす プログラムを かきました[5]。

はたらいて いた おにいさんの ジョンさんは、「しゃしんを なおす のに、やくに たつ」と おもいました。おにいさんは、えいがの とくしゅこうかを つくる 会社で はたらいて いました[5]。

1988ねんの なつ、ふたりは これを しょうひんに できると かんがえ、「Photoshop(フォトショップ)」と なづけました。アドビ という 会社が 1989ねん 4がつに けいやくし、1990ねんの はじめに バージョン1.0が はじまりました[5]。

さいしょは マッキントッシュ という パソコンむけで、おもに パスカルという ことばで かかれたと いわれます[5]。

大学院生のプログラムを、兄が見つけた

コンピュータ歴史博物館によると、トーマス・ノールはミシガン大学の博士課程の学生で、1987年に画像を表示・加工するプログラムを書きました。映画の特殊効果会社ILMで働いていた兄のジョンが、これは写真の編集に役立つと見つけたそうです[5]。

名前がついて、商品になるまで

1988年の夏、兄弟はこのプログラムを商品にできると考えて、「Photoshop」と名づけました。アドビが1989年4月にライセンス契約を結び、バージョン1.0は1990年の初めに出荷が始まりました[5]。

最初はアップルのマッキントッシュ向けで、おもにPascalという言語で書かれていたと説明されています。そのバージョン1.0.1のソースコードは、2013年に博物館が公開しました[5]。暗室の机にあった作業が、画面の上へ引っ越したわけです。ただ、そもそもデジタルカメラの写真は、パソコンに取りこむ前から、すでに「作られた画像」でした。

Photoshopの原型は、ミシガン大学のコンピュータビジョン専攻の博士課程にいたトーマス・ノールが、1987年に書いた画像の表示・加工プログラムだ。ILMで働いていた兄のジョンが、これが写真編集に使えると見抜いたことで、単なる研究用の道具から商品化の道へ進んだ[5]。

1988年夏、兄弟はこれを製品になりうると考えて「Photoshop」と名づけた。アドビが1989年4月にライセンス契約を結び、バージョン1.0の出荷は1990年初めに始まった[5]。最初はマッキントッシュ向けで、主にPascalで書かれ、1.0.1のソースコードは2013年に博物館が公開している[5]。暗室での明暗調整の一部も、やがて画面上でできるようになった。ただし、デジタル写真の「補正」は、ソフトに取りこむ前、センサーの段階から始まっている。

4. デジタルカメラは、1つの 点に 1しょくしか わからない

4. デジタルカメラは、撮った瞬間に「足りない色」を補っている

4. ベイヤー配列とデモザイク ── 撮像素子の段階の補間

デジタルカメラの なかには、小さな 点が たくさん ならんだ ぶひんが あります。おおくの カメラでは、この 1つ 1つの 点は、あか・みどり・あおの うち、1しょくしか かんじません[6]。

では、どうして フルカラーの しゃしんに なるのでしょう。たりない 2しょくは、まわりの 点から、おぎなって います[6]。これは、いわば カメラの なかの、さいしょの「なおす」さぎょうです。

ならべ方は、みどりが はんぶん、あかと あおが 4ぶんの 1ずつです[6]。人の 目は みどりの こまかい ところに いちばん びんかん なので、みどりを おおく した、と とくきょの しょるいに かいて あります[7]。

1つの画素は、1色しか感じない

ベイヤー配列を使う多くのデジタルカメラのセンサーでは、1つの画素が赤・緑・青のうち1色だけを感じます。並べ方は、緑が半分、赤と青が4分の1ずつです。足りない2色は、周りの画素の値から割り出します。この処理をデモザイクといい、これでフルカラーの画像ができあがります[6]。

緑を多くした理由

この並べ方は、コダックのブライス・ベイヤーが1975年3月に出願し、1976年7月20日に米国特許3,971,065になりました。特許の書類には、人の目は緑の細かい部分にいちばん敏感なので、緑を最も多く並べる、と書かれています[7]。

つまり、パソコンで直す前に、カメラの中ですでに「補う」作業が行われていました。この考え方が、次の章の連写合成につながります。では、スマホはなぜ、1枚では足りなかったのでしょうか。

ベイヤー配列を使う多くのデジタルカメラの撮像素子は、1画素が1色しか感じない。この配列では緑が半分、赤と青が4分の1ずつで、足りない2色は周囲の画素から補間してフルカラーにする。この補間処理がデモザイクだ[6]。

この配列は、コダックのブライス・ベイヤーが1975年3月に出願し、1976年7月20日に米国特許3,971,065として成立した。特許は、人の視覚が緑のディテールにもっとも敏感なため、緑を最も頻繁に標本化する設計だと述べる[7]。つまり、ソフトで直す以前に、センサーの出力はすでに補間された画像だった。補間は周囲の値からの推定なので、1枚の限られた情報には限界がある。では、スマホのように光の少ない条件では、何が問題になるのか。

5. くらい ところで ざらざらを へらす には、かさねる

5. 暗い場所の「ざらざら」を減らすために、連写を重ねる

5. HDR+ ── 同じ露出の連写をそろえて重ねる

スマホの カメラは、レンズの くちが ちいさく、あつめられる 光が すくないので、くらい ところでは しゃしんが ざらざらに なりやすいと いわれます[8]。

そこで Googleは、HDR+(エイチディーアールプラス)という しくみを つくりました。おなじ あかるさで ねらった しゃしんを つづけて とり、ずれを そろえて かさねます[8]。かさねる まい数は 2〜10まい ほどで、きしゅや ばめんで かわります[9]。

ざらざらが へり、あかるい ところと くらい ところの ひろさも ひろがります[9]。ながい 時間 とる より、手ぶれも おきにくい のだそうです。さいしょは Nexus 5と 6という きしゅに のりました[9]。

たとえば、おなじ けしきを なんまいも とって かさねると、ざらざらは ちらばって めだたなく なります。ただし、かさねる ときに ずれを そろえる ひつようが あります。

なぜ、スマホは暗い場所が苦手なのか

スマホのカメラは絞り(レンズの口)が小さいので、集められる光の粒が少なく、暗い場所ではノイズの多い写真になりやすいと、Googleの研究者は論文で説明しています[8]。

1回で撮らず、何枚も撮って重ねる

2016年の論文で発表されたHDR+は、同じ露出の暗めのRAW画像を連写し、位置を合わせて重ねます。露出を変えながら撮るのではなく、すべて同じ露出にするので、位置合わせが安定します。論文の端末では、12メガピクセルの画像を約4秒で、操作なしに処理したと報告されています[8]。この4秒は論文当時の端末での値で、今の機種の速さではありません。

Googleのブログによると、2〜10枚の全解像度のRAW画像を位置合わせして合成し、ノイズを減らしてダイナミックレンジ(明るい所から暗い所までの幅)を広げます。長い露光より手ぶれが出にくく、最初に載ったのはNexus 5と6です[9]。この枚数は機種や場面で変わります。

暗室で一枚ずつ手で直していた作業の一部を、スマホは撮る数秒のうちに、機械で済ませています。それなら、もっと暗い場所ではどうなるのでしょうか。

スマホは絞りが小さく、集められる光子が少ない。そのため、暗所ではノイズの多い画像になりやすい[8]。露光を長くして光を集める方法は、手ぶれや被写体の動きに弱い。そこでHDR+は、同じ露出の暗めのRAW画像を連写して位置を合わせ、重ねるという別の道をとった。

2016年のSIGGRAPH Asiaの論文によると、この方式は露出を変えるブラケットではなく、一定露出のフレームを使う。そのため位置合わせが安定し、12メガピクセルの画像を端末上で約4秒、操作なしに処理した[8]。ただし4秒は論文時点の端末での値だ。Googleのブログは、2〜10枚の全解像度RAW画像を位置合わせして中間RAW画像にまとめ、ノイズを減らしてダイナミックレンジを広げる、と説明する。最初の搭載機はNexus 5と6だった[9]。枚数は機種や場面で変わる。この方法が使える暗さには限りがあり、その先を扱うのがNight Sightだ。

6. もっと くらい よるは、6〜15まい かさねる

6. 夜の暗さへ ── Night Sightは6〜15枚を重ねる

6. Night Sight ── 手ぶれと被写体の動きを見ながら重ねる

2018ねん11がつ、Googleは Pixelという スマホに Night Sight(ナイトサイト)を のせました。くらい ところでも、くっきり きれいな しゃしんが とれると せつめいして います[10]。

この しくみは、6〜15まいを つづけて とります。手ぶれや、うごく ものを みつけて、あかるさを かえながら、ずれを そろえて かさねます[10]。

じぶんの 目でも あまり みえない ほどの くらさでも とれると、Googleは せつめいして います。ただし まいすうは ばめんしだいです。さんきゃくを つかうと、1びょうまで ながく とる こともあります[10]。

暗さの限界を広げる

2018年11月、GoogleはPixelにNight Sightを載せました。Googleのブログは、自分の目でもあまり見えないほど暗い場所でも、くっきりしたきれいな写真が撮れると説明しています[10]。

この機能は、6〜15枚を連写し、手ぶれや被写体の動きを検知して、露出を調整してから、位置を合わせて合成します。対象は、約3〜0.3ルクスの暗さです。三脚を使うときは、最大1秒の露出になることもあります。枚数は条件によって変わります[10]。

鉛筆でネガを直していた人も、暗室で光を手で遮っていた人も、「撮ったあとで直す」ことをしていました。今は、直す作業の多くが、撮る数秒のうちに、カメラの中で行われています。

HDR+でも足りないのは、さらに暗い場面だ。そこでGoogleは、2018年11月にPixel向けのNight Sightを出した。Googleのブログは、自分の目でもほとんど見えないような暗さでも、鮮明で雑音の少ない写真が撮れる、と説明している[10]。

この機能は、6〜15枚を連写し、手ぶれや被写体の動きを検知して露出を調整したうえで、位置を合わせて合成する。対象は約3〜0.3ルクスの暗さだ。三脚使用時は最大1秒の露出もあり、枚数は条件で変わる[10]。暗いほど光子が少なく、1枚ごとのノイズが増えるので、その分を枚数と動きへの対応で補う設計になっている。直す場所は、ネガ、紙、パソコンの画面を経て、シャッターを押す瞬間のカメラの中へ移った、と整理できる。ただしこれはGoogleの方式の話で、他社の方式は今回の資料に含まれない。

7. じぶんの スマホで、なおして みよう

7. 自分の写真で、「直す」を試してみる

7. 出口 ── 手で触れる体験と、読める資料

おうちの 人の スマホで、あかるさが ちがう しゃしんを 1まい えらびます。しゃしんの アプリの「へんしゅう」から、あかるさや、くらい ところを うごかして みましょう。

とった あとで あかるくする ことは、くらい へやで 光を ふやして いた しゃしんやさんの しごとに にて います。ただし、アプリの なかで なにが おきて いるのかは、きしゅや アプリで ちがいます。

もとの しゃしんは かならず のこして、うごかした しゃしんと ならべて みて ください。

家にある写真や、家族のスマホで撮った写真を1枚選び、写真アプリの編集画面で、明るさや暗い部分のスライダーを動かしてみましょう。やることは、暗室で光を足したり減らしたりしていた作業に似ています。ただし、アプリの内部で何が起きているかは、機種やアプリで異なります。

元の写真は残しておき、直した写真と並べて見比べてください。どこまで直すと不自然に見えるでしょうか。博物館の「必要最小限」という考え方を、自分の目で確かめられます[1]。

夜に撮った暗い写真があれば、明るくしたときにざらざらが目立つかも見てみましょう。1枚の写真から引き出せる情報には限りがあることが、見えてきます。

手を動かすなら、スマホの写真アプリで1枚を選び、編集画面の明るさや暗部の調整を動かして、元の写真と並べて比べる。暗室で手がしていた部分的な明暗の調整と、機能の名前は同じ系統だが、アプリの内部処理は機種やアプリで異なり、同じとは言えない。博物館の「必要最小限」という原則を、自分の目で試すことになる[1]。

夜に撮った暗い写真があれば、明るくしたときのざらつきも見るとよい。1枚から引き出せる情報の限界が、連写を重ねる理由として実感できる。赤目補正や顔の補正など、ここで扱わなかった補正の歴史は、さらに調べる価値のある問いだ。

しらべた もとの じょうほう

参考にした情報源

参考にした情報源と、その使い方

出典について:博物館、論文、特許、企業の公式ブログ、百科事典を使った。何に使ったかは、それぞれの項目の最後に書いている。

  1. Camera Museum Vevey「Retouching Negatives」。https://www.cameramuseum.ch/en/discover/permanent-exhibition/the-origins-of-photography/retouching-negatives/ (ネガ修整と修整台について)
  2. Mental Floss「How Photographers Retouched Photos in the Victorian Era」。https://mentalfloss.com/article/68167/how-photographers-retouched-photos-victorian-era (鉛筆での修整について。二次資料)
  3. Wikipedia「Dodging and burning」。https://en.wikipedia.org/wiki/Dodging_and_burning (覆い焼きと焼きこみについて。二次資料)
  4. Phoenix Art Museum「Ansel Adams: Performing the Print」。https://phxart.org/exhibition/ansel-adams/ (同じネガから作る別のプリントについて)
  5. Computer History Museum「Adobe Photoshop Source Code」。https://computerhistory.org/blog/adobe-photoshop-source-code (Photoshopの成り立ちについて)
  6. Wikipedia「Bayer filter」。https://en.wikipedia.org/wiki/Bayer_filter (1画素1色とデモザイクについて。二次資料)
  7. Google Patents「US3971065A Color imaging array」。https://patents.google.com/patent/US3971065A/en (ベイヤー配列の特許について)
  8. Google Research「Burst photography for high dynamic range and low-light imaging on mobile cameras」。https://research.google/pubs/burst-photography-for-high-dynamic-range-and-low-light-imaging-on-mobile-cameras/ (スマホの暗所撮影とHDR+の論文について)
  9. Google Research Blog「Introducing the HDR+ Burst Photography Dataset」。https://research.google/blog/introducing-the-hdr-burst-photography-dataset/ (HDR+が重ねる枚数について)
  10. Google Research Blog「Night Sight: Seeing in the Dark on Pixel Phones」。https://research.google/blog/night-sight-seeing-in-the-dark-on-pixel-phones/ (Night Sightについて)

なおした ところ

更新履歴

更新履歴(改版の記録)

  •  初版を公開。

このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。