このサイトは、ほんの入り口です

ここにあるのは、だれかが実際に調べ、考え、作ってきたことを集めたメモです。気になったら、ページの下の「参考にした情報源」から、もとの本や記事、それを生み出した人たちに、直接ふれてみてください。このメモには書ききれないおもしろさが、そこにあります。

どうがで でんしゃが ゆがんで うつるのは なぜ?

動画で電車や扇風機がゆがんで見えるのは、なぜ? ビデオカメラの中で起きていること

動画で速く動く被写体がゆがむのは、なぜか ── CMOSセンサーの読み出しと、手ブレ・ピントの工夫

分野:技術

どうがを とると、はやく うごく ものが、ゆがんで うつる ことが あります。1まいの 絵の 中でも、じつは ぜんぶが 同じ ときに とれて いない からです[6]。

どうして そんな ことに なるのでしょう。ビデオカメラの 中で、光が どうがに かわって いく みちすじと、ゆれと ピントの くふうが わかります。

走る電車や回る扇風機を動画に撮ると、ゆがんで写ることがあります。1枚の絵の中でも、全部が同じ瞬間に撮られているわけではないからです[6]。

では、ビデオカメラの中では何が起きているのでしょうか。光が電気信号になる流れと、手ブレ補正やピント合わせの工夫を知ると、動画がなぜ見られる形になるのかが分かります。

最近のカメラに多いCMOSセンサーは、画面を1行ずつ読み出す方式が一般的で、行ごとに露光のタイミングがずれる。そのため、速く動く被写体は、動画のなかでゆがんで写ることがある[6]。

では、なぜ1行ずつ読むのか。そして、手に持って撮っても画面が落ち着き、動く被写体にピントが合い続けるのは、カメラの中で何が起きているからか。センサー、手ブレ補正、オートフォーカスの順に、その理由が分かる。

読み方を切り替えられます。画面の上にある「よみかた」のボタンで、小学校低学年むけ・小学校高学年むけ・中学生むけの3つの書き方に切り替わります。むずかしいと思ったら、いつでもやさしい方に戻ってください。選んだ読み方はブラウザが覚えているので、次に別の記事を開いたときも同じ読み方で始まります。

1. 止まった 絵が、どうして 動いて 見えるの?

1. 止まった絵が、どうして動いて見えるのか

1. 動画は静止画の連続 ── 仮現運動と、無圧縮のデータ量

どうがは、じつは 止まった 絵を、みじかい 時間で つぎつぎに 見せた ものです。人の 目は、それを 動いて いると 感じます[1]。ぱらぱらまんがと 同じです。

地上の テレビ(NTSC)では、1びょうに 30まいほど 見せます[2]。まいすうが 多いほど、動きは なめらかに なります。ただし、どうがは ぜんぶ 30まいと いう わけでは ありません。

ここで 気に なる ことが あります。その 絵の 1まいは、どうやって 光から 作られるのでしょう。

映画フィルムと同じ考え方

動画は、静止画を短い間隔で続けて見せたものです。人はそれを、実際に動いているように感じます。心理学では仮現運動と呼ばれる現象で、映画フィルムが典型的な例です[1]。

日本の地上波テレビ(NTSC方式)は、1秒に約30枚の静止画を表示します[2]。枚数が多いほど、動きはなめらかです。ただし、撮影の設定やデジタル放送には30枚以外もあるので、ビデオがすべて30枚というわけではありません。

1秒分の絵を、まるごと運ぶと

1920×1080画素の絵を、赤・緑・青を8ビットずつ(合計24ビット)で表し、1秒に30枚ならどうなるでしょうか。1920×1080×24×30を計算すると、約14億9千万ビット、つまり約1.5ギガビット毎秒です。これは圧縮しない場合の値で、私の計算です。1枚の絵を作るだけでなく、それを何十回も繰り返す速さが、ビデオカメラには要ります。

では、その1枚は、どうやって光から作られるのでしょうか。

動画は、静止画を短い間隔で提示すると運動して見える仮現運動を利用したもので、映画フィルムが典型例だ[1]。残像だけで説明するのは正確でない。日本の地上波(NTSC)では1秒に約30枚が表示される[2]。ただし撮影設定やデジタル放送では30枚以外もあり、フレームレートは一定ではない。

この「1秒に何十回」の重さを、無圧縮で計算してみる。1920×1080画素、RGB各8ビット(1画素24ビット)、30コマなら、1920×1080=2,073,600画素、×24=49,766,400ビット/コマ、×30=1,492,992,000ビット/秒で、約1.49Gbpsになる。これは自分で計算した値で、実際の記録は圧縮されてもっと小さい。いずれにせよ、センサーは1コマを作ること自体を、毎秒数十回、休まず繰り返す必要がある。

では、1コマは光からどう作られるのか。次にセンサーの中をのぞく。

2. 光は、どうやって 電気に なるの?

2. 光を電気に変える、2つのセンサー

2. CCDとCMOS ── 電荷をリレーする方式と、画素ごとに増幅する方式

ビデオカメラの 中には、光を 電気に かえる 小さな 点が、びっしり ならんで います。1つの 点が 1つの「がそ」です。

むかしの センサー「CCD」は、光が 強いほど 電気が たまります。その 電気を、となりへ、となりへと バケツリレーの ように わたして、出口へ はこびます[4]。1969年に、アメリカの ベル研究所で 生まれました[5]。

いまの カメラに 多い「CMOS」は、点の ひとつずつに、電気を 大きくする しかけが あります。少ない 電気で 動き、よみだしも はやくしやすいと いわれます[3]。

では、たくさんの 点を、どんな じゅんばんで よむのでしょう。

CCD ── 電荷のバケツリレー

CCDは、光の強さに比例して、画素に電荷(電気のつぶ)がたまります。その電荷を、隣の素子へ順に受け渡して出口まで運びます。キヤノンの解説は、各素子がいっせいに隣へ電荷をバケツリレーするような仕組みだと説明しています[4]。

発明は1969年10月17日、アメリカのAT&Tベル研究所です。光を、小さなコンデンサに電荷として蓄える形で電気信号にする方法として示されました[5]。ボイルとスミスは、この業績で2009年のノーベル物理学賞を受けています[4]。ただし、IEEEの資料はもう1人、トンプセットも発明者に挙げています。

CMOS ── 画素ごとに増幅する

CMOSは、光を感じる素子(フォトダイオード)と、信号を大きくするアンプが、画素ごとに並ぶ半導体です。低い電圧で動き、読み出しを速くしやすく、製造費も低いとされています[3]。

速く読めるのは、動画に向いた性質です。では、その読み出しは、同時に行われるのでしょうか。

CCDでは、光の強さに比例して各画素に電荷がたまり、それを隣へ順に受け渡して出力まで運ぶ。キヤノンの解説は、これを各素子がいっせいに隣へ電荷をバケツリレーする仕組みと表現する[4]。発明は1969年10月17日のAT&Tベル研究所で、光を電荷として小さなコンデンサに蓄え、電気信号にする方法として示された[5]。2009年のノーベル物理学賞はボイルとスミスに贈られたが、IEEEの資料は発明者にトンプセットも含めており、賞の対象と発明者の範囲は一致しない。

これに対しCMOSは、光を感じるフォトダイオードと信号を増幅するアンプが画素ごとに並ぶ。低電圧で動作し、読み出しの高速化が容易で、製造費も低い[3]。電荷を長い距離リレーするCCDと違い、画素ごとに信号を取り出せる構造が、速い読み出しに向く理由と考えられる。ただし、この因果は資料が直接述べたものではなく、構造からの推測にとどめる。

ここで問題になるのは、画素の信号を読み出す順番だ。全画素を同時に読めるのか、順に読むのか。その違いが、動画の見え方に直接かかわる。

3. 電車は、どうして ゆがんで 見えるの?

3. 速く動くものがゆがむ ── ローリングシャッター

3. ローリングシャッター ── 行ごとの読み出しによる時間差と、グローバルシャッター

CMOSの 多くは、がめんを 1ぎょうずつ、じゅんばんに よみます。ぎょうごとに、光を 受ける ときが、すこしずつ ずれます[6]。

たとえば、はやく 走る 電車を とると、1ぎょう目と、さいごの ぎょうでは、電車の いちが ちがって います。それで、まっすぐな はずの ものが ゆがんで 見える ことが あります。

ただし、すべての CMOSが ぎょうごとに よむ わけでは ありません。ソニーは、ぜんぶの がそを 同じ ときに 光らせ、すぐに デジタルに かえて、メモリーに とっておく しくみを 作りました[6]。これを「グローバルシャッター」と いいます。

1行ずつ読むと、時間がずれる

CMOSセンサーの画素は、各行を順番に読み出す「ローリングシャッター」方式が一般的です。行ごとに露光のタイミングがずれるため、速く動く被写体が、ゆがんで写ることがあります[6]。

たとえば、画面を横切る電車を考えてみます。最初に読まれる行と、最後に読まれる行では、電車がいる位置が少し違います。まっすぐな車体が、傾いたり曲がったりして見えるのは、そのためと考えられます。ただし、どのくらいゆがむかは、速さと読み出しの時間で変わります。

同時に撮れば、ずれない

すべてのCMOSが行ごとというわけではありません。ソニーのグローバルシャッターは、全画素を同時に露光した信号を、すぐデジタルに変換し、メモリーで一時的に保持して、ローリングシャッターによるゆがみを抑えます[6]。

ところで、動画の画面は、被写体が動くときだけでなく、カメラを持つ手が動いても揺れます。その揺れは、どう抑えているのでしょうか。

CMOSセンサーの画素は、各行を順番に読み出すローリングシャッター方式が一般的だ。1行ごとに信号を読み出すためタイミングにずれが生じ、被写体のゆがみとして画像に現れる[6]。たとえば画面を横切る電車なら、先に読まれる行と後に読まれる行で、電車の位置が少しずつ違う。そのため、車体が傾いたように見える。ただし、このゆがみ方は被写体の速さと読み出しにかかる時間で決まり、遅い被写体ではほとんど目立たない。

これに対し、全画素を同時に露光するグローバルシャッターがある。ソニーの方式は、全画素が同時に露光したアナログ信号を、すぐデジタルに変換してメモリーで一時保持し、ローリングシャッターによるゆがみを抑える[6]。ただし、この記事は、メーカーの発表を伝えたものだ。また、すべてのCMOSがローリングシャッターというわけではなく、方式はセンサーごとに異なる。

ところで、ゆがみは被写体が速いときの話だった。一方、カメラを手に持つと、被写体が止まっていても画面が揺れる。次はその揺れをどう抑えるかを見る。

4. 歩きながらでも、ゆれが 小さいのは なぜ?

4. 手ブレ補正 ── カメラの中で、逆向きに動くもの

4. 手ブレ補正 ── 光学式・空間光学式・電子式の違い

1985年、ソニーの ハンディカムの 1ごうきが 出ました。おもさは 1キロほどで、手に もって とる ことが できました[10]。手に もつと、どうしても ゆれます。

そこで、カメラの 中の ジャイロセンサーが、ゆれを 見つけます。そして、レンズの 一ぶや センサーを、ゆれを けす むきに うごかします[7]。手が 右に ゆれたら、中の ぶひんは 左へ、というように です。

ハンディカムの 一ぶの きしゅでは、レンズと センサーを いっしょに うかせる ように うごかす やり方も つかわれて います[8]。

ほかに、画めんの はしの 少し 外がわを つかう「電子式」も あります。ただし、ひかりで ゆれを けす やり方の ほうが、きれいさは 下がりにくいと いわれます[9]。

ジャイロで揺れを測り、逆に動かす

手ブレ補正は、角速度(ジャイロ)センサーで揺れを検出し、レンズの一部やセンサーを、揺れを打ち消す向きに動かします[7]。揺れには、カメラが回転する「角度ブレ」と、平行に動く「シフトブレ」があります[7]。

ソニーが手に持って撮れるハンディカムの第1号CCD-M8を発売したのは、1985年9月です。重さは約1.0kgで、Video8テープを使いました[10]。世界初のビデオカメラではなく、あくまでハンディカムの第1号です。

空に浮かせる方式と、電子式

ソニーのハンディカムの一部機種は、レンズとセンサーを一体で空間に浮かせるように動かす「空間光学手ブレ補正」を採用しています[8]。全機種がこの方式ではなく、この機種の特長です。

電子式手ブレ補正は、使う範囲を撮影した全体より少し小さくして、周りの余りを使い、揺れの分だけ範囲をずらして打ち消します。光学式は光の段階で補正するので、画質が落ちにくいとされます[9]。

揺れは抑えられました。次に気になるのは、動く被写体にピントを合わせ続けられるのかです。

手ブレ補正は、角速度(ジャイロ)センサーで揺れを検出し、レンズの一部やセンサーを、揺れを打ち消す向きに動かす[7]。揺れには主に回転方向の角度ブレと平行移動のシフトブレがあり(ほかにロールブレもある)、補正の対象も異なる。ハンディカムは1985年9月発売の第1号CCD-M8(約1.0kg、Video8)が出発点で、手持ちで撮る道具として広まった[10]。ただし、これは世界初のビデオカメラという意味ではない。

ソニーの一部のハンディカムは、レンズとセンサーを一体で空間に浮かせるように動かす空間光学手ブレ補正を使う[8]。レンズの一部だけを動かす方式より、センサーまで含めて動かす点が違う。ただし、これは特定機種の特長で、一般化はできない。

電子式は、センサーが捉えた全体のうち使う範囲を少し小さくし、周りの余りの部分を使って、揺れの分だけずらして打ち消す。そのぶん画角が少し狭くなる。光学式は光の段階で補正するため、画質が落ちにくいとされる。ソニーの解説では、画質を落とさず高い補正効果が期待できると説明されている[9]。

揺れを止めても、被写体そのものが近づいたり遠ざかったりすれば、ピントはずれる。最後にピント合わせを見る。

5. ピントは、どうやって 合わせるの?

5. ピントは、どうやって合わせるの? ── 速く合う仕組み

5. コントラストAFと位相差AF ── ズレの向きと量を使う

ピントを 合わせる しかたは、大きく 2つ あります。

1つ目は「コントラストAF」。画の くっきりさが いちばん 強くなる ところまで、レンズを いったり きたり します[11]。ただ、いったり きたり するので、時間が かかります。

2つ目は「いそうさAF」。レンズを 通った 光を 2つに わけて、2つの 絵が どちらに、どれだけ ずれて いるかを 見ます。それで、レンズを どちらへ どれだけ うごかせば よいか、一ぺんに わかります[11]。だから 速いのです。

この いそうさを、センサーの 上の がそで やる やり方も あり、スマホなどに 広がって いると いわれます[11]。

行ったり来たりして探す方式

コントラストAFは、画像のコントラストが最大になるレンズの位置を、ピントが合った位置と判断します。ただし、そこを探してレンズが行ったり来たりするので、時間がかかります[11]。

ずれの向きと量から、一度に決める方式

位相差AFは、レンズを通る光を二つに分けた像が、どちら向きに、どれだけずれているかを見ます。そのずれの向きから、どちらにレンズを動かせばよいかが分かり、ずれの量から、動かす距離が分かります[11]。探し回らなくてよいので、ピントが速く合います。動く被写体を追い続けるには、これを繰り返してピント位置を更新していきます。

この位相差の検出を、イメージセンサー上の画素で行うのが像面位相差AFで、スマホやコンパクトカメラに広がっていると解説されています[11]。ただし、機種ごとの採用状況までは、この資料では分かりません。

コントラストAFは、画像のコントラストが最大になるレンズ位置をピント位置と判定する。しかし、そこへ至るまでレンズが行ったり来たりするため、遅い[11]。

位相差AFは、レンズの瞳を二分して得た像のズレから、どちらへ動けばピントが合うかという向きと、ズレ量からレンズの移動量が、同時に分かる[11]。向きと量の2つが一度に分かるため、探索の往復が要らず、ピントが速く合う。動く被写体を追い続けるには、この検出を繰り返してピント位置を更新する。ここまでは、記事の説明にもとづく。

この位相差検出を、イメージセンサー上の画素で行うのが像面位相差AFで、スマホやコンパクトカメラへの普及が指摘される[11]。ただし、これは解説記事の記述で、機種別の採用状況は、ここで使った資料の範囲を超える。

6. 家の まどから、ゆがみを さがして みよう

6. スマホで、ゆがみを探してみる

6. 出口 ── 観察の道すじと、資料の読みどころ

スマホの どうがで、家の まどから 見える 電車や、車を とって みましょう。ゆっくり 見かえして、まっすぐな ものが、ゆがんで いないか 見ます。

せんぷうきの 羽根を とるなら、少し はなれた ところから です。羽根には さわらないでください。ゆがんで 見えるか どうかは、スマホに よって ちがう ことも あります。

見えても 見えなくても、動くものを 1行ずつ とる、というしくみを 思いだして みて ください。

スマホの動画で、家の窓から見える電車や車、または少し離れた場所の扇風機の羽根を撮ってみましょう。撮ったら、ゆっくり再生して、まっすぐなはずの形がゆがんでいないかを見ます。

扇風機の羽根には、手や物を近づけないでください。電車や車は、家の中の窓から、安全なところで撮ります。

ゆがみ方は、被写体の速さやスマホの種類で変わります。見えない場合も、センサーの読み出しが速いか、グローバルシャッターに近い方式のためかもしれません。理由は、機種ごとに調べないと分かりません。

もっと知りたくなったら、キヤノンの技術解説[3][7]や、デジカメWatchの記事[6][11]に、くわしい説明があります。自分のスマホの型番で、どの方式のカメラかを調べるのも、次の問いになります。

観察は、スマホで窓から見える走行中の電車や車、あるいは少し離れた位置の扇風機の羽根を動画で撮り、コマ送りで見る。扇風機の羽根には近づかず、窓や安全な場所から撮影する。ゆがみ方は、被写体の速さと読み出し時間で決まる。見えない場合も、見えるかどうかは、被写体の動きや撮影条件、機種によって異なる。

資料の読みどころは、行ごとの読み出しとグローバルシャッターを扱うデジカメWatchの記事[6]、位相差AFとコントラストAFの比較[11]、手ブレ補正の原理を示すキヤノンの解説[7]だ。メーカー資料と報道の説明を比べると、強調する点が違うことに気づく。圧縮の話は別のメモに詳しいので、ここでは扱わなかった。

しらべた もとの じょうほう

参考にした情報源

参考にした情報源と、その使い方

出典について:メーカーの技術解説、IEEEの資料、解説記事を使った。何に使ったかは、それぞれの項目の最後に書いている。

  1. コトバンク「運動知覚(仮現運動)」。https://kotobank.jp/word/運動知覚 (仮現運動の説明について)
  2. Rentio「フレームレート(fps)の解説」。https://www.rentio.jp/matome/i-p-fps/ (地上波テレビのコマ数について。解説サイト)
  3. キヤノン サイエンスラボ「CMOSセンサー」。https://global.canon/ja/technology/s_labo/light/003/05.html (CMOSの構造と特徴について)
  4. キヤノン サイエンスラボ「CCD」。https://global.canon/ja/technology/s_labo/light/003/04.html (CCDのバケツリレーの仕組みとノーベル賞について)
  5. IEEE Milestone「Charge-Coupled Device, 1969」。https://ethw.org/Milestones:Charge-Coupled_Device,_1969 (CCDの発明日と発明の内容について。英語の資料)
  6. デジカメWatch「ソニー、グローバルシャッター搭載センサー」記事。https://dc.watch.impress.co.jp/docs/news/1106138.html (ローリングシャッターとグローバルシャッターについて)
  7. キヤノン「手ブレ補正の仕組み」。https://personal.canon.jp/product/camera/rf/rf-lensworld/knowledge/correction (ジャイロによる揺れの検出と補正について)
  8. ソニー ハンディカム HDR-PJ680 特長。https://www.sony.jp/handycam/products/HDR-PJ680/feature_1.html (空間光学手ブレ補正について。この機種の特長)
  9. ソニー デジタルスタジオ「手ブレ補正の解説」。https://www.sony.jp/products/di-world/hsquare/kouza/together/basic/basic_1.html (電子式手ブレ補正と光学式の違いについて)
  10. ソニー ハンディカムの歴史。https://www.sony.jp/handycam/history/ (ハンディカム第1号の発売年と重さについて)
  11. デジカメWatch「位相差AFとコントラストAF」。https://dc.watch.impress.co.jp/docs/column/ml/1186808.html (2つのオートフォーカス方式について)

なおした ところ

更新履歴

更新履歴(改版の記録)

  •  初版を公開。

このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。