Topics 2020.01.22
深層学習による大気計測手法の提案
図1. 深層学習を用いたカメラ画像（左）からの雲光学的厚さ（右）の推定（Masuda et al., 2019）。
深層学習（ディープラーニング）を用いて天空観測カメラ画像から雲の高解像度空間分布を推定する手法を開発し，学術誌Remote Sensingに発表しました (Masuda et al., 2019)。
大気リモートセンシングへの深層学習の利用は2016年に始まりました。2016年5月頃，Alpha Goがプロの囲碁棋士に勝利して，メディアで話題になっていました。そこで使われていたのが深層強化学習という技術であることは新聞等で目にしていました。そんな時，修士課程の2年次の学生だった岡村凛太郎君が「Alpha Goで使われているディープラーニングのフレームワークが公開されていて，自分の研究でも使えるかもしれません。」と言い出しました。当時岡村君は3次元大気放射伝達モデルに基づいた3次元雲の衛星観測手法の開発に取り組んでいました。それを聞いた私は「ディープ？ラーニング？...何，それ？」と思い，自分のデスクに戻ってウェブ検索してみました。そこで，ディープラーニングとは多層の（深い）ニューラルネットワークを学習させるための一連の技術であり，現在盛んになっている第3次人工知能ブームの核心となる技術であることを知りました。3次元雲のリモートセンシングにニューラルネットを使用した研究は2002~2007年にかけて数本の論文が出ていました。以前は3層程度浅いニューラルネットが使われており，扱うことができる問題の規模やデータ量も今と比べたらはるかに小さいものでした。多層の畳み込みニューラルネットワークを使える今ならより高度なことができるかもしれないと思った私は，「この前話していたあれ，いいかもしれない。やってみよう。」と言いました。それからGPU計算機を購入し，岡村君は新しい技術を取り入れる能力に秀でていたので，約半年で研究を仕上げ，修士課程終了後の2017年9月に学術誌Atmospheric Measurement Techniquesに発表しました (Okamura et al. 2017)。3次元大気放射伝達モデルによって衛星から観測されるようなデータをシミュレーションすることはできるものの，逆に衛星観測データから3次元雲の特性を推定することは計算時間がかかりすぎて実用的な手法がありませんでした。ディープラーニングを使って，そこにブレークスルーをもたらした画期的な研究でした。
増田涼佑君の研究は，岡村君の研究を受け継いで，地上から雲の観測をしようとして始まりました。雲の観測は，気象予測モデルのデータ同化や太陽光発電の予測診断に有用です。地上カメラから雲の空間分布を推定するという目的を定め，スーパーコンピュータを使って大量の擬似観測画像を作成しました。物理モデルを用いて深層学習モデルを訓練するというアプローチは岡村君の時と同じです。2016年以降も深層学習技術は目覚ましい発展を遂げました。残差ネットワークやバッチ正規化などの発明によりネットワークはより深くなり，問題に特化したアーキテクチャの開発もあって，より高精度になりました。増田君は最新の技法を取り入れて，カメラで取得した画像データから28層の畳み込みニューラルネットワーク(CNN)を通して雲の光学的厚さの空間分布を128x128画素について求めることに成功しました。モデル計算による合成データを用いて性能評価を行い，各種の条件に依存する複雑な三次元放射伝達の効果を精度よく表現できていることが示されました。初期テストとして，実際にデジタルカメラの画像から雲光学的厚さを推定し，日射計の観測等と比較してよい結果を得ました。この研究により，観測画像からの雲分布推定になぜCNNがうまく機能するのかということがある程度理解できました。CNNは多チャンネルカメラ画像に含まれる分光特性と雲の空間的特徴や空間コンテキストを使用して雲分布を推定していること，ゆえに例えば観測データが多少のバイアスを持っていたとしても空間的特徴から雲特性を推定する能力があり，観測データの誤差に左右されにくいことがわかりました。このCNNの堅牢性は実際の観測に適用する時にとても重要です。この研究により安価なカメラを使用して雲を定量的に測定できるようになりました。論文は学術論文誌に2019年8月に公表され，論文誌のカバーページに選ばれました (Masuda et al., 2019)。2020年1月現在，すでに560回の全文閲覧，906回の要旨閲覧があります。
人工知能の産業利用の成功により深層学習技術は著しい発展を遂げ，様々な科学研究分野で利用されるようになっています。深層学習をはじめとした機械学習は複雑な物理モデルの高精度近似を可能とし，これまで困難だった問題を解決する一つの道具として有用です。一般には推定と予測，検知，識別，分類の問題に使うことができます。大気・海洋・陸面の研究分野での主な用途は一つはリモートセンシングです。教師データとして観測データのみを使って訓練するアプローチと，物理モデルを使って擬似観測シミュレーションしたデータを使って訓練するアプローチがあります。他の主な用途としては，統計的な気象・気候予測，低解像度シミュレーションの高解像度化（ダウンスケーリング），高精度で計算負荷の高い物理モデルの近似，低解像度モデルでは表現できない物理過程のパラメータ化スキームの開発などであり，現在国内外の研究者たちにより活発に研究が進んでいます。学会等で研究動向を調査した結果によると，現在研究者たちが注力している重要な鍵は，エネルギー保存等の物理的な拘束条件をいかに機械学習に取り入れるかということのようです。多くは地球物理学の他様々な研究分野で共通する事項でしょう。今後もブレークスルーが続くことが期待できそうです。
文責；岩渕 弘信 准教授 （大気海洋変動観測研究センター 気候物理学分野）
Publication
Okamura, R., H. Iwabuchi, K. S. Schmidt (2017): Feasibility study of multipixel retrieval of optical thickness and droplet effective radius of inhomogeneous clouds using deep learning, Atmos. Meas. Tech., 10, 4747-4759, doi:10.5194/amt-2017-154
https://www.atmos-meas-tech-discuss.net/amt-2017-154/
Masuda, R., H. Iwabuchi, K. S. Schmidt, A. Damiani, and R. Kudo (2019): Retrieval of cloud optical thickness from sky-view camera images using a deep convolutional neural network based on three-dimensional radiative transfer. Remote Sens., 11, 1962; doi:10.3390/rs11171962
https://www.mdpi.com/2072-4292/11/17/1962
図2. 畳み込みニューラルネットワークを用いた雲の光学的厚さの推定の例。（左）シミュレーションにより作成したカメラ画像，（中左）仮定した光学的厚さの真値，（中右）推定した光学的厚さ，（右）光学的厚さの推定誤差。(Masuda et al., 2019より転載, Creative Commons Attribution License)