研究紹介

sea

AIを用いて海岸の写真から漂着ごみの被覆面積を
高精度に推定する新手法を開発

【研究の背景】
近年、国内または周辺国から大量のごみが海岸に漂着し、大きな社会問題となっています。特に海岸漂着ごみの7割を占めるプラスチックごみは、波や紫外線等の影響を受けて細かく砕け、マイクロプラスチックとして海洋に流出し、海洋生態系を脅かす一因となっています。また、各自治体においても、海岸機能や景観の維持を目的として、漂着ごみの回収や処理等、様々な対策を行っています。これまでは、海岸における漂着ごみの実態を把握し、海洋環境に与える影響を評価するため、研究者や自治体、NPO等によって人手による海岸漂着ごみの現存量調査が行われてきました。しかし、人手に頼った調査は、経済的な負荷や人的または時間的な制約により、範囲や頻度においての制限が大きく、また、精度の面でも限界がありました。近年では、ドローンや人工衛星を用いた客観的な現存量調査の例が報告されていますが、求められる技術レベルやモニタリングにかかるコスト、適用可能な範囲等において課題があり、より汎用的かつ実用的な技術の確立が求められていました。
一方で近年のAI技術の発展は目覚ましく、特にカメラ等で撮影された写真や映像の理解や解析において、大きな威力を発揮しています。例えば、自動運転や医療診断、工場生産の自動化等において実用化されている他、気象学や海洋学、生物学等、自然科学分野の研究においても活用が進んでいます。そこで本研究チームは、AIを用いた画像解析を、デジタルカメラ等で簡易的に撮影された海岸の写真に適用することにより、汎用性と実用性に優れた海岸漂着ごみの定量化を実現しようと、研究に着手しました。

【成果】
本研究では、セマンティック・セグメンテーションと呼ばれるディープラーニング手法を用い、海岸の写真からピクセル単位で漂着ごみを検出する技術を開発しました。セマンティック・セグメンテーションでは、入力された写真に対して、各ピクセルが表すクラス(人工ごみ、自然ごみ、砂浜、海、空等)を出力します。
ここで各クラスに特有のパターン(色や模様、形状等)を学習するためには、海岸の写真と、ピクセル単位でクラス毎に塗り分けられた正解ラベルのセットが必要となります。本研究では、山形県庄内総合支庁から提供を受けた海岸清潔度モニタリング写真3500枚に対して正解ラベルを作成し、訓練および評価用データとしました。(※下記3枚の画像に使用している写真も山形県よりご提供いただいたものです。)


セマンティック・セグメンテーションを用いた、海岸の写真からの海ごみ検出のイメージ図


入力画像、正解ラベルおよびAIによる推定画像の例プラスチック製品や瓶・缶、漁具等の人工ごみと、流木や灌木等の自然ごみをそれぞれ検出することも可能です。


セマンティック・セグメンテーションと射影変換による人工ごみの被覆面積推定結果海岸漂着ごみ検出後の画像を真上から撮影した構図に射影変換することにより、海岸全体のごみの被覆面積が推定可能であることを示しました。
この手法の精度は、ドローンによる空撮から得られた正解値との比較によって検証されています。
今後、さらに海岸漂着ごみの体積の推定や、プラスチックごみの個数のカウント等にも発展させる予定です。

【今後の展望】
 本研究によって開発された技術は汎用性が高く、訓練データとして用いた山形県の海岸以外の海岸に対してもある程度適用可能であることがわかりました。研究の過程で作成した学習用データセットを公開することで、誰もが自分の目的に合ったAIを開発することに活用できるようになります。現在、本論文の出版および学習用データセットの公開に合わせて、データの詳細を記述したデータ論文の出版に向けて準備を進めているところです。
 一方でAIには、学習に用いていない特徴をもつパターンの検出精度は低下するという問題もあります。本手法が、より汎用性の高い手法として全世界で活用されるようになるためには、世界中のさまざまな特徴の海岸またはごみの写真を撮影し、そこからAI用の学習データを作成し、チューニングを施す必要があります。
 ここでキーワードとなるのが市民科学です。市民科学は、科学研究のプロセスにおいてアマチュア科学者が部分的または全面的に関与したものを指します。さまざまな地域に住む小中学生や自治体、またはNPOの方々が、モニタリング調査やSNS等を通じたデータ収集、学習用データの作成、またはAIの活用方法の検討等、さまざまな形で研究活動に参加することで、今後、各地域に特化したAI技術に進化していくことが期待できます。

タイトル Pixel-level image classification for detecting beach litter using a deep learning approach
著書 日髙弥子1*、松岡大祐1*#、杉山大祐1、村上幸史郎1、加古真一郎2
所属:1. 海洋研究開発機構、2. 鹿児島大学 *共同第一著者 #責任著者
掲載誌 Marine Pollution Bulletin
DOI 10.1016/j.marpolbul.2022.113371

SNSアプリと深層学習による
市民参加型プラスチックごみ画像収集プロジェクト

【プロジェクト概要】
海に漂流・漂着するプラスチックごみの80%は陸起源と言われています。ただ、街中や海岸に捨てられたプラスチックごみの総量(個数や重量)や、これが海に流れ出ていく量を、実際に求めることは簡単ではありません。このたび、九州大学応用力学研究所の磯辺篤彦教授と、鹿児島大学学術研究院の加古真一郎准教授、そしてJAMSTEC付加価値情報創生部門の松岡大祐副主任研究員らの研究グループは、株式会社ピリカ(東京都渋谷区、代表取締役;小嶌不二夫)とともに、街中や海岸に捨てられたプラスチックごみの画像を収集し、総量の算定に取り組む市民参加型の研究プロジェクトを開始しました。本プロジェクトは2021年1月より2025年3月末まで実施予定で、ごみの散乱状況の現状を、市民参加型で継続的かつ定量的に調査を行う体制の構築を目指します。

プロジェクトでは、株式会社ピリカの提供する無償のスマートフォン(スマホ)アプリであるごみ拾いSNS「ピリカ」の画像データを利用します。市民のみなさんが、アプリをインストールしたスマホで街や海岸のプラスチックごみを撮影すれば、これらの画像が日時や位置情報とともに、鹿児島大学やJAMSTECに送信されます。その画像データから、深層学習を用いてプラスチックごみを抽出し、ごみの種類(ペットボトル、レジ袋など)や被覆面積を自動判別する仕組みです。多くの画像データを集めることで、種類別のプラスチックごみ量の推算や、その時間変化の追跡に取り組みます。
スマホアプリは株式会社ピリカのウェブサイト(https://sns.pirika.org)からダウンロードすることができます。現在の日本語版に加えて、2021年度末までにはタイ語版をリリースする予定です。
この研究プロジェクトは、国際協力機構/科学技術振興機構のSATREPS助成(東南アジア海域における海洋プラスチック汚染研究の拠点形成[代表:磯辺])と、環境省環境研究総合推進費(海洋プラスチックごみに関わる動態・環境影響の体系的解明と計測手法の高度化に関する研究[代表:磯辺])の支援を受けています。


【研究者から】
市民の皆さん一人ひとりが、お手持ちのスマホを利用することで、海洋プラスチック研究に参加するプロジェクトです。得られた結果は株式会社ピリカ様のウェブサイトを通して、市民の皆様と共有いたします。市民参加で作成したビッグデータによって、研究の大きく前進することを期待しています。

ドローンとAIを用いて、海岸漂着ごみ量を高精度に推定

ドローンで海岸を航空測量することで海岸を3次元的に再現し、そこから深層学習ベースの画像解析により漂着ごみを抽出することで、それらの体積を高精度で推定する手法を開発しました.

ドローンによる航空測量をもとに再現した海岸

上の動画の漂着ごみに、深層学習ベースの画像解析で色付けしたもの

これららの成果は、Marine Pollution Bulletinに掲載されています(Kako et al., 2020)。

タイトル Estimation of plastic marine debris volumes on beaches using unmanned aerial vehicles and image processing based on deep learning
著書 加古真一郎, 森田翔平, 種田哲也
掲載誌 Marine Pollution Bulletin
DOI https://doi.org/10.1016/j.marpolbul.2020.111127