可動式カメラによる、自動収穫のためのカラーピーマンの認識

今回は、カラーピーマンの自動収穫ロボット開発に関連して、果実検知率向上に関する報告を紹介します。以前、この農業先端マガジンにおいて、カラーピーマンの自動収穫ロボットに関する論文も紹介しましたが、こちらでは、栽培品種や仕立て方、場合によっては果実を閉塞する葉(認識に障害となる葉)を事前に除去することで、果実検知率向上をはかっていました(前回記事:カラーピーマンの自動収穫ロボット)。

一方、今回の技術では、可動可能なカメラにより、多様な角度から、収穫対象の果実を撮影し、これらを結合することで、果実検知率を向上させられるか、検討が行われています。

“可動式カメラによる、カラーピーマンの認識”

今回は、オランダ・ワーニンゲン大学の研究チームが実施した、可動式のカメラにより、果実検知率向上を目指した研究を紹介します。

今回の試験では、カメラが金属製のレール上を動作することにより、正面(90°)からだけではなく、斜め(30、60、120および150°)からの画像を取得できるように設計しました(図1)。また、このような水平面における動作のみでなく、カメラの向きが上下動(60°および120°)することで、5種類の方位角、3種類の天頂角(図3a,b)の画像を取得することができます。これらの画像を組み合わせることにより、果実の認識率が向上するか調査を行いました。また、照明確保用のフラッシュライトも付属していることも特徴です。

(図1:カメラ設置の様子)

実験の結果(多数の実験結果があることから、果実面積の50%を認識できた果実の割合について紹介します)、単一画像では、果実の認識率がおおよそ50%であったのに対し、3か所からの画像では、約80%、5か所に増やすと、約90%まで認識率を向上させることが可能となりました(図6)。

(図6:画像の組み合わせ数と果実検出率の関係(果実認識におけるしきい値、黒:面積の60%認識、白:50%、グレー:40%))

なお、単一画像の場合は、正面からの撮影(12番)、3画像組み合わせる場合は、正面に加え、正面仰角60°(8番)および斜め30°(10番)、の3か所から画像を撮影すると、認識率が上昇したことが報告されています。

(図3a:画像の取得角度(方位角))
(図3b:画像の取得角度(天頂角))

果実認識に、複数の画像を使用すると、認識率が向上するのは、あたりまえといえばあたりまえなのですが、問題点もあり、複数個所の画像をとる必要があるため、果実の認識に時間がかかってしまう点があげられています。このことから、果実認識率の向上と所要時間はトレードオフの関係になってしまうことが結論として述べられています。

コメント

時間はかかってしまうというデメリットがあるのは事実ですが、複数箇所から画像を撮影することは、認識率を向上する、1つの解決法であるように考えられます。

摘葉やロボットに合わせた整枝などは、農家自身が実施することになると考えられますが、このことにより、もし作業時間が増えるようなことになれば本末転倒です。一方、この認識法は、カメラにフラッシュライトが付いていることからも分かるように、夜間を含めた時間帯に、果実認識をできるように開発しているものと考えられます。

なお、夜間の照明が、植物の生育に影響を及ぼす事例もあるため、注意は必要ですが(1)、現在、農林水産省が進めるスマート農業でも夜間における農作業自動化は、省力化における1つの解決例として挙げられています(2)。また、夜間であれば、もともと活用できていない時間帯であることから、認識に時間がかかるとしても、有用な技術となりえる可能性があります。

また、複数画像をとる場合には、どの角度から撮影するかという点が最も重要になると思われます。論文中には記載は見つかりませんでしたが、正面に加え、斜め下(8番)を加えると認識率が向上した理由として考えられるのは、ナス科の植物では、葉が若干垂れ下がり、この葉により果実が覆いかぶさるような事例がよくあります。そのため、斜め下から潜り込むように撮影したことで、葉の影響が軽減され、認識率が向上しているのではないか?と個人的には思うところです。このように、どのような角度から撮影するとよいか、さらに検討を進めることで、自動ロボット開発における1つの知見になるのではないかと考えられました。

今回紹介した論文

Jochen Hemming, Jos Ruizendaal, Jan Willem Hofstee and Eldert J. van Henten. Fruit Detectability Analysis for Different Camera Positions in Sweet-Pepper. Sensors 14: 6032-6044. 2014. CC-BY 3.0

(今回記事内の“可動式カメラによる、カラーピーマンの認識”およびその他紹介した図表は、上記論文のデータ等を一部抜粋・改変したものを記載しています。)

論文オープンアクセスURL:https://doi.org/10.3390/s140406032

農業先端マガジンにおける関連コラム

カラーピーマンの自動収穫ロボット – 先端農業マガジン

参考文献等