マルチモーダルAI アーカイブ - 先端農業マガジン

温室の病害をAIで自動診断・噴霧｜Isaac Simと四足ロボットを用いたAgriSenseの検証

仮想温室環境で四足ロボットとVision-Languageモデルを連携させ、病害検知から噴霧までをシミュレーションで検証した研究。マルチモーダル入力の増分効果は限定的だが、シミュレーション上でのシステム統合と評価基準を提示した。

気象データと画像データを融合させる際、片方のデータが支配的になる問題を解決するため、単独で学習した教師モデルの知識を学生モデルに伝達するSMD手法を開発した。作物画像を用いた場合、従来の最先端手法より誤差を1.2%低減し、より正確な土壌水分推定を可能にする。

地上写真の視覚情報を衛星画像モデルへ転移させる知識蒸留手法を提案した。推論時には地上写真が不要でありながら、時間や地域が変わっても分類精度の低下を抑え、運用コストと精度の両立に貢献する。

作物病害の画像と環境データを組み合わせたAIモデルの精度向上は、環境そのものではなく「撮影場所と日時」を特定しているだけである可能性が高い。本研究は、既存の公開データセットでこの「ショートカット学習」が発生していることを実証し、厳密な評価手法を提言する。

VT-SCCは、小麦、トウモロコシ、稲、大豆など主要な作物に対応した統一型個体数計測手法。視覚とテキストのマルチモーダル情報を統合し、複雑な農場環境下でも高精度な計測を実現。特に、背景と被写体の視覚的類似性による誤検出を抑制するテキストガイドによるセマンティックフィールドが特徴。