マルチモーダルが必要なシチュエーション
マルチモーダルというと画像や音声、動画を想像しますが、ドキュメンテーション業務においてもマルチモーダル処理が必要となる場合があります。
テキスト情報だけでは判断できないチェックを行いたい場合
- 使っているフォントや文字の大きさなど、書式情報に関するチェックを行いたい場合
- 表示が切れていないかのチェックなどを行う場合
構造のチェックが必要な場合
- ページを超えた表構造でも正しく解析したい場合
- アウトラインレベルのチェックが必要は場合
イメージからの読出しが必要な場合
- イメージになっているテキストを読み出したい場合
- 図形を解析したい場合
- グラフの解析が必要な場合
実用上必要となる機能
マルチモーダル対応
マルチモーダル処理を行うには、通常のテキストベースのAPIとは異なるマルチモーダルのための対応が必要となる。
利用できるファイル種別の適切なハンドリング
マルチモーダルと一言で行っても、対象のLLM環境毎にマルチモーダル処理が利用できるファイルの種別が異なる。AIエージェントが適切にマルチモーダル処理の利用の可否を判断できる仕組み。
AIエージェントから見た透過的なアクセス
マルチモーダル処理を使う場合においても、AIエージェントから見て、テキスト情報だけでの解析と同じように透過的に扱うことができる仕組み。
導入・運用の考え方
-
マルチモーダルが可能なLLMを選択する
マルチモーダル処理が行えるLLMを選ぶこと。
-
対象のLLMにおいて処理したいファイルがマルチモーダルに対応している種別であること
マルチモーダルに対応していないファイル種別の場合、対策を考える必要がある。
弊社製品で実現できること
| 必要な機能 | 製品の動作 |
|---|---|
| マルチモーダル処理 | 対応可（LLMにより利用の可・不可あり） |
| ファイル種別 | 対象のLLM環境に応じて、ファイル種別ごとにマルチモーダル処理の可否をコントロール |
| 透過的なコントロール | AIエージェントからみて自然な形でテキストのみ、ファイル全体の転送の切り替えが行われる |
| 代替手段の提供 | マルチモーダルが使えない環境下でも、できるだけ単なるテキスト抽出結果ではなく構造化した形で情報を送り、解析ができるようにする |
よくある質問
Wordファイルの中身を解析できますか？
Wordファイルの中身をマルチモーダルで処理できるLLM環境は限られています。マルチモーダルが利用できる場合にはバイナリ形式でアップロードし、LLM側での解析を行います。
一方、Wordに対するマルチモーダルが利用できない環境の場合には、以下のようになります。
- crossnote内でWordファイルをマークダウン形式に変換し、マークダウン形式で内容の解析を行います。
- PDFのマルチモーダル処理が利用可能で、かつMS365がインストールされている場合、AIエージェントにPDFで処理することを指示することでPDFに自動変換してアップロードすることが可能です
Excelファイルの中身を解析できますか？
Excelファイルの中身を通常の方法でマルチモーダルで処理できるLLM環境は現在(2026年8月末)のところ、ありません。crossnoteはExcelファイルの解析が必要な場合、2つの方法が可能です。
-
Open AI、もしくはClaude環境で、コード実行環境を利用可としている場合、コード実行環境を用いたファイルの分析ができます。この場合、コード実行環境へのファイルのアップロードなどは自動的に実行されます。
-
コード実行環境が利用できない場合、ExcelファイルをJSONで構造化した形で内容をアップロードします。単なるテキストに比べ、セルの位置情報などを正確に判断させることができます。
PDFファイルの中身を解析できますか？
PDFファイルについては、Open AI、Gemini、Claude、Azure Open AIなどでマルチモーダル処理が可能です。それら以外の環境においてはテキスト抽出での解析となります。