# マルチモーダル

使っているフォントの間違いを探したり、表を正しく解釈させるには、マルチモーダルの機能が必要です

**図解要約｜ファイルの特性に合わせて、解析方法を選ぶ**

テキストだけでは扱えない書式・表・画像を含め、利用可能な解析経路を確認します。

1. **確認｜情報の種類を見極める** — 書式、表構造、画像、図形など、テキスト以外に必要な情報を整理する
2. **選択｜対応する解析経路を選ぶ** — LLMとファイル種別の対応可否を確認し、マルチモーダル処理を選択する
3. **代替｜構造化して解析を続ける** — 利用できない場合は、変換や構造化した情報で解析可能な形へ整える

## マルチモーダルが必要なシチュエーション

マルチモーダルというと画像や音声、動画を想像しますが、ドキュメンテーション業務においてもマルチモーダル処理が必要となる場合があります。

**テキスト情報だけでは判断できないチェックを行いたい場合**

- 使っているフォントや文字の大きさなど、書式情報に関するチェックを行いたい場合
- 表示が切れていないかのチェックなどを行う場合

**構造のチェックが必要な場合**

- ページを超えた表構造でも正しく解析したい場合
- アウトラインレベルのチェックが必要は場合

**イメージからの読出しが必要な場合**

- イメージになっているテキストを読み出したい場合
- 図形を解析したい場合
- グラフの解析が必要な場合

## 実用上必要となる機能

### マルチモーダル対応

マルチモーダル処理を行うには、通常のテキストベースのAPIとは異なるマルチモーダルのための対応が必要となる。

### 利用できるファイル種別の適切なハンドリング

マルチモーダルと一言で行っても、対象のLLM環境毎にマルチモーダル処理が利用できるファイルの種別が異なる。AIエージェントが適切にマルチモーダル処理の利用の可否を判断できる仕組み。

### AIエージェントから見た透過的なアクセス

マルチモーダル処理を使う場合においても、AIエージェントから見て、テキスト情報だけでの解析と同じように透過的に扱うことができる仕組み。


## 導入・運用の考え方

1. **マルチモーダルが可能なLLMを選択する**

   マルチモーダル処理が行えるLLMを選ぶこと。
   
2. **対象のLLMにおいて処理したいファイルがマルチモーダルに対応している種別であること**  
   
   マルチモーダルに対応していないファイル種別の場合、対策を考える必要がある。
   
## 弊社製品で実現できること

| 必要な機能 | 製品の動作 |
| --- | --- |
| マルチモーダル処理 | 対応可（LLMにより利用の可・不可あり） |
| ファイル種別 | 対象のLLM環境に応じて、ファイル種別ごとにマルチモーダル処理の可否をコントロール |
| 透過的なコントロール | AIエージェントからみて自然な形でテキストのみ、ファイル全体の転送の切り替えが行われる |
| 代替手段の提供 | マルチモーダルが使えない環境下でも、できるだけ単なるテキスト抽出結果ではなく構造化した形で情報を送り、解析ができるようにする |

## よくある質問

### Wordファイルの中身を解析できますか？

Wordファイルの中身をマルチモーダルで処理できるLLM環境は限られています。マルチモーダルが利用できる場合にはバイナリ形式でアップロードし、LLM側での解析を行います。

一方、Wordに対するマルチモーダルが利用できない環境の場合には、以下のようになります。

- crossnote内でWordファイルをマークダウン形式に変換し、マークダウン形式で内容の解析を行います。
- PDFのマルチモーダル処理が利用可能で、かつMS365がインストールされている場合、AIエージェントにPDFで処理することを指示することでPDFに自動変換してアップロードすることが可能です

### Excelファイルの中身を解析できますか？

Excelファイルの中身を通常の方法でマルチモーダルで処理できるLLM環境は現在(2026年8月末)のところ、ありません。crossnoteはExcelファイルの解析が必要な場合、2つの方法が可能です。

1. Open AI、もしくはClaude環境で、コード実行環境を利用可としている場合、コード実行環境を用いたファイルの分析ができます。この場合、コード実行環境へのファイルのアップロードなどは自動的に実行されます。

2. コード実行環境が利用できない場合、ExcelファイルをJSONで構造化した形で内容をアップロードします。単なるテキストに比べ、セルの位置情報などを正確に判断させることができます。

### PDFファイルの中身を解析できますか？

PDFファイルについては、Open AI、Gemini、Claude、Azure Open AIなどでマルチモーダル処理が可能です。それら以外の環境においてはテキスト抽出での解析となります。

## 関連する課題

- [設計変更資料と薬事文書の整合性レビューをAIで支援](/issues/design-change-regulatory-review/index.md)
- [単位・表記ゆれを見逃さない出荷前照合](/issues/shipment-check/index.md)
- [シラバスを共通観点で点検する](/issues/syllabus-review/index.md)

## 対応製品

- [crossnote](/crossnote/index.md)

## お問い合わせ

対象プロジェクト、添付資料、許可ツール、確認者、コミット手順を決めて評価します。

- [お問い合わせ・資料請求](/contact/)