AIを運用する際に問題になりうること
表面的には機能を満たしていても、実際にうまく運用できるようにするには、AIエージェントならではの考慮すべき問題点があります。AIエージェントが処理を実行中にエラーを起こした場合に、それに対応できる仕組みが予め用意されていないAIエージェントは、結局のところ使い物になりません。
入力データに対するLLMの処理能力に起因する問題
- 処理対象のドキュメントが大きすぎて入力トークン数がコンテキストウィンドウ・サイズの最大値を超えてしまい、処理できない
- メッセージのやり取りを続けているうちにLLMから処理不能と言われてしまう
- TPMエラー（1分間に処理できるトークン数の上限超過）、RPMエラー（1分間あたりのリクエスト数制限超過）が発生して処理が止まってしまう
- 処理対象のファイル数が多すぎて、処理しきれない
AIエージェントが同じエラーを繰り返す
- いつも間違えた方法でツールの呼び出し、エラーを無駄に繰り返している。
AIエージェントが想定外の動作をしてしまう
- AIエージェントの動作が参照させたくないファイルを勝手に参照してしまう
- AIエージェントがファイルの修正中にエラーが発生し、おかしな状態のファイルが残ってしまう
実用上必要となる機能
エラーからの回復が自動で行われる機能
処理可能な量を超える入力データ（トークン数）を扱わなければならない場合に、エラーを自動的に回避・回復し、エージェンティックループ（AIエージェントが目標を達成するまで「観察・思考・行動・評価」のサイクルを自律的に繰り返す仕組み）を先に進めるための機能
溜まってしまったメッセージ履歴によるエラーを回避する機能
AIとの会話を繰り返すことでメッセージの履歴が溜まりすぎてしまい、エラーが発生しないように、適切に過去のメッセージを整理し、エラーを回避・回復するための機能
エージェントの動作を自動的に複数のセッションに分解して実行する機能
１つのエージェントでは処理しきれない入力トークンのデータを複数のエージェントで平行・分散して実行させ、大量のファイルに対する処理でも実行可能とする機能
誤ったツールの呼び出しなどを是正させる機能
過去の会話を分析し、AIのツールの呼び出し方法の誤りなどを是正させるための仕組み
AIエージェントのファイルの参照可能範囲を指定できる機能
タスクごとにAIエージェントのファイルの参照可能範囲を指定できるようにし、想定外のファイルを勝手にAIエージェントに参照され、結果に悪影響を及ぼす可能性を排除する仕組み
AIエージェントが行った変更操作を容易に元に戻せる機能
AIエージェントがファイルに対する修正を行った場合に、その修正を容易に元に戻せるような機能。特にエージェンティックループがエラーにより途中で止まってしまったような場合に、その状態から容易に復旧できること。
導入・運用の考え方
-
入力データに対して十分な能力をもつLLMを選択する
やりたいタスクに対し、コンテキストウィンドウ・サイズが十分に大きいLLMを選択する
-
自動的に回復できる仕組みであることの確認
エージェンティックループ中に発生する、ユーザが予測不能なエラーに対し、ユーザへの負担なしに自動的に復旧できる仕組みとなっているかどうかを評価する
弊社製品で実現できること
| 安全境界 | 製品の動作 |
|---|---|
| コンテキストウィンドウ・サイズのコントロール | 利用トークン数による過去履歴の自動退避・削除機能、および入力ファイルの部分取得機能 |
| TPM、RPMエラー対策 | 単位時間辺りの処理量の自動コントロール(リトライ) |
| セッションの自動分解機能 | 複数ファイルに対する並列処理機能 |
| ツールの呼び出しエラー回避 | 会話履歴の分析による改善フィードバック・ルールの作成機能 |
| 参照可能範囲の設定 | AIエージェントのファイルの参照可能範囲の設定機能 |
| 操作を元に戻せる | 変更部分の検知機能、UNDO機能、およびファイルの履歴比較機能 |
よくある質問
エラーが発生した場合、最終的にAIが導き出す結果に影響を及ぼしませんか？
TPM、RPMエラーなどについては単位時間辺りの処理量を調整して単純に再実行となるため、エラーが結果に影響を及ぼすことは少ないと言えます。過去のメッセージが溜まりすぎたことによるエラーからの回復の場合、自動的にある一定量の過去の会話が削除されますが、この削除された会話はAIエージェントが参照可能な状態となっており、必要な場合には参照されるため、これによる結果への影響は限定的といえます。処理可能な量を超える入力データを扱う場合には、処理全体をセッション分割して進めることになりますが、AI自体が適切にセッション分割を設計し、実行結果を集計することで、適切な結果が得られるようになっています。