最近AIエージェントが盛り上がっているので、何か作ってみようかなと思っていろいろ調べてみた。

まずAIエージェントの定義でやたらと議論が白熱しているが、多分そんな事はどうでもいい。みんながAIエージェントと聞いて思い浮かべるようなAnthropicのComputer UseやOpen Interpreterをリバーエンジニアリングして、エンジニアとしてどういう風に実装されているか理解するのが1番早いし、非エンジニアによる「AIエージェントの定義とは」みたいなので、ポジションを取ろうとしてるムーブはマジで意味がない。

このAI時代において、ソフトウェア開発を理解していない人間がやたらとAIについて語ろうとしているムーブは良くない。それに惑わされるリテラシーの低い人たちや、本当に意味のある話をしている人がそのノイズによって見つけられにくくなるから、できれば口をつぐんでおいて欲しい。

ただでさえ日本語は情報の質が英語の質に比べて100倍以上低いと言うのに、そこにソフトウェアの学位も持っていないVCなどがわんさかポジションを築いていて、彼らによって一次情報が妨げられるという流れが、もう何十年も続いている。

「シリコンバレーと日本」という対比はおそらく間違っていて「英語によるグローバル基準の常識レベルの一次情報と日本語による遅れた情報」によって、日本語話者のスタートアッパーやソフトウェア開発者は遅れをとってしまわざるを得ない状況。

すいません、これ雑です

一旦エージェントを雑に分析してみたかっただけなので、メモ程度に書いていて、わかりやすくは書いていません。これを機にAIエージェントが実はものすごい少ない行数のコードでできたコンポーネントの集まりで、これらをアプリケーションレイヤーとつなげることによって、実は結構簡単に面白いことができると言う発想の種になればいいかなと思って書きました。

んじゃ

基本アーキテクチャ

今回はOpen Interpreterを解剖する

大規模言語モデル（GPT-4など）をバックエンドとして使用ユーザーの自然言語入力を解釈し、実行可能なコードに変換コードの実行結果をユーザーにフィードバック

主要コンポーネント

主要なディレクトリ構成から、以下のような機能が実装されています：

terminal_interface
ユーザーとの対話インターフェースコマンドライン操作の処理
core
言語モデルとの通信コード生成と実行の中核機能
computer_use
システムリソースへのアクセスファイル操作やコマンド実行

処理の流れ

入力処理
- ユーザーの自然言語入力を受け取る
- 入力を言語モデルが理解できる形式に変換
コード生成
- 言語モデルが入力を解釈し、実行可能なコードを生成
- 生成されたコードは安全性チェックを受ける（safe_modeオプション）
コード実行
- Computerクラスがコードを実行環境で実行
- 実行結果を取得し、フォーマット
フィードバック
- 実行結果を言語モデルに送信
- 言語モデルが結果を解釈し、次のアクションを決定または完了を判断
セキュリティ機能
- コード実行前の承認要求（auto_run=Falseの場合）
- セーフモードによる危険な操作の制限
- テレメトリーデータの収集（オプション）
拡張機能
- ローカルモデルのサポート（offline=True）
- カスタムスキルの追加（skills_path）
- 会話履歴の保存と管理

このように、Open Interpreterは自然言語による指示をコンピュータが実行可能な形に変換し、安全に実行する仕組みを提供しています。
特に重要なのは、言語モデルとコンピュータの実行環境を橋渡しする部分で、これにより一般ユーザーでも複雑なタスクを自然言語で実行できるようになっています。

ユーザーの入力がどのようにフォーマット化されるのか

基本的なテキストメッセージの場合

# 入力: "Pythonでファイルを作成してください"
{
    "role": "user",
    "type": "message",
    "content": "Pythonでファイルを作成してください"
}

コードブロックの場合

# コードブロックの例
{
    "role": "assistant",
    "type": "code",
    "format": "python",
    "content": "with open('example.txt', 'w') as f:\n    f.write('Hello, World!')"
}

実行結果の場合

# コード実行結果
{
    "role": "function",
    "type": "console",
    "format": "output",
    "content": "ファイルが作成されました"
}

画像を含むメッセージの場合

# 画像ファイルの場合
{
    "role": "user",
    "type": "image",
    "format": "path",
    "content": "/path/to/image.png"
}

変換プロセスの重要なポイント

メッセージタイプの識別

message: 通常のテキストメッセージ
code: プログラムコード
console: 実行結果
image: 画像データ
file: ファイル関連の操作特別な処理画像の最適化機能サポートの確認

ユーザーからプロンプトを受け取った後のフロー

システムメッセージの準備

# 基本のシステムメッセージ
system_message = interpreter.system_message

# 言語固有の設定を追加
for language in interpreter.computer.terminal.languages:
    if hasattr(language, "system_message"):
        system_message += "\n\n" + language.system_message

# カスタム指示を追加
if interpreter.custom_instructions:
    system_message += "\n\n" + interpreter.custom_instructions

LLMへのメッセージ送信

messages_for_llm = [rendered_system_message] + interpreter.messages.copy()
for chunk in interpreter.llm.run(messages_for_llm):
    yield {"role": "assistant", **chunk}

応答の解析と処理

テキスト応答の場合：

if not inside_code_block:
    yield {"type": "message", "content": content}

コードブロックの場合：

if inside_code_block:
    yield {
        "type": "code",
        "format": language,
        "content": content
    }

コードの実行（もしあれば）

if interpreter.messages[-1]["type"] == "code":
    language = interpreter.messages[-1]["format"].lower().strip()
    code = interpreter.messages[-1]["content"]
    
    # コードの前処理
    if code.startswith("`\n"):
        code = code[2:].strip()

エラー処理とフォールバック

try:
    # コード実行など
except litellm.exceptions.BudgetExceededError:
    # 予算超過の処理
except Exception as e:
    # API認証エラー、レート制限、モデルアクセスエラーなどの処理

やってることのまとめ

ストリーミング処理
- 応答をチャンク（小さな部分）単位で処理
- リアルタイムでユーザーにフィードバックを提供
コンテキスト管理
- システムメッセージの動的な構築
- 言語固有の設定の適用
- カスタム指示の統合
マルチモード処理
- テキストメッセージの処理
- コードブロックの検出と実行
- エラー状態の適切な処理
安全性とリソース管理
- 予算制限の確認
- API制限の管理
- エラー時の適切なフォールバック

主要コンポーネントの分析

コアモジュール
- core.py: 約446行
- async_core.py: 約1,036行
- respond.py: 約464行
- その他の補助ファイル: 約485行
  合計: 約2,431行
主要なディレクトリ構成 core/: コアロジック terminal_interface/: ターミナルUI computer_use/: システム操作 llm/: 言語モデル連携
コードの内訳基本機能: 約2,000行ユーティリティ: 約500行インターフェース: 約500行テスト: 約400行推定合計: 約3,500行程度

特徴

コンパクトな設計
核となる機能は比較的コンパクト
外部ライブラリを効果的に活用
モジュール化された構造
重要なコンポーネント
コア処理（core.py）
非同期処理（async_core.py）
応答処理（respond.py）
システムメッセージ管理

次はcomputer useやbrowser useを見てみようかな

初見としてOpenInterpreterがなんとなくすごく見えるのは、単純な自然言語をLLMが理解して実行する用のコードをレスポンスとして受け取り、それを実行することによって、あたかもコンピューターが自分で考えてコンピューターを操作しているように見えるからなのかな

裏側では小さなコードを生成し、それを実行してるだけやけど、それがかなり自然に表現されてるのが面白い

computer useやMCPとは全然違ったアプローチでこっちの方が汎用的だが、この辺のプロトコルはまだ全然一般化されていないので、今後何がメインストリームになっているかまだ全然わからない。

タグ「リバースエンジニアリング」の検索結果