Devin Fusionレビュー:Cognitionの低コスト版ハーネスは使う価値があるか

まとめ

Devin Fusionは、ここしばらくの間でCognitionが出した中で最も興味深いプロダクトであり、同時に公平に評価するのが最も難しいプロダクトでもある。これはマルチモデルの「ハーネス」で、フロンティアモデルの「メインエージェント」と、安価な「サイドキック」モデルを並行して動かし、機械的な作業をサイドキックに任せ、タスクの途中でもモデルを切り替える。Cognitionの触れ込みは、35%のコスト削減を実現しながらフロンティア級のコーディング品質を維持するというものだ(同社独自のベンチマークによる)。

一言でまとめるとこうなる。アーキテクチャは本当に巧妙で、コストの発想は正しい。しかし数字はベンダー独自のベンチマークによるものであり、Devinが以前から抱える信頼性の問題はFusionの守備範囲ではない。機械的で大量の作業が中心なら、今すぐ試す価値がある。判断力が求められる作業が中心だったり、以前Devinが長時間タスクで迷走して痛い目に遭ったことがあるなら、誰か第三者が検証するまで待った方がいい。

私は仕事としてAIエージェントを作っているので、気になるのはコーディングのデモそのものではなく、その根底にあるアイデアだ。つまり、簡単な80%の作業にフロンティアモデルの料金を払うのをやめるということ。この教訓はプルリクエストの世界を超えて広く応用できるし、だからこそIDEを開かない人にとってもFusionは重要だと思う。より深い仕組みに興味があればDevin Fusion解説記事も書いたので、そちらも参照してほしい。本記事はあくまでレビューの結論だ。

Devin Fusionとは何か、一言で

レビューに入る前に、まずプロダクト自体について。DevinはCognitionの自律型AIソフトウェアエンジニアで、コードを一行ずつ補完するのではなく、チケット単位で丸ごと任せるタイプの製品だ。Fusionは、Devinの動作方法を変えるアップデートである。すべてのステップに高価なモデルを1つ使う代わりに、2つのモデルを同時に動かし、作業を振り分ける。Cognitionは2026年6月29日にこれを発表し、同日にDevin内でプレビュー版として提供を開始した。

Cognitionの説明は実に率直だ。「エンジニアリングチームはお金を燃やしている。あらゆるタスクに最も高価なモデルを使うのはもはや持続可能ではない」。特に印象に残ったのはこの一文だ。「ゼロデイ脆弱性を発見できるようなモデルを、ボタンの角を丸めるだけの作業に使うくらいなら、スーパーへの買い物にランボルギーニを運転しないだろう」。Fusionはその考え方を製品化したものであり、Cognitionにとって大きな1年の締めくくりでもある。同社は5月に26億ドルの評価額で10億ドル超を調達し、旧Windsurf IDEを「Devin Desktop」として製品ラインに統合した。

このレビューの結論を先に示すスコアカードを用意した。詳細に入る前に、着地点を把握してほしい。

サイドキックは実際どう動くのか

核となる仕組みはCognitionが「サイドキック」方式と呼ぶもので、多くのツールが採用する単純なモデルルーティングよりも賢いため、理解しておく価値がある。

完全な能力を持つ2つのエージェントが並行して動く。フロンティアモデルによるメインエージェント(Opus 4.8やGPT-5.5クラスを想定)と、それより小さく安価なサイドキックエージェントがそれぞれ独自の永続的でキャッシュされたコンテキストを保持する。Cognitionが調整したパターンによると、メインエージェントは「最小限のアクションしか取るべきではない……基本的には委任と監視に徹しつつ、重要な意思決定、つまり計画、曖昧さの解釈、最終レビューを担当すべきだ」。サイドキックは地道な作業、コード探索、広範な編集、テストの記述、lintの修正などを引き受ける。

なぜフロンティアモデルが安価なモデルに単純に「助けを求める」方式にしなかったのか。理由はキャッシュミスだ。フロンティアエージェントが別のアドバイザーモデルに問い合わせるたびに、コンテキスト全体をフルプライスで再送信することになる。Fusionはこれを回避する。両方のエージェントがそれぞれ独自のキャッシュ済みコンテキストを保持するため、作業を委任してもコストのかかる再送信は発生しない。もう1つの手法は実行中の動的なルーティングで、軽量な分類器が実行中に動作し、行き詰まったサイドキックのタスクをメインエージェントにエスカレーションできる。この切り替えはコンテキストの圧縮(どのみちキャッシュミスが発生するタイミング)中に行われるため、モデルの切り替え自体は実質無料になる。これは現代のエージェントを支えるエージェント的推論ループと同じ発想を、「どのモデルが各ターンを担当するか」に応用したものだ。エンジニアとして最も評価したいのはこの部分で、単なるマーケティング的な言い換えではなく、本物のシステム設計としての解決策になっている。

35%という数字を、注意点と照らし合わせて検証する

ここからは誰もがスクリーンショットを撮るあの数字の話だ。Cognitionは、コードが実際にマージ可能かどうかを測る新しい評価基準FrontierCode(20以上のオープンソースメンテナーと共同で構築し、単にテストが通るかどうかではなく判定する)でFusionをベンチマークした。以下がその主要な結果だ(FrontierCode Extended、スコール対タスクあたりの平均コスト)。

要点はこうだ。Fusionはタスクあたり$2.38で47.9のスコアを記録し、Opus 4.8の48.8にほぼ匹敵しながら、コストは約3分の1安い。Cognitionはこれを「フロンティアに匹敵する性能を維持しながら35%のコスト改善」とまとめている。

このグラフを鵜呑みにする前に、2つの注意点がある。第一に、これはベンダー独自のベンチマークによるベンダー独自の評価であり、良いシグナルではあるが独立検証とは同じではない。第二に、より派手な「41%安い」という数字はAnthropicのFable 5を使ったものだが、Fable 5へのアクセスは2026年6月12日に米国政府の指示により停止されたため、これらの数字はその停止前に計測されたもので、現時点では再現できない。現在有効な数字は35%の方だ。Cognitionはまた、Fusionを有効にした後、自社のマージ済みプルリクエストの88%が完全にFusionのルーターによって処理されたとも述べているが、これはCognitionが自社のコードベースでドッグフーディングした結果であり、これ以上ないほど好条件のテスト環境だという点は割り引いて見る必要がある。

この発表の中で最も誠実で、私にとって最も参考になったのは、サイドキックが悪影響を与えたタスクをCognitionが公開した点だ。JSファイルをES6に近代化する作業は62%安く済み、品質も維持された。Goのコードベースから非推奨のライブラリを取り除く作業は32%安くなった。しかし、判断力そのものが成果物になる難しいフロントエンド機能では、委任によって品質スコアが54から27に急落した。Cognition自身のまとめはこうだ。「判断そのものが成果物であるとき、それを委任するのは裏目に出る」。これはこの製品全体に当てはまる一文だと思う。

レビューとして厳しくなる部分:信頼性と証拠

Fusionが狙うのはコストだ。Devinを2年間悩ませてきた2つの不満、すなわち信頼性と証拠の欠如は、ターゲットにしていない。公平なレビューとして、そのことははっきり言っておく必要がある。

1つ目は信頼性の問題だ。実際のユーザーが最もよく指摘するのは、自律性が誇張されており、現実には修正のループになっているという点だ。

「約束されていたのは完全な自律性だったが、実際には多くの手直しが必要だ。タスクを与えると、脱線し、修正すると、なんとか軌道に戻る。それの繰り返しだ」 - r/ChatGPTCoding

最も鋭い一次情報は、テスト自動化エンジニアによるG2レビューで見つかった。総合評価は5点満点中5だったが、迷走についても率直に語っている。「ACUの消費量が40か50あたりに達すると、Devinは本当に方向性を見失い始める。最初の指示を無視し始める……モデルが疲れているような感じがする」。同じレビュアーはスコープの逸脱も指摘している。「単純なテストスクリプトを書くだけのはずだったのに……私たちのコアとなる既存のメソッドをリファクタリングし始めた」。それでも並行作業には満足していた。「5つの異なるセッションを並行して動かせる」。この両面を見た評価こそ公平なものであり、トークンが安くなったところで、これらの欠点が明らかに解消されるわけではない。

2つ目のギャップは証拠だ。Fusionはリリースからまだ数日しか経っておらず、Fusion特有のコミュニティの反応はまだ薄く、大半はローンチ直後の好意的なコメントにとどまる。r/AIDeveloperNewsでは「アーキテクチャは実に巧妙だ」という評価だった。これは心強い反応だが、「巧妙なアーキテクチャ」と「自分のリポジトリで6週間信頼できる」はまったく別の主張であり、現時点で検証可能なのはどちらか一方だけだ。

実際のユーザーがDevinについて語っていること

Fusionから話を広げると、Devinには多くの過去の評判がつきまとっており、その一部は今では巻き返しのストーリーへと転じている。根強く残る批判は、2024年3月に行われた独立テストでDevinが20タスク中3タスクしか完了できなかったというもので、ネットではフェイクデモ扱いされた。2026年になると、この話は肯定的な文脈で語られることが多い。

「2024年3月、独立したテスターはDevinが20タスク中3タスクしか完了できなかったと報告した。ネットはそれをフェイクデモだと呼んだ。2年後、そのプロダクトは米陸軍向けにコードを書いている」 - @aakashgupta on X

一方で、ブランドに対する懐疑的な意見も根強く存在し、それは過熱した期待に対する重要な相殺材料になっている。

「Devin?その名前を聞くのは久しぶりだな……Claude CodeやCodexが主流のこの時代に、Devinを使っている人や、使っている人を知っている人なんているのか?」 - libraryofbabel on Hacker News

そして、特にDevinのレビューツールに関しては、フィットする使い方を見つけた人からの本物の称賛もある。

「Devin Reviewをしばらく使っているが、数多くの『コードレビュー』LLMボットの中で、初めて『スロップ(質の低い出力)』のように感じさせないものだと思う。お気に入りの機能は、ファイルをアルファベット順ではなく『論理的な流れ』で整理してくれる点だ」 - samyok on Hacker News

Devinの料金:実際に支払う金額

FusionはDevinの内部で展開されるため、実際に適用される料金体系もDevinのものになる。現在のDevinの料金は以下の通りだ。

つまずきやすいポイントが1つある。Devinはかつてセルフサーブプランを不透明な「ACU」(Agent Compute Units)単位で課金しており、これがHacker Newsでの料金への不満の大半の原因になっていた。2026年3月以降、セルフサーブはトークンベースのクォータモデルに移行し、ACUは現在エンタープイズ専用の指標となり、公開されたドル換算レートはない。コストを比較検討している場合は、Cognition AI料金ガイドでその経緯を解説しているので、ネットで見かけたACUあたりの数字が今も有効だと思い込む前に読んでおく価値がある。

Devin Fusionを使うべき人、見送るべき人

レビュアーとしての着地点を、はっきり2つに分けて示す。

検討する価値があるのは、リファクタリング、依存関係の入れ替え、マイグレーション、テストの雛形作成など、機械的でパターン化された作業が多く、フロンティアモデルのトークン費用が膨らんでいる場合だ。これはまさにCognition自身のデータでサイドキックが強みを発揮する作業の形であり、35%という数字も最も信じやすい領域だ。すでにDevinのエコシステム内にいるなら、Fusionを有効にすること自体は低リスクな実験と言える。

再考すべきなのは、通常の作業が判断力の求められる機能設計中心の場合(Cognition自身のデータでも、そこでは委任が裏目に出ると示されている)、以前Devinが長時間の自律セッションで迷走して痛い目に遭ったことがある場合、あるいは本番環境でエージェントを信頼する前に、実績のある独立検証済みの信頼性が必要な場合だ。そうしたケースでは、実環境でのテスト結果が出るまで数週間待つのが賢明で、その間はCursor、Windsurf、OpenAI Codexの代替ツールと比較検討するとよい。AIコーディングアシスタントツールガイドを使えば比較しやすい。

コードを書かない人への教訓

ここが私が最も気にかけている部分で、Fusionの核となる発想はコーディングの領域をはるかに超えて応用できるからだ。「あらゆる用途に1つのモデルを使う時代は終わりつつある」というのは、カスタマーサポートを含め、エージェントが実際の業務をこなすあらゆる場所で当てはまる真実だ。パスワード再発行のFAQと、微妙なニュアンスを含む請求トラブルは、同じモデルを必要としない。簡単な80%の作業にフロンティア級の料金を払うことは、Cognitionが言うところの「お金を燃やしている」問題であり、それが単に別の業務キューで起きているだけだ。

落とし穴は、多くのサポートAIベンダーがこれを隠している点にある。生のモデル使用量を計測したり、解決件数ごとに課金しながら実際には裏で最も安いモデルにすべてをルーティングしてマージンを守ったりする、いわゆる解決率を虚栄の指標にするゲームだ。より良いモデルは、Fusionが示唆している方向にある。タスクに応じてモデルの規模を適切に選び、買い手にはトークンではなく成果に対して支払ってもらうということだ。これは、あらゆる場面でエージェントを考えるときに私が使うのと同じコストの論理だ。

eeselを試してみる

私はeesel AIに携わっており、まさにこの課題に取り組んでいる。ただし対象はプルリクエストではなく、サポートや社内チームだ。eeselは既存のヘルプデスクに組み込めるAIチームメイトで、過去のチケットやヘルプドキュメントから学習し、Fusionが機械的なコーディングを処理するのと同じように一次対応の業務をこなす。定型的な問い合わせは自動的に解決され、本当に難しく判断力が求められるチケットは、コンテキストを保持したまま人間にエスカレーションされる。サイドキックと同じ原則を、別の業務キューに適用したものだ。

この例えが成り立つ理由は2つある。第一に、本番導入前に過去のチケットでシミュレーションできるため、ベンダーのベンチマークを鵜呑みにするのではなく、自分自身のデータで解決率とコストを確認できる。これはまさに、Fusionにまだ欠けている独立した検証にあたる部分だ。第二に、料金は解決チケットあたり約$0.40の従量課金制で、シート課金は一切ない。つまり、簡単な質問にただ待機している大きなモデルではなく、成果に対して支払う仕組みになっている。eeselは無料で試せるし、営業電話も不要だ。