Amazonの内部チケットは、顧客エスカレーション、容量申請、アラーム、セキュリティ所見などを20カテゴリのどれか1つに分類する必要がある。世界最大級の規模で回っている。これをClaude Sonnet 4.6が担当していた。長いシステムプロンプトを渡し、JSONでラベルと根拠を返させ、固定のラベル集合に突き合わせる方式だ。
11月9日、Strandsチームのエンジニア2人がこの置き換えを公開した。替えた先は汎用LLMではない。Strands Decider——10月1日に出た「決定モデル」で、テキストを生成しない。状態と質問と選択肢のリストを受け取り、各選択肢の確率と信頼度を返すだけのモデルである。
結果は、1枚あたり$0.0222が$0.0005、応答は4,215msが897ms。Hacker Newsでは478ポイントが付き、AnthropicがIPOロードショーを回している同じ週に、Amazonが自社ブログでフロンティアLLMを迂回する方法を公開するという、読後感の悪い偶然になった。
だが98%の中身は「安いモデルを買った」ではない。出力トークンを170から1にしたのだ。そしてこの節約は、請求書の形が変わったことを意味する。注文が減った月も、GPUは同じ額を請求する。
1. 11月9日に出て、11日になって届いた
まず構成を整理する。置き換えの手順が具体的なので、そのまま読む価値がある。
- 最初の試行──Strands Deciderの2B版を試し、テストチケットでGemma 4ベースのE4Bビルドが明確に良かったためE4Bへ。さらに「どれだけ確信があればラベルを確定するか」のしきい値を調整した
- 構成──SQS→Lambda→SageMakerエンドポイント。モデルは ml.g5.xlarge(A10G 1枚、24GB、実使用約19GiB)で動き、1リクエスト約640ms。エンドポイントはネットワーク隔離、重みはS3から読み込む
- 切り替え──AWS AppConfigの3段スイッチ。BEDROCK(Sonnetのみ)/DUAL(両方を並行実行し、Sonnetの結果を採用しつつ差分を比較)/DECIDER(Sonnet停止)。ロールバックは設定変更45秒
- デプロイ──CDKでBeta/Gamma/Prodの3段階
3段スイッチは、この記事でいちばん真似すべき部分だ。彼らの言葉では「どのモデルに替えるときでも同じようにやる」。実トラフィックで両方を走らせ、食い違った1件ずつを人間が判定する。オフライン評価より多くのことを教える、と書いている。
2. 数字をそのまま置く
提供元(AWS/Strandsチーム)の表。第三者が検算しても桁は合っている。
- 1回あたり平均時間──4,215ms → 897ms(−78%)
- 入力トークン/枚──6,554 → 2,009(−69%)
- 出力トークン/枚──170 → 1(−99.4%)
- 合計トークン/枚──6,724 → 2,010(−70%)
- 1枚あたりコスト(定価)──約$0.0222 → 約$0.0005(約44倍安)
- 100万枚あたり──約$22,200 → 約$500(−98%)
切り替えた当日、Lambdaの平均実行時間は3,312msから748msへ落ちた(−74%)。
3. 98%の中身は「出力170→1」
出力の行をもう一度見る。Sonnetは1枚あたり170トークンを書いていた。ラベルと、その根拠の一文。Deciderは1トークン。選んだ選択肢の番号だけである。
ここから全部が決まる。
- 入力が69%減ったのは、プロンプトが「どう判断するか」を説明する必要がなくなったから。選択肢が何かを並べればいい
- 遅延が78%減ったのは、2Bモデルが20個の候補に点数を付けるだけで、段落を書かないから
- コストが98%減ったのは、誰も読まない文章に出力単価を払わなくなったから
旧構成の内訳を計算するとこうなる。入力6,554トークン×$3=$0.0197、出力170トークン×$15=$0.00255。合計$0.0222。つまり根拠の一文は、最初から仕事の9%強でしかなかった。それでも全体の遅延と請求の形を支配していた。答えの形式を変えれば、請求書も変わる。
4. 「決定モデル」は何をしているのか
仕組みは乱暴なくらい単純だ。
- 事前学習済みモデルから言語モデルのヘッドを取り外す。文章を作る能力を物理的に失わせる
- 代わりに小さなポインタヘッド(約100万パラメータ)を付け、提示された各選択肢にスコアを付ける。出力は選択肢ごとの確率と信頼度
- 文脈窓は4,096トークン。ラベル説明だけでこれを超えたため、20個のラベルを1〜2文の判定基準に書き直し、「該当なし」の選択肢を追加。長いチケットでは古いコメントを落とす
- 学習はLoRA(rank 16)、ベースは2B級
ここで効いているのは費用ではなく性質だ。文章を書けないモデルは、もっともらしいが間違った一文を書けない。残るのは点数付けの問題で、選択肢が閉じていれば2Bでも十分に戦える。
もう一つ、生成モデルにはないものが出てくる。信頼度である。生成モデルはラベルと一緒に「たぶん」を返さない。Deciderはラベルと0.83を返す。しきい値を切れば、自信のないものは別の経路に流せる。多くのLLMパイプラインが持っていないのはこれで、彼らは「モデルがそう言ったから」で運用している。
5. 逆算すると、98%は注文量の関数だった
ここが最も重要な、そして発表本文に書かれていない部分である。
- Deciderの課金単位はインスタンス時間。ml.g5.xlargeが$1.408/時。常時起動なら月$1,028。1枚処理しても100万枚処理しても同じ
- Sonnetはトークン従量。1枚$0.0222
- 損益分岐=$1.408 ÷ $0.0222 ≒ 1時間あたり63枚。月にすると約46,300枚
- 月1,000枚なら、Sonnetは約$22、GPUは$1,028。桁が2つ違う
つまり98%は「この仕事が安くなった」ではなく、「Amazonの注文量ならこうなる」という命題だ。トークン従量ではコストはトラフィックに比例する。インスタンス従量ではコストはばらつきに比例する。平均が低くても、ピークに合わせて台数を確保すれば、その分は遊んでいる時間の請求になる。彼らが「バースト分の余裕を含めて$500/100万枚」と書いているのは、この遊び分を正直に積んだ数字だ。
読み替えると、判断は3つに分かれる。
- 量がある(月数万枚以上)──決定モデルは明確に勝つ。損益分岐を超えているから
- 量が読めない──サーバーレス推論か、トークン従量の小モデルのほうが安全。遊休費を固定費に変えない
- 量はあるが伸びない──固定費は悪ではない。予算が読めるという利点に変わる
6. 書かれなかった数字
発表は誠実だが、必要な数字が1つ抜けている。精度である。
- 「別のチケット集合で本番Sonnetを上回った」とあるが、適合率・再現率・サンプル数・DUAL時の一致率は非公開
- 「年間数百万ドルの節約」は試算であり、チケット量は開示されていない
- 発表元はモデルの販売元で、発表の場は自社ブログ。虚偽ではないが、ローンチ記事でもある
- より安い基準線は他にもある。この分類はBERT系やSVMで何年も前から解かれていた仕事だ。HNでも「なぜSonnetをここで使っていたのか」という反応が多かった
モデル側の公開評価を見ると、輪郭がもう少しはっきりする。著者らがHugging Faceで公開している数値(すべて提供元計測)は、JevBench 77.9%(n=231)、ECE 0.072、未知タスクの精度65.3%(n=6,000)、ContractNLI 87.8%、HotpotQA 83.2%、MuSiQue 88.2%。
未知タスクで3回に2回。これが「閉じた20択」の外側での実力である。だからAmazonの主張が成立するのは、ラベル集合が固定で、基準が書き切れていて、対象がその20択に収まるからだ。彼ら自身が「説明文が必要なら/カタログが毎週変わるなら/文脈が数千トークンに収まらないなら、決定モデルでは無理」と書いている。
そして実装上の落とし穴がもう1つ。JSONのキー順を変えると、出力確率が最大0.19動いた。彼らは現在、リクエストごとにキーをソートしている。第三者が同じ追試をして0.27の振れを観測した例もある。
これは「便利な小モデルの癖」ではない。同じ内容なのに出力が変わるという、評価の再現性に関わる問題だ。オフラインのベンチマークで0.19動くなら、A/Bの差は簡単に覆る。決定モデルを入れるなら、入力の正規化(キー順・区切り・空行)を仕様として固定し、生の入力をログに残すところまでセットにする必要がある。
7. 同じ週の反対側
11月11日、資本の側は逆方向に振り切れていた。
- AnthropicのIPOは数倍の超過申込。825百万株を1株$70〜78で売り、IPO分だけで最大$643.5億、別途の私募$260億と合わせ最大$904億。SpaceXのIPO規模を超え、史上最大になる可能性がある
- 完全希薄ベースの目標評価額は約$1.4兆($78で基本時価総額約$1.02兆)。一部報道では引受側が$1.5兆以上への引き上げを検討。公開価格は11月18日決定、11月19日にナスダック(コードANT)で取引開始
- 同時にクラウド購入コミットを積み増した。2033年までにAzure $492億(前月$449億)、Google Cloud $1,216億(前月$1,145億)。1カ月で約$114億の上乗せ
- 同じ日、フィラデルフィア半導体指数は5.66%高、CoreWeaveは20%超高。判断材料は「AIの需要」ではなく「請求書を誰が払うか」に移っている
ここで今週の構図が出る。上端は$8/$40のフロンティア、下端は1トークン判断で100万件$500。そして圧迫されているのは真ん中——長いシステムプロンプトを読ませて、汎用LLMにJSONを書かせる層だ。フロンティアの値段を払いながら、フロンティアの知能を必要としない仕事。
Amazonの記事が痛快なのは、その層が自分たちの手で解体されたからであり、同時に気まずいのは、解体した当人がClaudeを売っている会社だったからだ。
8. 保証は、いつ失効するのか
同じ週、ベンダーの「問題ありません」が後から書き換わる事例も出ている。
- Fireworks AIは10月初旬の侵害について、社内認証情報とAPIキーが盗まれたが顧客のモデル・データセット・個人情報には触れていないと説明していた
- 11月9日の更新で、影響範囲は請求先住所、請求履歴、口座残高、一部顧客の不完全なモデル重みとデータセットまで広がったと訂正された
- 経緯はこうだ。10月23日に研究用マシンを預ける第三者クラウドへ到達し、翌日に不正なワークロードを実行したのが影響を広げた契機とされる。動機は金銭で、盗んだモデルアクセスを転売する「LLMjacking」
- CEOのLin Qiaoは「攻撃者は重みを狙っていなかったようだ。ダウンロードの大半は部分的で、途中で止まっている」と述べた。部分的、という安心は、どの部分かを知っている場合にだけ成立する
- Notionは帰属不明のAIチャットセッションが露出した可能性を警告。BloombergはCursorとHarveyが影響評価の対象だと報じた。1カ月経っても影響アカウント数は公表されず、当該プロバイダ名も明かされていない
教訓は規約の話ではなく運用の話になる。推論ベンダーは、料金ページに何と書かれていてもデータ処理者である。鍵を預かり、評価セットを預かり、ときに微調整済みの重みを預かる。初報の「問題なし」は所見ではなく経過報告として扱い、被害範囲は自分で前提を置いて確認する。資格情報のローテーションと、ゼロ保持が本当に有効だったかの確認は、発表を待たずにやる。
同じ11日、ユナイテッド航空は第三者のAIエージェントによる予約とアカウントアクセスを制限すると表明した。エージェントが業務の外側に出た瞬間、相手側の規約と認証が境界になる。技術ではなく契約の問題に戻る、というのが今年の傾向だ。
9. 自社で試すなら、今週やること
明日からできる形に落とす。
- 呼び出しを全部リスト化する。プロンプト、モデル、月間回数、1回あたりの入出力トークン。まずここが無い組織が多い
- それぞれに1問だけ問う。「答えは固定リストから1つ選ぶだけか」。Yesなら決定モデルか通常の分類器の候補。NoならLLMのまま
- DUALで走らせる。両方の出力を保存し、食い違ったものだけ人間が判定する。一致率は「精度」ではないが、どこで壊れるかは確実に分かる
- 損益分岐を先に計算する。インスタンス時間÷現行の1件単価。月間件数がこれを下回るなら、遊休費を固定費に変えない
- 入力の正規化を仕様化する。キー順、区切り、空行、切り詰め規則。ソートしたキーで固定し、生入力をログに残す
- 説明は別の層に置く。Deciderは判断だけを返し、根拠の文章が要る場面(監査、顧客対応、インシデント報告)では別途生成する。文章を書かせなければ安いが、書かせないと説明は存在しない。72時間以内の報告義務がある領域なら、説明を判断と同じ場所に置けない
10. まとめ
11月11日に読むべき話を1文にすると、こうなる。生成を消すと、安くなるのではなく、買い方が変わる。
Amazonの98%は本物だが、それは「この仕事の相場が98%下がった」ではない。出力170トークンを1にしたという設計変更と、月4万6千枚を超える注文量という条件の積である。条件が違えば符号が反転する。月1,000枚の会社が同じ真似をすれば、請求書は47倍になる。
だから持ち帰るべきは「小さいモデルに替える」ではない。「出力の形を、必要な情報だけに削る」だ。170トークンの根拠は、仕事の9%の費用で、遅延の8割と請求の形を支配していた。まずそこを削る。次に、削った先が固定リストで足りるかを確かめる。最後に、信頼度しきい値で「わからない」を外に出す経路を作る。
同じ週、Anthropicは$904億を集めようとしていて、AmazonはClaudeを使わない方法を自社ブログで説明していた。矛盾ではない。上端の値段が上がるほど、下端を削る動機が強くなる。真ん中にいるシステムは、どちらの側からも削られる。自分のシステムが真ん中かどうかを判断する材料は、もう出揃っている。
参照: Strands Agents Blog「Amazon saves millions by replacing Sonnet 4.6 with Strands Decider」(2026-11-09)/AWS Machine Learning Blog(2026-11)/Hacker News discussion(2026-11-11, 478pt)/Developers Digest「Amazon Swapped Sonnet 4.6 for a Decision Model」(2026-11-11)/dev.to 検算記事2本(2026-11-11)/Strands Decider 2B ローンチ記事(2026-10-01)/Hugging Face モデルカード評価表/Bloomberg・財聯社・智通財経(Anthropic IPO, 2026-11-11)/The Hacker News・The Register(Fireworks AI 更新, 2026-11-09)/Bloomberg(ユナイテッド航空, 2026-11-11)