Jamf、BedrockのAIコストをユーザー単位で制御する仕組みを公開

AIコストの問題

Jamfは、アップル製品の管理・セキュリティツールを提供する企業で、世界の76,000以上の組織で利用されています。同社はAIによる開発支援を加速するため、エンジニア組織全体にAmazon Bedrockへのアクセスを広く開放しました。すると生産性は向上したものの、ユーザー単位での利用料金の把握とコスト管理が必要になったと、AWSブログは説明しています。

生成AIのコストは、従来のITコストと異なり、サーバーなど確保した容量ではなく行動に応じて変動します。高性能なモデルを1人のエンジニアが数時間使うだけで、チーム全体の週間利用量を超えることもあります。しかも利用量は請求書が届くまで見えにくいため、コストを抑えたい経営側は対策を打ちにくいという課題があります。

モデルを段階的に制限

Jamfが構築したシステムは、各エンジニアの日次予算に対する利用額を監視し、モデルへのアクセスを段階的に制限します。日次予算の80%に達すると、高性能なAnthropic Claude Opusを拒否します。100%に達すると、Anthropic Claude Sonnetも拒否します。その一方で、低価格なAnthropic Claude Haikuは常に利用できるため、エンジニアは作業を完全に止められることなく、低コストのモデルで継続できます。

制限は数分以内に反映され、ユーザーの再認証は必要ありません。また、翌日の予算リセット後には自動的に解除されます。どうしても高い上限が必要なエンジニア向けに、管理者がSlackのスラッシュコマンドで期限付きの例外枠を付与できる運用も用意されています。

サーバーレス構成の仕組み

仕組みは「測定」「判定と通知」「強制」の3要素で成り立ちます。まず、エンジニアがBedrockのモデルを呼び出すと、そのログがAmazon S3に保存されます。次に、Amazon Athenaのビューがログを読み込み、トークン数にモデルごとの単価を掛けて、ユーザー別の日次利用額を計算します。

判定と通知はAWS Lambdaが担当し、15分ごとにAthenaのビューへ問い合わせます。Lambdaは、特例を管理するDynamoDBのテーブルと照合して制限対象者を割り出し、新たにしきい値を超えたユーザーにはSlackで通知します。その後、IAMのカスタマー管理ポリシーに新しいバージョンを発行すると、次のBedrock呼び出し時にアクセスが拒否されます。

この設計は毎回その日の累計利用額から制限リストを再計算するため、処理が二重実行されても同じ結果になります。日付が変われば自動的に制限対象から外れ、特別な解除処理を保守する必要がないのが利点です。

運用コストと教訓

本番運用でのコストは、AWS Lambda、DynamoDB、S3を合わせて、数百人のエンジニア規模でも月10ドル未満だったと報告されています。一方、Amazon Athenaはクエリがスキャンするデータ量に応じて課金されます。JSON形式のログでは列を絞ってもスキャン量は減らず、対象を変えた4つのクエリが同じ約11GBをスキャンしたという教訓も紹介しました。

このため、あらかじめ集計したビューを1回だけクエリする方法や、ログをParquetなどの列形式に変換する方法が提案されています。また、新しいモデルを有効化した際に価格の登録を忘れると、未知のモデルとして最高料金が適用される保険の仕組みも備えています。

こうしたガバナンスは開発を制限するものではなく、むしろ採用を後押ししたとAWSブログは振り返ります。利用額が把握でき、個別の上限を設定しても作業を止めない設計になったことで、経営陣は社内のAI活用範囲を広げる判断ができたといいます。