IT & AIテクノロジー

【2024/5/14更新】LLM 推論 API 料金と推論速度

Qualiteg プロダクト開発部 Qualiteg　ビジネス開発本部 | マーケティング部

Qualiteg プロダクト開発部, Qualiteg　ビジネス開発本部 | マーケティング部

— 3 min read
【2024/5/14更新】LLM 推論 API 料金と推論速度

LLM を API から利用するときに従量課金される料金と生成速度一覧まとめました。順次更新予定です。

【API 料金】 は 100万トークンあたりのアウトプット側 利用料を表示しています。

【生成速度】 は１秒間に何トークン生成できるかを示す " tokens/s"( tokens per second )で表示します。
(生成速度は入出力プロンプトの量・内容によって変動しますので、あくまで参考情報として表示しています)

OpenAI GPT シリーズ

  • OpenAI GPTシリーズ
    • gpt-4o、100万トークンあたり $15.00 (約2250円)、 70 tokens/s
    • gpt-4-turbo-2024-04-09: 100万トークンあたり $30.00 (約4500円)、 45 tokens/s
Credit:OpenAI
    • gpt-3.5-turbo-0125: 100万トークンあたり $1.5 (約225円)、100 tokens/sc

Amazon Bedrock

  • Amazon Bedrock
    • Claude3 Opus: 100万トークンあたり $75 (約11250円)
    • Claude3 Sonnet: 100万トークンあたり $15 (約2250円)
    • Claude3 Haiku: 100万トークンあたり $1.25(約188円)、生成速度 120 tokens/s
    • Llama3 70B: 100万トークンあたり $3.5 (約525円)、生成速度 36.5 tokens/s
    • Llama3 8B: 100万とーくんあたり 生成速度 77.8 tokens/s
credit:Amazon Bedrock

Llama3-8B-instruct を Amazon Bedrock の Playground で動作させ生成速度(tokens/sec)を確認

Llama3-70B-instruct を Amazon Bedrock の Playground で動作させ生成速度(tokens/sec)を確認

Groq

  • Groq
    • Llama3 70B: 100万トークンあたり $0.79(約119円) 、生成速度 302 tokens/s
    • Llama3 8B: 100万トークンあたり $0.1 (約15円)、生成速度 900 tokens/s
Credit:groq.com

Llama3-8B-instruct を Groq で動作させ生成速度(tokens/sec)を確認

Llama3-70B-instruct を Groq で動作させ生成速度(tokens/sec)を確認

fireworks.ai

  • fireworks.ai
    • 16Bモデル: 100万トークンあたり、$0.20 (約30円)、
      例) Llama3-8B-Instruct 269 tokens/sec
    • 80Bモデル: 100万トークンあたり、$0.90 (約135円)、
      例) Llama3-70B-Instruct 200 tokens/sec
credit:fireworks.ai

Llama3-70B-instruct を fireworks.ai で動作させ生成速度(tokens/sec)を確認

Llama3-8B-instruct を fireworks.ai で動作させ生成速度(tokens/sec)を確認

deepseek.com

  • deepseek.com
    • 236Bモデル: 100万トークンあたり、$0.28 (約42円)、
      DeepSeek-V2-Chat ≒25 tokens/sec

Deepseek V2 Chat

まとめ

2024/05/13 に GPT-4o が発表され、100万トークンあたりこれまでの GPT-4-Turboの半額となりクローズドLLMの性能・コスト競争がさらに激しくなっています。

オープンLLMでは、推論速度の点では、2024年5月現在、Groq が頭一つ抜け出ています。コストの点でもオープンな LLM の利用を前提とするならば Groq が優れています。

ただし、チューニングできるポイントやサポートの提供、過去の技術アセット、ノウハウ、人材調達の観点で総合的に判断して採用を決めるものですので採用に際しては総合的判断となるとおもいます。当社でも 上記内容ふくめ幅広い知見・経験をもとにしたLLM サービス構築コンサルティングを行っております。

LLM API を活用して最速でチャットボットを構築する

当社のLLMサービス開発ソリューション ChatStream をご利用いただくと、 LLM API を使用してノーコード・ローコードで本格的な UI を備えたチャットボットを構築可能です。(APIを使用せず、独自のオープンソースLLMをホスティング使用した推論サーバーソリューションも利用可能です）

LLMサービス開発、チャットボット開発についてご興味、ご関心のある方は以下よりお問い合わせくださいませ。
https://qualiteg.com/contact

Read more

AIがよく間違える「クロージャ問題」の本質と対策

AIがよく間違える「クロージャ問題」の本質と対策

こんにちは！ 本日は「クロージャ問題」に関する話題となります。 Pythonでループ内に関数を定義したことはありますか？ もしあるなら、あれれ？な挙動に遭遇したことがあるかもしれません。 本稿では、Pythonプログラマーなら一度は経験する「クロージャ問題」について、初心者にもわかりやすく解説してみたいとおもいます クロージャとは何か？ そもそも　”クロージャ”　とは何でしょうか。 クロージャ（closure）とは、関数が自分の定義されたスコープの変数を覚えて持ち運ぶ仕組み のことです。 もう少し分解すると、次の2つがポイントとなります 1. 内側の関数が、外側の関数の変数を使える 2. 外側の関数が終了しても、その変数は生き続ける 普通の関数とクロージャ―を使った関数を比較してみましょう 普通の関数との比較 まずは普通の関数から、 def add(x, y): return x + y print(add(3, 5)) # 8 print(add(3, 7)

By Qualiteg プロダクト開発部
フリーランスHub様にQualiteg Blogをご紹介いただきました

フリーランスHub様にQualiteg Blogをご紹介いただきました

この度、フリーランス向け案件検索サービス「フリーランスHub」様の特集記事「トレンドをキャッチアップ！AIに関する情報が得られるメディア・ブログまとめ」にて、弊社が運営する「Qualiteg Blog」をご紹介いただきました。 掲載記事について フリーランスHub様の記事では、AI技術の最前線で活躍するエンジニアや開発者の方々に向けて、価値ある情報源となるメディア・ブログが厳選して紹介されています。 その中で、Qualiteg Blogを「AI技術の専門知識を実践的なビジネス活用につなげる貴重な情報源」として取り上げていただきました。 特に以下の点を評価いただいております * 実践的なビジネス活用事例の提供 AI新規事業創出や事業選定方法など、経営者やビジネスリーダーが直面する課題への具体的な解決策 * 技術的な深掘りコンテンツ リップシンク技術など、実際のサービスで使用されている技術の開発現場目線での詳細な解説 * 多様な情報発信 代表執筆記事、AIトピックス、講演会動画など、幅広いフォーマットでの情報提供 今後も価値ある情報発

By Qualiteg ニュース
PyTorchの重いCUDA処理を非同期化したらメモリリークした話と、その解決策

PyTorchの重いCUDA処理を非同期化したらメモリリークした話と、その解決策

こんにちは！Qualitegプロダクト開発部です！ 今回は同期メソッドを非同期メソッド(async)化しただけなのに、思わぬメモリリーク※に見舞われたお話です。 深層学習モデルを使った動画処理システムを開発していた時のことです。 「処理の進捗をリアルタイムでWebSocketで通知したい」という要件があり、「単にasync/awaitを使えばいいだけでしょ？」と軽く考えていたら、思わぬ落とし穴にはまりました。 プロ仕様のGPUを使っていたにも関わらず、メモリ不足でクラッシュしてしまいました。 この記事では、その原因と解決策、そして学んだ教訓を詳しく共有したいと思います。同じような問題に直面している方の参考になれば幸いです。 ※ 厳密には「メモリリーク」ではなく「メモリの解放遅延」ですが、 実用上の影響は同じなので、この記事では便宜上「メモリリーク」と表現します。 背景：なぜ進捗通知は非同期である必要があるのか モダンなWebアプリケーションの要求 最近のWebアプリケーション開発では、ユーザー体験を向上させるため、長時間かかる処理の進捗をリアルタイムで表示することが

By Qualiteg プロダクト開発部
ゼロトラスト時代のLLMセキュリティ完全ガイド：ガーディアンエージェントへの進化を見据えて

ゼロトラスト時代のLLMセキュリティ完全ガイド：ガーディアンエージェントへの進化を見据えて

こんにちは！ 今日はセキュリティの新たな考え方「ゼロトラスト」とLLMを中心としたAIセキュリティについて解説いたします！ はじめに 3つのパラダイムシフトが同時に起きている いま、企業のIT環境では3つの大きな変革が起ころうとしています。 1つ目は「境界防御からゼロトラストへ」というセキュリティモデルの転換。 2つ目は「LLMの爆発的普及」による新たなリスクの出現。 そして3つ目は「AIエージェント時代の到来」とそれに伴う「ガーディアンエージェント」という新概念の登場です。 これらは別々の出来事のように見えて、実は密接に関連しています。本記事では、この3つの変革がどのように結びつき、企業がどのような対策を取るべきかを解説いたします 目次 1. はじめに：3つのパラダイムシフトが同時に起きている 2. 第1の変革：ゼロトラストという新しいセキュリティ思想 3. 第2の変革：LLM時代の到来とその影響 4. 第3の変革：AIエージェントとガーディアンエージェント 5. 3つの変革を統合する：実践的なアプローチ 6. 実装のベストプラクティス 7. 日本

By Qualiteg コンサルティング