![[ChatStream] クイックスタート](https://images.unsplash.com/photo-1584907797015-7554cd315667?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDZ8fHN0YXJ0fGVufDB8fHx8MTcxMjc3OTg5M3ww&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ まだまだ暑いですね！ 早速、昨日発表しました ChatStream をつかったリアルタイムストリーミングチャットサーバーを作ってみたいと思います。 パッケージのインストール 早速 ChatStream パッケージのインストールをしていきます pip install chatstream 必要パッケージのインストール pip install torch torchvision torchaudio pip install transformers pip install "uvicorn[standard]" gunicorn ChatStream サーバーの実装 今回は RedPajamaINCITE をLLMとしてつかったストリーミングチャットサーバーを実装します。 chatstream_server.py import torch from fastapi import FastAPI, Request from fastsession
![[AI新規事業創出]生成AIを活用してオフィス業務を効率化する方法](https://images.unsplash.com/photo-1606857521015-7f9fcf423740?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDh8fG9mZmljZXxlbnwwfHx8fDE3MTI5Mjg1NTZ8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
MicheleはQualiteg blogで、AIを活用した新規事業やマーケティングに関する質問に答えています。特に多いのが、「ChatGPTを使って業務効率化をどう始めればいいか」という問い合わせです。彼女は、社内文書の自動生成からAI導入を始めることを推奨しており、カスタマーサポート業務の効率化にも大きな効果があると説明しています。また、バックオフィス業務改革を最初のステップとしてお勧めしています。
![[自作日記3] グラボ2枚挿しの夢](/content/images/size/w600/2024/04/gpu_machine_jisaku_03.png)
GPUマシン自作
こんにちは！ 今日の話題はレーン分割とグラボ２枚挿しについてです。 前回みてきたとおり、インテル Core シリーズCPUでは、CPUから接続されるPCI Express は PCIe gen5 で x 16（16レーン分）使えました。 PCIe gen5 は非常に高速で、そのレーンを16レーン使えるので、実質的にこの PCIe gen5 x 16 がグラフィックボード(GPU)用です。 実はマザーボードによっては、 PCIe gen5 x16 を2分割して使えるものがあります。 さて、ここで、もう１回、 z690 チップセットのブロック図をみてみましょう。 この左上の↓ですが、２つのボックスがあり、それの中間にORとかいてあります。 これは、「以下の2つのパターンのうち、どちらかを選択することができるよ」という意味になります 1. 1x16
![[AI新規事業創出]LLMとは？](https://images.unsplash.com/photo-1620712943543-bcc4688e7485?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDV8fG1hY2hpbmUlMjBMZWFybmluZ3xlbnwwfHx8fDE3MTI5MjUxMzh8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
MicheleがAI活用のビジネスやマーケティングについて質問に答えるブログを紹介。大規模言語モデル（LLM）について説明し、ChatGPTを例に挙げてLLMのビジネス活用事例や技術的な側面を解説。さらに、専用パソコンや日本語対応モデルも紹介しています。
![[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt](/content/images/size/w600/2024/04/ChatPrompt--1-.png)
ChatStream Guide
本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_
![[自作日記2] CPUとチップセットと PCI Express の関係](/content/images/size/w600/2024/04/gpu_machine_jisaku_02.png)
GPUマシン自作
こんにちは！今日はＣＰＵとチップセットについて学びたいとおもいます！ 最終的にはＡＩ開発に使えるGPUマシンをつくりたいのですが、GPUってパソコンのどのあたりに入れて使うものでしょうか。 はい、正解は、パソコンのPCI Express のスロットに挿して使います。 「知っとるわ」という声が聞こえました。 さすがです。 では、次の問いです。 GPU が挿さる PCI Express スロットのレーンはどこにつながってるのでしょうか？ １．「チップセット」 ２．「ＣＰＵ」 正解は２のＣＰＵです。 この問いの答えが一瞬で出た方は、本記事を読みとばしていただいて問題ありません。 「？」となった方は、本記事に参考になる部分があるかもしれません。 ということで、GPU は PCI Express という拡張スロットに挿して使うことはご存じかもしれませんが、PCI Express は内部でどのようにつながっているのでしょうか。実はGPUパソコンを作るときにこの辺がけっこう重要になります。 今後、GPU２枚挿し、GPU４枚挿し、など本格的なGPUマシンを作るときにもこのあたり
![[ChatStream] matsuo-lab/weblab-10b-instruction-sft用の ChatPrompt](/content/images/size/w600/2024/04/ChatPrompt.png)
ChatStream Guide
matsuo-lab/weblab-10b-instruction-sft 用の ChatPrompt クラスをリリースしました。 最新バージョンのChatStreamに取り込んでいますが、以下コードを使用することも可能です。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl import PromptTTL class ChatPromptMatsuoLabJpGptNeoxInstSft(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base class self.set_system("以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。") self.set_requester("指示") self.
Blog
先日、あるVCの方と当社のミッションについてお話したとき人々のクリエイティビティがいつか ChatGPT 等のAIに追い抜かれてしまうのかという点が話題になりました。 私は AIやAGIがどれほど進化しても、人間のクリエイティビティには勝ることができないという確信を持っています。 この信念は、クリエイティビティの本質とAIの能力の根本的な違いから来ています。 まず、クリエイティビティは、既存の枠組みやパターンを超えた新しいアイデアや解決策を生み出す能力です。このプロセスは、直感（直観）、感情、そして複雑な人間関係の理解を必要とします。人間の創造力は、経験、文化的背景、個人的な価値観、そして無意識の深層から湧き出るインスピレーションに根差しています。 このインスピレーションを「宇宙からアイディアが突然降ってくる」ととらえている人も多いです。このようなアンテナが存在するのかどうかはわかりませんが、私自身にもそのような経験は多くあり、あながち幻でもなさそうに思います。 これをクリエイティビティと言って良いのかどうかはわかりませんが、少なくとも、これらの要素は、人間独自のものであり、
News
株式会社 Qualiteg は LLMアプリケーション開発ツールキット ChatStream™ のαプレビュー版の提供を開始いたしました。 ChatStream™ とは 高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。 Web フロントエンド(チャットUI) と 推論実行サーバーソフトウェア で構成されており、追加のソフトウェア開発をせずに ChatStream™ だけで LLM アプリケーションを実現することができます。 また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。 2023年9月 現在は、 Pythonのライブラリ として AGPL および 商用ライセンスで提供しています。 以下サイトよりオンラインデモをご体験ください！ https://chatstream.net このデモのようなアプリケーションをほぼノーコードで作成することができます。 ChatStreamは本格的な商用用途に
News
生成AIパソコンのオンラインショップを開設いたしました。 https://shop.qualiteg.com/ AIやLLM（大規模言語モデル）の研究を開始する際、研究者や開発者が最初に直面する課題の一つが、適切なハードウェアの選定です。特に、この分野の研究用途では、単に高性能なコンピュータを選ぶだけでは不十分で、研究の目的や要求に応じた特化した構成が求められます。しかし、研究目的に合わせた適切なパソコンの構成を決定することは、多くの研究者や開発者にとって大きな挑戦です。 自作の選択肢もありますが、GPUとその周辺機器は高価で、選定をミスするととても高くついてしまいます。（そもそもそのケースにGPUがおさまるか、や、冷却性能、2枚以上挿す場合は、そもそもCPUやバス幅などまで考慮に入れる必要がありAIマシン初心者にとってはハードルが高いものとなります） 今回は、お求めやすく、130億パラメータクラスの LLM が快適に扱えるスペックのPCからラインナップしております。GPUは A4000 を1枚または2枚を搭載してモデルをご用意しております。 当社とPC販売店やH
![[AI新規事業創出]AIの基礎：初心者向けガイド](https://images.unsplash.com/photo-1677442136019-21780ecad995?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDV8fEFJfGVufDB8fHx8MTcxMjkyMDE4N3ww&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
Qualiteg blogでは、AIを活用した事業やマーケティングに関する一般的な質問に答え、AIの基本概念や応用例を初心者にも理解しやすく解説しています。このブログは、AIの可能性を探求し活用するための入門ガイドとして機能します。
![[自作日記1] 現代の自作PCアーキテクチャを理解する](/content/images/size/w600/2024/04/gpu_machine_jisaku_01.png)
GPUマシン自作
PC自作にあたって、まずは、2023年現在のPCアーキというものを学んでおこうとおもいます。 CPUとマザーボードとチップセット チップセット マザーボードには、各パーツ間の通信を管理するための「チップセット」という重要なコンポーネントが搭載されています。 あるチップセットは対応できるCPUが決められており、そのチップセットに対応していないCPUはのせることができません。 逆にCPU側からみれば、あるCPUに対して、それに対応できるチップセットが限定されているともいえます。 あるCPUに対してチップセットは１つだけではなく、実装されている機能のレベルに応じて複数のチップセットが対応しています。 チップセットとCPUとCPUソケット形状 チップセットとCPUはお互いに対応関係が決まっていると説明しましたが、CPUをマザーボードにはめ込むときのソケット形状も物理的に一致しています。 例えば Z690 というチップセットは Intel Core i7 12700 という第12世代のCPUに対応しています。 また、 Intel Core i7 127
![[AI新規事業創出]AIとB2B: 新規事業開発でAIを活用するメリットとは](https://images.unsplash.com/photo-1501504905252-473c47e087f8?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDQ4fHxidXNpbmVzc3xlbnwwfHx8fDE3MTI5MDU2ODF8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
Qualitegブログへようこそ。私、MicheleはAIを用いた新規事業とマーケティングを手がけています。このブログでは、AI活用に伴う共通の課題に対する解答を提供し、新規事業開発でのAIの利用メリットを掘り下げます。AIはデータ分析を効率化し、カスタマイズされた顧客体験を実現し、リスク管理を強化するなど、ビジネスにおける多大な利益をもたらします。質問や興味があれば、ぜひお問い合わせください。
![[自作日記0]GPUマシン自作日記はじめます](/content/images/size/w600/2024/04/gpu_machine_jisaku_00.png)
GPUマシン自作
こんにちは！Qualiteg ブートキャンプチームです。 Qualiteg のお仕事に携わっていただくメンバーの立ち上がりサポートをしています！ Qualiteg では、GPU入りの開発用PCや研究用PCは自作を推奨してます！ 自らスペックを検討し、秋葉原に買いに行き、相談し、パーツを選定し、組み立てるという一連の経験は非常にエキサイティング＆勉強になるからです。 ハードウェアの知識はもとより、秋葉原でのお店ごとの特徴、流行、店員さんの熱量、得られるものが非常に大きいです。 たまにパーツ選定ミスをしてしまったり、組み立て途中でパーツを壊してしまったりすることもありますが、その授業料を払ってでも自身で行う価値は十二分にあります。 授業料はどうせ会社持ちですし( ¯▽¯ ) 当社では代表をはじめビジネス営業担当まで全員が日々の業務で使用するGPU搭載マシンの自作に励んでおり、日々パーツ情報、親切な販売店情報、弟子入りしたくなるような凄腕店員さん情報（本当に知識豊富ですごい店員さんがアキバの自作系お店にはたくさんいます。感謝！）を共有しています。 とはいえ、いきなり秋葉
Blog
今日は ChatGPT による革命と今後の展望について書いてみたいとおもいます。 ChatGPTはほとんどの業界に大きな影響を与えているのは周知のとおりです。 このテキストベースのAIは、業務の自動化と効率化に貢献しており、その影響は広範囲に及ぶと予想されます。しかし、ChatGPTの成長と進化の途上には、いくつかの課題が存在しています。ここでは、ChatGPTが引き起こすAI革命、その業界への影響、そして将来への展望について掘り下げていきたいとおもいます。 ChatGPTによる業界の変革 ChatGPTは、既に世の中の9割の業界で劇的な変化をもたらしているといわれています。このAI技術は、顧客サービスからマーケティング、保険、HR、さらには開発まで、幅広い分野で業務の自動化と効率化を実現しています。 （我々の開発でもこれまで人間がやっていた仕様書定義・整理や単体テスト設計などで絶大な効果をあげています。） 例えば、顧客サービスでは、ChatGPTを用いたチャットボットが24時間体制で顧客の問い合わせに応じることが可能になり、人的リソースの負担を大幅に軽減しています。また
![[AI新規事業創出]AIを活用した新規事業開発のステップ: 市場分析におけるAIの活用方法](https://images.unsplash.com/photo-1474631245212-32dc3c8310c6?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDczfHxuZXclMjBidXNpbmVzcyUyMHxlbnwwfHx8fDE3MTI4NDM1NjR8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
市場分析においては、自社の得意な市場と顧客ニーズを理解することが重要です。AIを用いて既存のデータから深い洞察を得ることで、競合分析や市場トレンドの予測が可能になります。これにより、新規事業アイディアが市場に適合するかを評価し、革新をもたらすことができます。