[自作日記14] SW編:Ubuntu のインストールUSBの作成

[自作日記14] SW編:Ubuntu のインストールUSBの作成

こんにちは!

今回からは、GPUマシンをAIマシンにすべく、ソフトウェア編の開始です!

目標は Ubuntu OS で GPU使用できる状態にし、最終的に LLMをつかった推論をできるところまでもっていきます。

1. Ubuntu のインストールUSBの作成

GPUマシンのメインOSは Ubuntu を導入したいため、これからUbuntuのインストールを行います。

Ubuntuのインストールにはいくつかの方法がありますが、事務用パソコンのWindowsを使用してUbuntuイメージが入ったUSBメモリを作成し、それをもって Ubuntu をまっさらなPCにインストールしていくアプローチをとろうと思います。

1.1 USBメモリ(32GB以下)の準備

まず、Ubuntuのイメージを焼くUSBメモリを準備します。

USBメモリは下に示す理由の為、 32GB 以下のものを準備しましょう。

  • USB メモリが 32GB を超えると、FAT32 フォーマットができなくなる
  • ブートにつかう USB メモリ は FAT32 でフォーマットされている必要がある

USBメモリの容量が 32GB を超えると Windows では exFAT という扱いになってしまいますので、大きすぎるUSBメモリはNGなのです。

1.2 USBメモリへのイメージ書き込みソフトをダウンロードする

USB メモリへの Ubuntu イメージ(ISO形式)の書き込むために、以下の Unetbootin というソフトウェアをダウンロードします

https://unetbootin.github.io/

これで unetbootin-windows-702.exe というファイルがダウンロードフォルダに保存されました

1.3 Ubuntuのダウンロード

以下から Ubuntu をダウンロードします

https://ubuntu.com/#download

(または https://jp.ubuntu.com/download )

現在の最新のLTSバージョンは 22.04 LTS をダウンロードします。

これで、ubuntu-22.04.1-desktop-amd64.iso というファイルがダウンロードフォルダに保存された状態になります。

1.4 Ubuntuインストール用USBの作成

USB メモリをフォーマットする(必要なら)

  • USBメモリ(FAT32フォーマット済の32GB以下のもの)を セットアップサポート用Windows PC に刺す

    • USBメモリとして認識しなかれば、PCいろいろなUSB端子に刺してみる
  • 認識されたら、エクスプローラーをつかって USB メモリをフォーマットしておく。(クイックフォーマットでOK)

UNetbootin をつかって、Ubuntuイメージを USBメモリ に書き込む

1.さきほどダウンロードした UNetbootin(unetbootin-windows-702.exe)を 起動します

2.ディスクイメージにチェックをいれ、ISOを選択し、さきほどダウンロードしたUbuntuのイメージ ubuntu-22.04.1-desktop-amd64.iso を参照します

タイプは USBドライブ を選択し、さきほどフォーマットした USB メモリ のドライブを選択して OK をクリックします

これで 10分程度で書き込みがおわります

次回は、実際のUbuntuインストールに入っていきます!


navigation

Read more

KVキャッシュのオフロード戦略とGQAの実践的理解

KVキャッシュのオフロード戦略とGQAの実践的理解

こんにちは! LLM推論基盤プロビジョニング講座、今回は番外編をお届けします! 第3回「使用モデルの推論時消費メモリ見積もり」では、GPUメモリ消費の二大要素としてモデルのフットプリントとKVキャッシュを紹介し、1トークンあたりのKVキャッシュサイズの計算方法を解説しました。 また第4回「推論エンジンの選定」ではvLLMやDeepSpeedなど各推論エンジンの特性を比較し、第5回では量子化や並列化による最適化戦略を解説してきました。 しかし、実はKVキャッシュにはまだまだ掘り下げるべきトピックがあります。 * KVキャッシュをGPUのVRAMからCPU RAMやディスクにオフロードしたらどうなるのか? どのくらい遅くなるのか? * HuggingFace TransformersとvLLMでは、KVキャッシュの管理方針がなぜ根本的に異なるのか? * そもそもKVキャッシュが大きくなる原因であるアテンション構造を変えてしまう GQA(Grouped-Query Attention)とは何か? 第5回で紹介した量子化とは別の軸で、KVキャッシュを劇的に小さくする技術です。

By Qualiteg プロダクト開発部, Qualiteg コンサルティング
Python と JavaScript で絵文字の文字数が違う!サロゲートペアが引き起こす位置ずれバグの話

Python と JavaScript で絵文字の文字数が違う!サロゲートペアが引き起こす位置ずれバグの話

こんにちは! Qualitegプロダクト開発部です! PII(個人情報)検出のデモアプリを開発していて、検出したエンティティの位置をハイライト表示する機能を実装していました。 バックエンドは Python(FastAPI)、フロントエンドは JavaScript という構成です。 ある日、テストデータにこんなメール文面を使ったところ、ハイライトの位置が途中から微妙にずれるバグに遭遇しました。 鈴木一郎 様 いつもお世話になっております。 サンプル商事の佐藤でございます。 先日の件、確認が取れましたのでご連絡いたします。 お忙しいところ恐縮ですが、ご確認のほど宜しくお願い致します。 💻 #オンラインでのお打ち合わせ、お気軽に声がけください! ―――――――――――――――――――――――――――――― サンプル商事株式会社 営業部 第一課 山田 太郎 (Yamada Taro) 〒100-0001 東京都千代田区千代田1-1-1 サンプルビル 3F tel: 03-1234-5678 https://example.com/contact 検出結果をハイライト表示

By Qualiteg プロダクト開発部
大企業のAIセキュリティを支える基盤技術 - 今こそ理解するActive Directory 第5回 ブラウザ設定と認証

大企業のAIセキュリティを支える基盤技術 - 今こそ理解するActive Directory 第5回 ブラウザ設定と認証

こんにちは、今回はシリーズ第5回「ブラウザ設定と認証」について解説いたします! さて、前回(第4回)では、プロキシサーバーをドメインに参加させることで、ChatGPTやClaudeへのアクセスを「誰が」行ったかを確実に特定する仕組みを解説しました。「信頼の連鎖」の概念や、Windows版Squidなら1時間で構築できる環境、Negotiate/NTLM/Basicという3段階の認証フォールバック機構について理解いただけたかと思います。 しかし、せっかくサーバー側で完璧な統合Windows認証環境を構築しても、ブラウザ側の設定が適切でなければ、ユーザーには毎回パスワード入力ダイアログが表示されてしまいます。 「Edgeだと自動でログインできるのに、Chromeだとパスワードを聞かれる」 「同じサーバーなのにURLの書き方で動作が違う」 これらはヘルプデスクに寄せられる典型的な問い合わせです。(ただ、業務に好きなブラウザ使っていいよ、という企業はそんなに多くはないとおもいます) 今回は、統合Windows認証がブラウザでどのように動作するのか、その仕組みから各ブラウザ(Edge/

By Qualiteg AIセキュリティチーム, Qualiteg コンサルティング
スライドパズルを解くAIから学ぶ、「考える」の正体

スライドパズルを解くAIから学ぶ、「考える」の正体

こんにちは! 「このパズル、AIの教科書に載ってるらしいよ」 子供の頃に遊んだスライドパズル。いや、大人が遊んでも楽しいです。 数字のタイルをカチャカチャ動かして揃えるあれです。実はこのシンプルなパズルが、AI研究の出発点のひとつだったって知ってました? 今回は、このパズルを題材に「AIがどうやって考えているのか」を解き明かしていきます。しかも、ここで使われている手法は、Google Mapsの経路探索からChatGPTまで、現代の様々な技術のベースになっているんです。 まず遊んでみよう 理屈の前に、まずは感覚を思い出してみてください。 最初に shuffle をクリックすると、配置がシャッフルされゲームを開始できます。 ちなみに必ず解くことができるようになっていますが、慣れていないとそれなりに難しいかもしれません。 どうでしょう? 何手でクリアできましたか? クリアできなくても大丈夫です。記事後半で、実際にAIが解いてくれる機能つきゲームも掲載しています^^ 以下は動画です。本ブログで紹介するアルゴリズムで実際にパズルを解く様子をご覧いただけます

By Qualiteg 研究部