【極めればこのテンソル操作 】reshape(N,-1)

【極めればこのテンソル操作 】reshape(N,-1)
Photo by Sunguk Kim / Unsplash

NumPy reshape: データ形状を自在に操る方法

NumPyのreshape関数は、多次元配列の形状を変更する強力なツールです。この記事では、reshapeの基本的な使い方から応用まで、具体例を交えて詳しく解説します。

1. reshape の基本

reshapeは、配列の要素数を変えずに形状を変更します。

import numpy as np

# 1次元配列を作成
arr = np.array([1, 2, 3, 4, 5, 6])
print("Original array:", arr)
print("Shape:", arr.shape)

# 2x3の2次元配列に変形
reshaped = arr.reshape(2, 3)
print("\nReshaped to 2x3:")
print(reshaped)
print("New shape:", reshaped.shape)

# 出力:
# Original array: [1 2 3 4 5 6]
# Shape: (6,)
# 
# Reshaped to 2x3:
# [[1 2 3]
#  [4 5 6]]
# New shape: (2, 3)

2. 「-1」 の使用

-1を使用すると、その次元のサイズを自動的に計算させることができます。

# 3x2の2次元配列に変形
reshaped_auto = arr.reshape(3, -1)
print("Reshaped to 3x2:")
print(reshaped_auto)
print("Shape:", reshaped_auto.shape)

# 出力:
# Reshaped to 3x2:
# [[1 2]
#  [3 4]
#  [5 6]]
# Shape: (3, 2)

3. 多次元配列の reshape

多次元配列も簡単に形状を変更できます。

# 3D配列を作成
arr_3d = np.arange(24).reshape(2, 3, 4)
print("3D array:")
print(arr_3d)
print("Shape:", arr_3d.shape)

# 4x6の2D配列に変形
reshaped_2d = arr_3d.reshape(4, 6)
print("\nReshaped to 4x6:")
print(reshaped_2d)
print("New shape:", reshaped_2d.shape)

# 出力:
# 3D array:
# [[[ 0  1  2  3]
#   [ 4  5  6  7]
#   [ 8  9 10 11]]
# 
#  [[12 13 14 15]
#   [16 17 18 19]
#   [20 21 22 23]]]
# Shape: (2, 3, 4)
# 
# Reshaped to 4x6:
# [[ 0  1  2  3  4  5]
#  [ 6  7  8  9 10 11]
#  [12 13 14 15 16 17]
#  [18 19 20 21 22 23]]
# New shape: (4, 6)

4. .mat ファイルの読み込みと reshape

私たちは、モデルのエンジニアリングのときによく Matlab データを使用します。Matlab形式データは mat ファイル(.matファイル)とよばれ、汎用性に富んだデータ形式です。

.matファイルから読み込んだデータの形状を調整する例を見てみましょう。

from scipy.io import loadmat

# .matファイルを読み込む(ファイルが存在すると仮定)
mat_data = loadmat('example.mat')
data = mat_data['some_key']

print("Original shape:", data.shape)

# 期待される形状に reshape
expected_shape = (273, 260)
reshaped_data = data.reshape(expected_shape)

print("Reshaped data shape:", reshaped_data.shape)

# 出力:
# Original shape: (70980,)
# Reshaped data shape: (273, 260)

この例では、loadmatで読み込んだデータが1次元にスクイーズされていても、reshapeを使って元の2次元形状に戻すことができます。

5. スクイーズの有無に関わらない安全な reshape

.matファイルの読み込みや他の処理の結果、データがスクイーズされている(次元が減少している)場合でも、reshapeを使って安全に目的のサイズに変形できます。以下の例で、スクイーズされたデータと元の形状のデータの両方に対して同じreshape操作を適用する方法を示します。

import numpy as np
from scipy.io import savemat, loadmat

# オリジナルデータ (2D)
original_data = np.arange(24).reshape(4, 6)
print("Original data shape:", original_data.shape)

# .matファイルに保存
savemat('test_data.mat', {'data': original_data})

# 1. スクイーズされたケース(1D)
squeezed_data = loadmat('test_data.mat')['data'].squeeze()
print("Squeezed data shape:", squeezed_data.shape)

# 2. 2Dで読み込まれたケース
normal_data = loadmat('test_data.mat')['data']
print("Normal loaded data shape:", normal_data.shape)

# 両方のケースに同じreshape操作を適用
target_shape = (4, 6)

reshaped_squeezed = squeezed_data.reshape(target_shape)
reshaped_normal = normal_data.reshape(target_shape)

print("Reshaped from squeezed shape:", reshaped_squeezed.shape)
print("Reshaped from normal shape:", reshaped_normal.shape)

# 元のデータと同じかチェック
print("Squeezed data reshaped correctly:", np.array_equal(original_data, reshaped_squeezed))
print("Normal data reshaped correctly:", np.array_equal(original_data, reshaped_normal))

# 出力:
# Original data shape: (4, 6)
# Squeezed data shape: (24,)
# Normal loaded data shape: (4, 6)
# Reshaped from squeezed shape: (4, 6)
# Reshaped from normal shape: (4, 6)
# Squeezed data reshaped correctly: True
# Normal data reshaped correctly: True

この例から分かるように、reshape操作は非常に柔軟です:

  1. スクイーズされたデータ(1次元)に対しても、
  2. 元の2次元形状のデータに対しても、

同じreshape(4, 6)操作を適用することで、目的の形状に変形できます。

なぜこれが機能するのか

  1. 要素数の保存: reshapeは配列の要素の総数を変更しません。元の総要素数と同じであれば、任意の形状に変更できます。
  2. メモリレイアウト: NumPyは内部的にデータを1次元配列として格納しています。多次元配列は実質的にこの1次元配列の「ビュー」です。そのため、次元数に関係なく柔軟に形状を変更できます。
  3. 順序の保持: reshapeは元の配列の要素順序を保持します。スクイーズされていても元の順序は維持されているため、正しく形状を戻すことができます。

注意点

  • 総要素数が一致していることが前提です。一致していない場合はValueErrorが発生します。
  • 大きな配列の場合、パフォーマンスに影響する可能性があるため、必要に応じて最適化を検討しましょう。

この方法を採用することで、データの読み込み方法や前処理の違いに関わらず、常に期待される形状にデータを整形できます。これにより、後続の処理を安定させ、コードの他の部分に影響を与えずにデータの一貫性を保つことができます。

まとめ

reshapeは、NumPyの中でも特に便利で強力な関数の一つです。データの前処理、機械学習モデルへの入力準備、データ可視化など、様々な場面で活躍します。正しく使用することで、複雑なデータ構造も簡単に操作できるようになります。

ポイントを押さえておけば、reshapeを使いこなすのは難しくありません:

  1. 元の配列の要素数と新しい形状の要素数が一致している必要があります。
  2. -1を使って、1つの次元のサイズを自動計算させることができます。
  3. 多次元配列も簡単に形状を変更できます。
  4. スクイーズされたデータでも、元の形状のデータでも、同じreshape操作で目的の形状に変形できます。
  5. .matファイルの読み込みなど、データ形式の変換時にも便利です。
  6. 他のNumPy操作と組み合わせることで、より柔軟なデータ操作が可能になります。

reshapeを使いこなすことで、データ解析や機械学習のワークフローをよりスムーズにすることができるでしょう。特に、データの形状が不確実な場合でも、reshapeを使って安全に目的の形状に変形できることを覚えておくと、多くの場面で役立つはずです。

参考. reshape と他の操作の組み合わせ

reshapeは他のNumPy操作と組み合わせて使用することもできます。

# 転置と組み合わせる
transposed = arr.reshape(2, 3).T
print("Reshaped and transposed:")
print(transposed)
print("Shape:", transposed.shape)

# フラット化と組み合わせる
flattened = arr_3d.reshape(-1)
print("\nFlattened 3D array:")
print(flattened)
print("Shape:", flattened.shape)

# 出力:
# Reshaped and transposed:
# [[1 4]
#  [2 5]
#  [3 6]]
# Shape: (3, 2)
# 
# Flattened 3D array:
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23]
# Shape: (24,)

Read more

大企業のAIセキュリティを支える基盤技術 - 今こそ理解するActive Directory 第1回 基本概念の理解

大企業のAIセキュリティを支える基盤技術 - 今こそ理解するActive Directory 第1回 基本概念の理解

こんにちは! 今回から数回にわたり Active Directory について解説してまいります。 Active Directory(AD:アクティブディレクトリー)は、Microsoft が開発したディレクトリサービスであり、今日の大企業における IT インフラストラクチャーにおいて、もはやデファクトスタンダードと言っても過言ではない存在となっており、組織内のユーザー、コンピューター、その他のリソースを一元的に管理するための基盤として広く採用されています。 AIセキュリティの現実:単独では機能しない ChatGPTやClaudeなどの生成AIが企業に急速に普及する中、「AIセキュリティ」という言葉が注目を集めています。情報漏洩の防止、不適切な利用の検知、コンプライアンスの確保など、企業が取り組むべき課題は山積みです。 しかし、ここで注意しなければいけない事実があります。それは、 AIセキュリティソリューションは、それ単体では企業環境で限定的な効果しか期待できない ということです。 企業が直面する本質的な課題 AIセキュリティツールを導入する際、企業のIT部門

By Qualiteg コンサルティング
自治体総合フェア2025に出展いたしました

自治体総合フェア2025に出展いたしました

こんにちは! 先週開催された自治体総合フェア2025に出展いたしましたので、写真で様子をふりかえりながら簡単にレポートいたします! 自治体総合フェア2025 開催概要 自治体総合フェアは公民連携の総合展示会で今年はは2025/7/16~18まで東京ビッグサイトにて開催されました。 株式会社 Qualiteg の出展内容 当社からは4名体制でAIアバター動画生成サービス「MotionVox™」をはじめ、LLMセキュリティソリューション「LLM-Audit™」、企業・自治体向けセキュアチャットサービス「Bestllam🄬」の展示をさせていただきました。 デモ内容 当日のご紹介内容の一部をご紹介いたします MotionVox™ MotionVox は、まるで、本物の人間のようなフォトリアリスティックなアバター動画を生成するサービスです。 これまでから機能を大幅拡張した MotionVox 2.0 をお披露目いたしました。 MotionVox 2.0では、以下のようなフィーチャーを追加いたしました! * まるで人間! リアリティをさらに向上したアバター *

By Qualiteg ビジネス開発本部 | マーケティング部
発話音声からリアルなリップシンクを生成する技術 第3回:wav2vec特徴量から口形パラメータへの学習

発話音声からリアルなリップシンクを生成する技術 第3回:wav2vec特徴量から口形パラメータへの学習

こんにちは! 前回までの記事では、 * wav2vecを用いた音声特徴量抽出の仕組み(第1回)と、 * リップシンク制作における累積ドリフトの補正技術(第2回) について解説してきました。今回はいよいよ、これらの技術を統合して実際に音声から口の動きを生成する核心部分に踏み込みます。 本記事で扱うのは、wav2vecが抽出した768次元の音響特徴量を、26個の口形制御パラメータの時系列データに変換する学習プロセスです。これは単なる次元削減ではありません。音の物理的特性を表す高次元ベクトルから、人間の口の動きという全く異なるモダリティへの変換なのです。この変換を実現するには、音韻と視覚的な口形の間にある複雑な対応関係を、ニューラルネットワークに学習させる必要があります。 特に重要なのは、この対応関係が静的ではなく動的であるという点です。同じ音素でも前後の文脈によって口の形が変わり、さらに音が聞こえる前から口が動き始めるという時間的なズレも存在します。これらの複雑な現象をどのようにモデル化し、学習させるのか。本記事では、LSTMとTransformerという2つの強力なアプロー

By Qualiteg 研究部
AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

こんにちは!本日はAI時代のデータ漏洩防止について、とくにその通信技術面に焦点をあてつつ、AIセキュリティにどのように取り組んでいくべきか、解説いたします。 1. はじめに 生成AIの急速な普及により、企業のデータガバナンスは新たな局面を迎えています。ChatGPTやClaudeといった大規模言語モデル(LLM)は、業務効率を飛躍的に向上させる一方で、意図しない機密情報の漏洩という深刻なリスクをもたらしています。 従業員が何気なく入力した顧客情報や営業秘密が、AIサービスの学習データとして使用される可能性があることを、多くの組織はまだ十分に認識していません。従来のDLP(Data Loss Prevention)ソリューションは、メールやファイル転送を監視することには長けていましたが、リアルタイムで行われるWebベースのAIチャットやAIエージェントとの対話で発生しうる新しい脅威には対応できていないのが現状です。 本記事では、AI時代のデータ漏洩防止において中核となる技術、特にHTTPS通信のインターセプトとその限界について、技術的な観点から詳しく解説します。プロキシサーバー

By Qualiteg プロダクト開発部, Qualiteg コンサルティング