LLM セキュリティ

LLMのセキュリティ、セーフティに関する記事、当社LLMセキュリティソリューションLLM-Audit™ に関する記事を配信しています

AIエージェント時代の新たな番人「ガーディアンエージェント」とは？

生成AI最前線

AIエージェント時代の新たな番人「ガーディアンエージェント」とは？

こんにちは！今日は先日ガートナーが発表したガーディアンエージェントについて解説します ガートナーの公式定義 ハイプカーブで有名なガートナーは2025年6月に、ガーディアンエージェントに関する見解を発表しました。ガーディアン・エージェントとは、AIとの安全で信頼できるやりとりを支援するために設計されたAIベースのテクノロジです。 ざっくりいうと、 「AIエージェントが来るよ」と予言したガートナー社は、次は、「ガーディアンエージェントが来るよ」と予言しました。なぜガーディアンエージェントが来るのでしょうか？本稿では、そのあたりを考察していきたいと思います。 なぜ今、AIの「監視役」が必要なのか 2025年、私たちは本格的なAIエージェント時代の入り口に立っています。AIが単なるツールから、自律的に判断し行動する「エージェント」へと進化する中で、新たな課題が浮上しています。 従来のAIとエージェント型AIの違い さて、ガーディアンエージェントが必要になる理由として、生成AI（以後AIと呼びます）の急速な進化があげられます。従来のAIとエージェント型AIの違いを思い出

By Qualiteg コンサルティング
LLM活用における段階的PIIマスキング

LLM-Audit

LLM活用における段階的PIIマスキング

こんにちは、Qualitegプロダクト開発部です！ 前回の技術解説では、「三沢」が人名なのか地名なのか判断できない日本語の曖昧性から始まり、正規表現からLLM統合まで5段階のPII検出アプローチをご紹介しました。今回は、これらの技術を搭載した LLM-Audit™ PII Protector が実際のLLM活用シーンでどのように動いているのか、実際のプロダクト処理の観点で、もう一歩踏み込んで解説します。 ファイルの中に潜む、見えないPII LLM Audit™ PII Protectorをご紹介した際、多くの方から「テキスト入力のPII検出は分かったけど、ファイルをまるごとLLMに投げる場合はどうなるの？」というご質問をいただきました。 確かに現在のLLM活用は、単純なテキスト入力から、PowerPoint、Excel、PDF、画像ファイルなど、様々な形式のファイルを直接処理する段階に進化しています。「この提案書を要約して」「このExcelから傾向を分析して」といった使い方が当たり前になってきました。 PowerPointの「スピーカーノート」を見たことがありますか？

By Qualiteg プロダクト開発部
PIIの高精度検出を支える技術～日本語という言語の奥深さに寄り添う～

LLM-Audit

PIIの高精度検出を支える技術～日本語という言語の奥深さに寄り添う～

こんにちは、Qualiteg研究部です！ 本日はPII（個人識別情報）検出技術について解説いたします。 グローバルツールと日本語特化ツールの共存 個人情報保護は世界共通の課題です。 GDPR、CCPA、そして日本の改正個人情報保護法など、世界中で規制が強化される中、多くの優れたPII（個人識別情報）検出ツールが研究・開発されていますが、日本語を中心としたビジネスシーンで利用しようとすると「おや？」っとなることが多く割と無視できない規模の追加開発、特別対応による追加工数が発生することがあります。なぜなら、それらツールは英語（および英語文化圏）を中心に設計されており、スペック上は日本語も対応言語の１つとして挙げられておりますがきめ細やかな対応が後手にまわることが多いです。 当然ですが言語には固有の文化と構造があり日本語は、その独特な文字体系と文化的背景により、特別なアプローチが必要となるシーンが存在しています。 私たちが開発している日本語特化型PII検出技術は、グローバルに採用されている優れた基盤技術も活かし共存ながら、日本語の特性に深く寄り添うことで、日本企業により実用的なソリュ

By Qualiteg 研究部
LLM時代の企業情報防衛：PIIセキュリティの新たな挑戦

LLM-Audit

LLM時代の企業情報防衛：PIIセキュリティの新たな挑戦

はじめに なぜ今、PIIセキュリティが重要なのか 私たちは大規模言語モデル（LLM）が業務の隅々まで浸透した時代を生きています。ChatGPT、Claude、Geminiなどの生成AIツールは、もはや実験的な技術ではなく、日常業務に欠かせないインフラとなりました。しかし、この便利さの裏側で、企業の個人識別情報（PII）は前例のない脅威にさらされています。 従来のセキュリティ対策では想定していなかった「AIへの情報漏洩」という新たなリスクが生まれ、企業は情報防衛戦略の根本的な見直しを迫られています。 PIIとは何か　～生成AI＆LLM時代の再定義～ 従来のPII定義 個人識別情報（Personal Identifiable Information）は、単独または他の情報と組み合わせることで特定の個人を識別できる情報を指します。 たとえば、従来は以下のような情報が主な対象でした * 直接識別子：氏名、住所、電話番号、メールアドレス、マイナンバー * 間接識別子：生年月日、職業、勤務先、IPアドレス * 機密情報：医療記録、金融情報、生体認証データ LLM時

By Qualiteg プロダクト開発部
LLM-Audit ～LLMへの攻撃と防衛の最前線 ～

LLM セキュリティ

LLM-Audit ～LLMへの攻撃と防衛の最前線 ～

はじめに 人工知能技術の急速な進化により、大規模言語モデル（LLM）は多くの企業や組織にとって不可欠なツールとなっています。自然言語処理、コード生成、データ分析など、LLMの応用範囲は日々拡大し、ビジネスプロセスの効率化や創造的タスクの支援など、幅広い分野で革新をもたらしています。しかし、この革新的な技術の普及に伴い、新たなセキュリティリスクも浮上しており、企業はこれらのリスクに対する適切な対策を講じる必要に迫られています。 本記事では、当社が開発したLLMセキュリティソリューション「LLM-Audit」をご紹介します。LLM-Auditは、LLMの入力と出力を徹底的に監査し、セキュリティリスクを最小限に抑える包括的なセキュリティ＆セーフティ実現ソリューションです。 従来のセキュリティ対策では対応が難しいLLM特有の脆弱性や、日本語環境特有の課題に対しても高度な保護を提供します。 動画 本記事の内容はこちらの動画でもご覧いただけます。 LLMセキュリティの重要性 LLMのセキュリティ管理が不十分な場合、企業は深刻な結果に直面する可能性があります。 最も懸

By Qualiteg プロダクト開発部
【LLMセキュリティ】ハルシネーションの検出方法

LLM セキュリティ

【LLMセキュリティ】ハルシネーションの検出方法

こんにちは、Qualiteg研究部です。 本日は、RAGにおけるハルシネーション検出に関する、こちらの論文について解説をしつつ、ハルシネーション検出をおこなうLLMについて考察をしてみたいと思います。 "Lynx: An Open Source Hallucination Evaluation Model" https://arxiv.org/pdf/2407.08488 概要 LYNXという、RAG(Retrieval Augmented Generation) システムにおいて参照なしで高品質なハルシネーション検出が可能なオープンソースのLLMの構築方法、仕組みに関する論文です。 RAGシーンにおいて、LLMが生成する回答が、質問やコンテキストに対して「忠実」であるかどうかを判定することで、ハルシネーションを検出することができます。 研究の成果である、ハルシネーション判定のために llama3ファインチューニングがほどこされたモデルは 以下に公開されています。 https://huggingface.co/PatronusAI/Llama-3-Patronus-Lynx

By Qualiteg 研究部
【LLMセキュリティ】Llama Guard :AI安全性の第一歩

LLM セキュリティ

【LLMセキュリティ】Llama Guard :AI安全性の第一歩

こんにちは、Qualiteg研究部です。 本日は昨年末(2023年12月)に発表された Llama Guard について解説いたします。 近年、AI技術の進化は目覚ましく、その応用範囲は広がっています。しかし、その一方で、AIシステムが生成するコンテンツの安全性に対する懸念も高まっています。そこで登場したのが、Meta社によって開発されたLlama GuardというAIモデル(LLMです）です。 このモデルは、AIが生成するコンテンツの安全性を評価し、不適切な内容を防ぐための重要なツールとなっています。 本記事では、Llama Guardの特徴やその効果について詳しく解説いたします。 Llama Guardの概要 Llama Guardは、大規模言語モデル（LLM）に対する 入力プロンプト　および　出力レスポンス　の両方にたいしてセーフガードを導入するツールであり、LLMシステムが生成するコンテンツを安全に保つための仕組みを提供しています。 具体的には、LLMシステムへの入力および出力情報が不適切でないかを判断するための「安全リスク分類法」により、「安全」か「安全でないか

By Qualiteg 研究部
【LLMセキュリティ】ゼロリソースブラックボックスでの幻覚(ハルシネーション)検出

LLM セキュリティ

【LLMセキュリティ】ゼロリソースブラックボックスでの幻覚(ハルシネーション)検出

こんにちは、Qualiteg研究部です。 今回は、データベースなど外部の情報を使用しない「ゼロリソース」状態での幻覚（ハルシネーション）検出の手法である以下論文について解説いたします。 SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models https://arxiv.org/abs/2303.08896 背景 LLMが出力する「幻覚」の問題 近年、生成型大規模言語モデル（LLMs）は、多様なユーザープロンプトに対して非常に流暢な応答を生成する能力を持っています。 しかし、これらのモデルは事実を幻覚させたり、非事実的な発言をすることが知られており、出力への信頼性を損なう可能性があります。 この問題に対処するための既存のファクトチェック手法は、出力確率分布へのアクセスが必要だったり、外部データベースを使用した複雑なモジュールを必要としたりします。 本論文では、SelfCheckGPTと呼ばれる新しいアプローチを提案しています。このア

By Qualiteg 研究部