AI数理
モデルを「壊さずに」ドメインを広げる ― XLM-RoBERTa 継続学習の設計ノート
こんにちは、Qualiteg研究部です。 今日は「すでに完成している強いモデルを、壊さずに広げる」という、地味だけど実務でとても大事なテーマを取り上げたいと思います。 機械学習に取り組んでいると、 「一度しっかり仕上げたモデルを、新しい用途やデータに合わせてもう少し広げたい」 そんな場面はよく出てきます。 今回ご紹介するNER（固有表現抽出）のシーンに限らず、いろいろなタスクで共通する悩みではないでしょうか。 ところが、ここで素朴に追加学習をかけると、せっかくの強みがあっさり崩れてしまう。 私たちは、PII（個人特定情報や要配慮情報）を検出・マスキングするエンジン(PII-FI)を構築する際、実際にそれを経験しました。 Precision（適合率）が 0.83 から 0.17 まで転げ落ちる、なんてことも本当に起きるんです。 PII検出では、ドメイン（分野）ごとに検出したいPII型の種類や求められる精度が異なる場合があります。そこで1つのエンジンといっても、対応ドメインを広げていくたびに（そのドメインに適応させるための）追加学習が求められることがあります。 本稿は、そう
