翻訳メモリの管理は長年続く広範な問題であり、手作業によるクリーニングは骨の折れるプロセスです。翻訳メモリをクリーンに保つことは、言語専門家にとってより良い参照資料となり、機械翻訳の品質向上につながります。これは、翻訳メモリや用語集などの言語資産を活用する高度な機能を備えたPhrase NextMTにおいて特に重要です。
TMSで管理されたTMを使用する目的でデータセットを作成するには、以下の手順に従ってください。
-
データセットページで、翻訳メモリをクリーニングをクリックします。
ページが開きます。
-
データセットの名前を入力します。
-
言語セレクターでは、さまざまなオプションを選択できます。
-
一般的な言語データセットを作成するには、原文言語と訳文言語およびロケールセレクターで、同じ原文言語と訳文言語を選択します。
-
ロケール固有のデータセットを作成するには、最初のドロップダウン一覧から原文言語と訳文言語を選択し、2番目のドロップダウン一覧から原文ロケールと訳文ロケールを指定します。
より多くのデータソースを活用するために、複数の訳文ロケール（つまり、同じ言語の異なるバリエーション）を追加することもできます。
-
複数の原文ロケールと訳文ロケールを持つデータセットを作成するには、最初のドロップダウン一覧から原文言語と訳文言語を選択し、2番目のドロップダウン一覧から原文ロケールと訳文ロケールを指定して（同じ訳文言語の異なるバリエーションを追加可能）、+ 追加ロケールペアをクリックします。
ウィンドウが表示されます。
-
-
翻訳メモリを追加をクリックします。
ページが開き、検索機能
が利用できます。
-
データセットにTMを追加するには、
アイコンをクリックします。TMが列に追加されます。
複数のTMを追加でき、最大200個のTM、最大800万セグメントまで対応可能です。データセットには、理想的には少なくとも10,000セグメントを含める必要があります。
TM名をクリックすると、翻訳メモリページでその選択内容が表示されます。
アイコンをクリックして、列からTMを削除します。
-
保存をクリックします。
ページが開きます。
-
提示された詳細を確認し、正しい場合はContinueをクリックします。
ページが開きます。
-
必要なフィルタを適用し、Createをクリックします。
データセットが作成され、ページの一覧に追加されます。初期ステータスは、列のステータスはとなります。
Phrase Custom AIを使用すると、AIを活用したルールベースのクリーニングフィルタを使用して、TMをキュレートできます。新規ユーザーに適している可能性のあるデフォルト設定が提供されています。
このプロセスでは、元のTM segment metadataとTM tagsが保持されるため、TMSでクリーニング済みのTMを使用する際にTMのレバレッジを維持できます。
利用可能なフィルタのセットには、ルールベースのフィルタとMLベースのフィルタの両方が含まれます。
-
ルールベース
人間が容易に理解できる、明確に定義されたルールで動作するフィルタ。このフィルタカテゴリには、、、、、、、が含まれます。
-
MLベース
固定されたルールセットに従うのではなく、テキスト自体のコンテンツを解析して判断を下すフィルタ。このフィルタカテゴリには、、およびが含まれます。
Date range
設定された日付範囲外のセグメントを除外します。終了日と開始日は、セグメントの最終更新日とともに含まれます。
Misaligned source and target
このフィルタは、意味や意味的類似性の観点からセグメントがどの程度一致するかを判断し、評価の低いものを削除します。文ペアのアライメントは、LASERメトリックを使用して測定されます。
AIエンジンを使用して、原文と訳文が同じ意味であるか、あるいはどの程度同じ意味であるかを確認します。推奨設定では、最も悪い10%のセグメントを破棄し、最も良い90%のセグメントを保持します。
詳細設定では、アライメントの変更や、0から1の間の数値（1は完全なアライメントを意味します）を使用した生の類似度スコアに基づくフィルタの設定が可能です。生の類似度スコアを使用する場合は注意が必要です。各言語ペアでスコアの分布が異なり、ある言語ペアで良いスコアと見なされるものが、別の言語ペアでは不十分なスコアとなる可能性があるためです。
一般的に0.5未満のセグメントはあまり質が良くなく、1に近い、または1を超えるセグメントは両言語で同一のセグメントです。
例：
最小文字数および文字数
文字数にはすべての文字が含まれます。これには、すべての文字、空白、句読点、および記号が含まれます。トレーニングの目的で、文字を含まないセグメントを破棄すると便利な場合があります。
文字数は、英語のアルファベットのような文字だけでなく、発音区別符号付きのより複雑な文字や漢字もカウントします。中国語の文字は、複数の文字を表す場合であっても、1文字としてカウントされます。文字ベースの言語ではデフォルト値は1ですが、単語ベースの言語ではデフォルト値は4（文字）および3（文字）です。最小値は1で、最大値は500です。
データ内に短いセグメントを多数保持する場合（頭字語など）、フィルタの値を低く設定してください。
例：
文字列 "Hello, World!"1 2 3\"は19文字と10個のアルファベットで構成されています。
文ペアの長さ
このフィルタは、ユーザーが設定したしきい値よりも長いすべてのセグメントを削除します。
合計文字数には、原文と訳文の両方の文に含まれるすべての文字（文字、空白、句読点）が含まれます。言語の種類（例えば中国語と英語）を考慮してください。原文の言語がCJK系ではなく、訳文の言語がCJKである場合（またはその逆の場合）、このフィルタは無視されます。
長さの比率
このフィルタは、原文のセグメントと訳文のセグメントを比較した際に、長さが著しく異なるセグメントを特定します。原文の言語から訳文の言語に翻訳する際、長さが増減する翻訳もあります。長すぎる、または短すぎる訳文は、品質の低いセグメントを示している可能性があります。
原文の言語がCJK系ではなく、訳文の言語がCJK系である場合（またはその逆の場合）、このフィルタは無視されます。CJK
言語によっては冗長なものもあるため、200%が適切なデフォルト値です。訳文の言語が原文の言語と類似している場合、またはより多くのデータをフィルタリングする必要がある場合は、値を低く設定できます。
例：
一方の言語がCJKである場合、比率は1です。破棄されません：
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
ドイツ語の訳文は英語の原文と同程度の長さであるため、破棄されません：
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
ドイツ語の訳文は英語の原文よりもはるかに長いため、破棄されます：
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
翻訳不要箇所
翻訳不要箇所とは、原文と訳文のセグメントが同じであるセグメントのことです。訳文が原文から変更されていないすべての翻訳不要箇所の文ペアを除外します。
重複
同じ原文を持つセグメントのグループが作成されます。各グループから最適なセグメントのみが保持されるため、セグメントの原文が固有であれば、自動的に保持されます。それ以外の場合は、最も高い類似度スコアを持つセグメントが保持されます。
類似重複
類似重複をテストする際、原文（の少しクリーンなバージョン）は正規化されます。すべての非文字（例：“,?)!-）はスペースに置き換えられ、すべての文字は小文字に変換されます。
正規化された原文を使用して、同じ正規化された原文を持つセグメントのグループが作成されます。各グループから最適なセグメントのみが保持されるため、セグメントの正規化された原文は固有となり、自動的に保持されます。それ以外の場合は、最も高い類似度スコアを持つセグメントが保持されます。
言語識別
AIエンジンを使用して、文に基づいて原文と訳文の言語を識別します。セグメントは、エンジンが（原文/訳文の）言語を認識し（例えば、短い文ではエンジンが言語を特定するのに十分でないことがよくあります）、その言語が期待と異なる場合にのみ削除されます。
QPS
QPS（品質評価スコア）フィルタを使用すると、翻訳メモリ内の品質が最も低い文ペアを削除し、結果として得られるセグメントの品質を最高に保つことができます。
QPS（品質評価スコア）フィルタは、次の2つの方法で設定できます。
-
QPS（品質評価スコア）スコアが最も低い文ペアを、指定した割合で削除する。推奨値は10%です。
-
スコアのしきい値を選択する。詳細設定を使用して、調整可能なQPS（品質評価スコア）しきい値を下回る文ペアを削除します。推奨される開始値は50です。
これら2つのオプションにより、ユーザーの品質目標に合わせて翻訳メモリを自動的に管理できます。
管理されたTMを使用するには、数時間かかる場合がある翻訳メモリのクリーニングプロセスが完了している必要があります。
TMSで管理されたTMを使用するには、以下の手順に従ってください。
これによりデータセットのエクスポートプロセスが開始され、数分で完了します。結果として得られたキュレーション済みTM（ファイル形式は.TMX）は、その後、最大1 Gbの新しいキュレーション済みTMとしてTMSにアップロードできます。
同じTMに対して2つ以上のクリーニングプロセスが実行された場合、タブから異なるバージョンにアクセスできます。