Byte Pair Encoding（BPE）は、自然言語処理（NLP）において広く利用されるサブワードトークン化手法である。この技術はもともと1994年にデータ圧縮アルゴリズムとして提案されたが、現在では大規模言語モデル（LLM）の前処理段階において不可欠な役割を果たし ...