ファインチューニング手法 ReFT を用いた「情報」入試問題に対する正答率向上の可能性検討

居關拓也・高野拓楽


概要

Reft(Representation Finetuning)は,自然言語処理(NLP)タスクにおける高精度かつ柔軟なモデルファインチューニングを支援するフレームワークである.Reftは,トランスフォーマーベースの大規模言語モデル(LLMs)を用いた独自の介入型トレーニング手法を採用しており,従来のファインチューニングに比べて,効率性や精度が向上するとされている.本演習ではReftを用いて「情報」入試問題を学習データとして追加学習を行うと,回答がどのように変化するか検証する.

slide

slide