LLMの使用は検知できるのか

なんか学校の先生が「私たちは LLM の使用を検知するツールを持っている」と言っていたけどあれは本当なのかな？ってことで調べてみる

そもそものLLMの仕組みについて

うろ覚えだけど、AIが文章を返す仕組みって、簡単に言えば、「前の単語はこうだったから、次の単語はこうだろう」みたいなノリで出力していたはず。なので、どんなプロンプトを使ったかが分かれば、出力はある程度予測できるはず。[^どうやって？]

でも、プロンプトがわからない場合、どうやるんだろう？どんなデータを学習させたかによって結構さがありそうだけど、メジャーなモデルだったらだいぶわかるものなのかね。

OpenAI

OpenAIは、過去にAI検出用のソフトウェアを公開していた。

ただ、精度はあんまり良くはなかったみたいで、実用には至っていないはず。

Quillbot

前の高校で使っている人たくさんいた。AI検出器と、パラフレーズ（単語を他の単語に置き換える）機能を同じアプリで提供しているという、なんとしても課題をAIにやらせようする学生をターゲットにしたサービス。それ以外にもいろいろツールを提供している。

Turnitin

自分が通っている慶應SFCで、「この講義ではTurnitinを使っているのでお前らのAI使用はバレバレだよ！」というメッセージが書いてある事がある。

調べたところ、Turnitinは、教育機関向けに、AI、文章の盗用（コピペ）の検出など、先生が使いたそうなツールを提供しているらしい。

wip

この記事は work in progress（つくりかけ）だし、自分がLLMの深いとこの知識がなくてあんまりわからないので、誰か何か知っていたらぜひ教えてください〜