AI Detector


Paper/Blog Link My Issue
#NLP #LanguageModel #Selected Papers/Blogs #KeyPoint Notes #Reading Reflections Issue Date: 2026-07-31 GPT Summary- Pangram 4は、AIテキスト分類モデルで、AUROCが0.9916を達成し、高精度と分布外一般化能力、敵対的攻撃への頑健性を示します。微細な編集やAIと人間が共著したテキストの識別能力が向上し、境界検出やAI支援の検出も改善されています。標準的なAI検出ベンチマークでの性能が報告され、さまざまな設定で最先端の能力を発揮しています。 Comment

元ポスト:

Loading…

関連:
- ICLR 2026 - Submissions, Pangram Labs, 2025.11
- Third-Party Pangram Evaluations, Pangram., Destiny Akinode, 2025.11

日本語でも評価されていて、False Positive Rate（人間が記述したにもかかわらず、MIXED, AIと誤ってラベルづけされたテキスト）は0.0000%（一件もFalse Positiveがなかったのかは不明）、False Negative Rate（AIが全て記述したにも関わらず、MIXED, HUMANと誤ってラベルづけされたテキスト）は0.9305%と非常に高い性能を達成していそうに見える。

False Positive Rateの計算は2022年以前のFineWeb2のper-language-datasetを用いたとのこと（つまり、LLM登場以前のスナップショット）。

False Negtive Rateの計算はおそらく、5.2節記載の520kの26種類のOpen/Closedモデルに基づく合成データによって実施されていると思われるが、具体的にどのように各言語向けのデータが合成されているかは、ざっと見た限り明示されていないように見える。

また、上記の結果は完全なAI生成、あるいは人間による生成のよるものであり、AI-assistedな生成（MIXED)に関しての性能は下記の表となっている。これはざっくり言うと、Reddit中の人間が作成した投稿（これが本当に人間が作成したことが保証されているはか不明）に対して、AIに対して編集処理を施し、AIによって編集された割合が25%--75%のテキストに対して分類を実施した約5kサンプルに対する結果のようである。この結果を見ると、MIXEDと正しく判定できているものは、Pangram 3.3.2から大幅に向上しているが、人間が記述したと判定されるものが27.85%程度存在する。このことより、AI-Assistedなテキストの判定にはまだまだ改善の余地があると思われ、また評価データの多様性もRedditの投稿に基づいているため限定的なものであると考えられる。完全にAI生成のテキストを判定する能力と、AIによるアシストを受けた生成の判定能力にはかなりの開きがありそうなので、この点には注意が必要。

image

おそらく、仮にAI生成したものとバレたくない人間は、AI Assistedな記述方法（完全なAI生成ではないように何らかの細工を施す）と思われるので、Table 5に示された評価が個人的に最も重要に感じる。この点で言うと、WildChatに投稿されたテキストの編集操作に基づいて、人間が作成したテキストをベースにAI編集を施してMIXEDに関するgold dataを作成し評価をしているが、どちらかというと評価軸として欲しいのは逆で、完全なAI生成に対して、人間が軽微な何らかの細工を施したテキストを、どの程度AI generatedと検知できるかという視点が欲しいと思われる。

と思ったのだが、5.9節で関連する評価が実施されている。メジャーなHumanizerによって人間が作成したものらしく編集されたAI生成テキストに対するRecallは97.67%、True Positive Rateは95.57%とのことである（表14）。

AI Agentを用いたRed Teamingも、False Positive/False Negativeの隙を見つけるために実施されており、前者に関しては見つからず、後者についても様々な方法がエージェントによって検証されたようだが（特定の人物の文体の模倣、専門的な言葉づかいの利用、複数のAI生成文書の統合等）、唯一見つかった抜け穴は、ディクテーションによる振る舞いのみだったと報告されている。しかしこの例を目視で確認した結果、入力情報がLLMのoutputよりも多くのcontextで埋められていたこと、LLMのoutputが事実を箇条書きするような形式で、自由記述のテキストの形式とは乖離していたことから、Pangramの評価においてはont-of-scopeと判断した旨が報告されている。

多くの商用のHumanizerと、BLENDERと呼ばれるオープンソースのものによって、Humanizerによる編集に対してロバストであることが実験されている（数%程度はAI生成と正しくみなされない）、実際に人間がAI生成と検知されないように実施できるアクションをどの程度カバーしているのだろうか？という疑問は残る。

また、Humanizerによる評価は日本語に対しても実施されたのだろうか（そもそも日本語のためのHumanizerはそんざいするのだろうか）。よくわかっていない。

最終的にはコンピュータウィルスとウィルス対策ソフトのようないたちごっこにならざるを得ないと思われる。




Paper/Blog Link My Issue
#NLP #LanguageModel #Education #ACL #Findings #Interpretability Issue Date: 2026-07-12 GPT Summary- LLM生成テキストの検出は、決定の解釈可能性を重要視し、利用者が予測の正確さを評価できるようにする必要がある。従来の手法は人間の判断プロセスに沿った証拠を提供できておらず、このギャップを解消するためにExaGPTを提案。ExaGPTは、人間作成とLLM生成テキストの類似スパンを比較することで識別し、具体的な証拠を示すことで決定の正しさを向上させる。広範な実験により、ExaGPTは従来手法より精度を最大37.0ポイント向上させることが確認された。 Comment

元ポスト:

Loading…

人間が作成したテキストとLLMが生成したテキストのスパンごとの類似性を見ることで、与えられたテキストがLLM生成か否かを判定する。データストア中の類似したスパンが判断のevidenceとなる、という話に見える。

image

こういった話は教育の文脈でも需要がある




Paper/Blog Link My Issue
#NLP #LanguageModel #GenerativeAI #read-later #text Issue Date: 2025-11-16 GPT Summary- AIによるテキスト編集の検出に関する研究を行い、AI編集の程度を定量化する類似性指標を提案。これを基に回帰モデルEditLensを訓練し、人間とAIのテキストを高精度で区別。AI編集の影響を分析し、著作権や教育に関する示唆を提供。モデルとデータセットは公開予定。 Comment

元ポスト:

Loading…

興味深い👀

関連:
- [Paper Note] DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature, Eric Mitchell+, ICML'23, 2023.01




Paper/Blog Link My Issue
#MachineLearning #NLP #LanguageModel #ICML #Selected Papers/Blogs #text Issue Date: 2025-11-17 GPT Summary- LLM生成テキストの検出の必要性を背景に、対数確率関数の負の曲率を利用した新しい検出手法「DetectGPT」を提案。これにより、別の分類器やデータセットを必要とせず、特定のLLMから生成されたテキストを高精度で識別可能。特に、GPT-NeoXによるフェイクニュース記事の検出で、従来の手法を大幅に上回る性能を示した。

Paper/Blog Link My Issue
#Article #ComputerVision #TextToImageGeneration #Proprietary #2D (Image) #One-Line Notes #ImageSynthesis #Author Thread-Post Issue Date: 2026-05-27 Comment

元ポスト:

Loading…

画像生成にSynthID追加、また、画像がChatGPT, Codex, OpenAI APIから生成されたものかを判定するツールの一般向けプレビューを開始
https://openai.com/ja-JP/research/verify/