chatGPTなどのAIが書いた文章かどうかを判定してみる

chatGPTに書いてもらった文章を判定

さて、今回のテーマは表題の通り「chatGPTなどのAIが書いた文章かどうかを判定してみる」です。

みなさんはchatGPTにいろんな記事や文章を書いてもらってると思います。

それを然るべき場所に提出する際に、提出先がchatGPTでの制作をNGにしている所もあるでしょう。

しかし、chatGPT系に書いてもらった文章かどうかを判断するのは難しいと思いませんか。
確かに、chatGPT系の書いた文章はある種、クセがあるというか、なんとなくchatGPT系ぽい感じもしないではないですよね。

これは大規模言語モデルの特徴でもある、「次に現れるワードが確率的に最大になるものを羅列していく」っていう仕組みになっているからでしょう。

人が書いた時にこういう表現はくどいよなとか、ちょっと漢字や難しい表現が多くないかとか、なんとなくのクセみたいなものがchatGPT系の文章にはあります。

しかし、それを数値的に白黒で判断したいかなと。
そんなご要望に応えたものがこちらになります。

GPTKit
https://gptkit.ai/

openAIの判定サイト
https://platform.openai.com/ai-text-classifier

有名なものが上記の２つのサイト。

上のGPTKitのサイトは、文章を入れて判定ボタンを押すと、確率何%でAIぽいとか教えてくれます。

 

下のopenAIのサイトは確率云々ではなく、「これはAIが書いたっぽい」のような表現をしてくれます。

ちなみに、両方とも英語サイトですので、英語が苦手な方はchromeの翻訳機能などを使って、日本語に直してから利用してください。

ただし、入力する文章は英語にしないとはじかれます。
日本語で書いた文章はgoogle翻訳やdeeplなどで英語に直してから入力しましょう。

それでは、実際にやってみます。

chatGPTにプロンプトを入れて記事を生成

まずはchatGPTに「猫」の記事を書いてもらいます。

まずはプロンプトです。

あなたはプロのブロガーです。
猫をテーマに記事を書いてください。
１０００文字以上で書いてください。

で、できたのが下の※印。
ん〜ん。chatGPT系ぽいですね。

なんていうか、くどい。しかも難しい単語を使い過ぎ。

※ 一部を抜粋して表記します。

「猫という生き物は、その可愛らしさと愛らしい外見だけでなく、非常に個性的な性格を持っています。彼らは一般的に自立心が強く、気ままな生き方をすることで知られています。一方で、猫は非常に社交的な生き物でもあります。彼らは家族と共に暮らすことを好み、愛情と注意を求めます。

猫を飼うことは、多くの人々にとって非常に愉快で素晴らしい経験です。しかし、飼い主には猫に関する基本的な知識が必要です。例えば、猫の健康状態を把握するために、猫の体重を定期的に測定し、食事や運動量を調整することが重要です。また、猫は非常に好奇心が強い生き物であるため、彼らが入ってはいけない場所を特定することも重要です」

まだ続きますが、まあこんな感じです。

さて、この文章をdeeplで翻訳します。
で、英語の文章がこちら。

一部抜粋。
「Cats are creatures with very unique personalities, not only because of their cuteness and adorable appearance. They are generally known for their independent and carefree way of life. On the other hand, cats are also very social creatures. They prefer to live with their families and demand love and attention.

Owning a cat is a very pleasant and wonderful experience for many people. However, owners need some basic knowledge about cats. For example, it is important to weigh the cat regularly and adjust its diet and exercise regime in order to monitor its health. It is also important to identify areas they should not enter, as cats are very curious creatures.」

これをGPTKitに入力します。
結果がこちら。
予想通り、falseでAIぽいと判定されました。

 

小学生でもわかる文章だと判定結果は変わるのか

今度は「文章を小学生でもわかるように簡単に書いてください」とプロンプトに書きます。
その後、できた文章を英文に直してGPTKitに入れてみます。

見事にfalse判定。「AIぽい」と判断されました。

こうなってくると、実際にtureの「人間が書いたっぽい」が見たいですよね。

そこで、人が書いたと思われる猫の記事を英文に直して、GPTKitに入力。
すると…。

なんと、ture判定。これは「人間ぽい」と判断しています。さすがですね。

 

なかなかの判定基準です。
では、ここで疑問です。

chatGPTが書いた記事を人間が編集してから判定する

chatGPT系に書いてもらった文章を、人間が読んでそれなりにまとめて書いてみる。
それを判定したらどうなるのかと。

私的には最大の知りたいことです。

そこで、上記のAIが書いた文章をそれなりにまとめてみました。
なるべく、くどくなるのを避けて、且つ、chatGPTの意向は伝えるように書いたつもりです。

一部抜粋。
「猫っていう生き物は可愛らしさもともかく、非常に個性的な一面ももっています。
猫は自立心が強く、気ままな生き方をする動物です。反面、社交性もあり、家族と共に暮らすことを好み、人からの愛情も求めます。

猫を飼うことは人生の楽しみを与えてくれます。しかし、猫を飼う飼い主はそれなりの猫に対する基本的は知識も必要ですね。
まず猫の健康状態を把握するために、体重測定、食事量、運動量の調整などが必要になります。
また猫は非常に好奇心が強い動物なので、彼らが入ってはいけない場所を知ることも大事なんです。
また、定期的な獣医さんによる検診や予防接種も大事になります」

これ以上内容を変えると、AIの書いた文章ではなく、完全な私制作の記事になりそうで難しいところですが、これでいってみましょう。

まず、この文章を英語に翻訳。
で、GPTKitに入れる。
すると、…。

なんとfalse判定。この文章はAIが書いたっぽいと判定されました。
そうですか。さすがですね。

これから推測すると、chatGPT系が書いた記事や文章を元に、オリジナルに変換したものも、ある程度見分けがつくといった答えになります。

どうなんですかね。
chatGPT系に記事の叩き台を作ってもらって、それを元にオリジナルの文章を作る作業は決して間違ってはいないと思うのですが。

ためしに、本家のopenAIのサイトにある判定サイトでも判断してもらいました。
こちらがURLです。
https://platform.openai.com/ai-text-classifier

結果はAIが書いたっぽいと。
ん〜ん。やはりそうですか。見分けられるのですね。

２つのサイトが判定しているのだから、確実なんでしょう。
まあ、AIを使って書いたのが真実ではあるのですが。

そうなると、chatGPT系の書いた文章を叩き台にするのも難しいという事になるんですかね。

あくまでもAIの記事をアイデアにして、完全なオリジナル文章を書いていかないといけない。
そんな感じでしょうか。

chatGPTに記事を書いてもらうなら、この方法がいいのか

ここで、よくあるのが下記のプロンプトです。

あなたはプロのブロガーです。
これから「猫」についての記事を書きます。
この時の見出しを５つ以上書き出してください。

これはよく使いますよね。
これで見出しが５つ以上出てくるのですが、この見出しをさらにプロンプトに入れます。

上記の見出し「○○○」を元に、３００字位で記事を書いてください。

これでそこそこの記事が完成しますが、この方法だと間違いなく判定されますね。

人間がchatGPT系を利用するとしたら、この見出しまでにして、見出しからの記事を人が書いていくようにすれば大丈夫かと思います。

また、見出しさえあれば発想のヒントにもなるので、書く力のある人は書けると思います。

今まで、chatGPTを使って記事を量産していたところもあるかと思いますが、これを機に判定サイトでお試しした方がいいかもです。

AIが書いた記事をSEO上、どのような扱いにするのか微妙なところですが、もしNGの場合は再構築していかないと、量産した記事が無駄な作業になってしまいますね。

そうなるとwebライターさんはまだまだ需要があるかもですね。
見出しから記事を書くのはAIではなく、人間なのですから。

おっと、そのwebライターさんも気をつけて。
今後はクライアント先が、上記の判定サイトであなたの納めた記事を判定するかもです。

なんか面倒な世の中になってきましたね。

chatGPTなどのAIが書いた文章かどうかを判定してみるのまとめ

chatGPT系などのAIに文章を書いてもらうのはいいのですが、判定サイトが出てきています。

これらのサイトに上記で書いてもらった文章を入れると、瞬時に確率何％で白か黒かの判定が出ます。

書いた記事を人間が消化してまとめても判定結果は黒。AIが書いたと判定されました。

なので、こういったchatGPT系を使って文章を書く場合は、タイトルと見出しを書いてもらって、そこから先は人間が思考しながら書いた方が間違いないかと思います。（２０２３年４月現在）

そういう意味ではwebライターさんの職域も、まだまだ生き残れるかも知れないです。
（数ヶ月後、数年後にどうなっているかはわかりませんが）