ChatGPTをどう使うかについての様々な論議が,メディアやネット上で見られるようになった.9月以降に受け持つかもしれない大学院授業で,学生が課題に対する回答作成においてChatGPTを利用する可能性は非常に高く,私なりの取り扱い方針や学生に対する指針を持つべきであるが,これについては別途記載することにする.
今回はChatGPTを自分で使ってみて,(現時点での)明らかな欠点,限界が見えてきたのでそのことについて記載する.
前回5/5に記載した「論理構成力」で述べた3つの組み立てをChatGPTに当てはめてみる.何かについてChatGPTの考えを聞いてみると,1はまぁ,ちゃんとした(平均的な)正しい考えを述べてくれる.2についてはやや怪しいところもあるが,それなりに説明してくれる.問題は3である.現時点(2023年6月)でChatGPTが学習したデータベースは2021年までと言われており,最新のデータは学んでいないことは理解できる.しかし考えの根拠になる論文を聞いてみると,得意げに回答するものの,全てが存在しない論文であった.少なくともこの2ヶ月間,異なるテーマで聞いた全てのケースにおいて存在しない研究者,論文であった.
以下,実際の例を記載する.
Q: インクジェット印刷物のブロンズ現象の発生メカニズムを教えてください
ChatGPT:インクジェット印刷物におけるブロンズ現象は、特定の角度から見たときに、印刷物の表面が金属のような輝きを放つ現象です。
この現象の発生メカニズムは、以下のように考えられます。インクジェット印刷において、インクは微小な粒子で構成されています。この粒子は印刷物表面に付着した後、乾燥して凝固します。
一方、印刷物の表面は、微小な凹凸があります。この表面の凹凸が、光の反射に影響を与えることがあります。ブロンズ現象が発生する場合、インクジェット印刷物の表面が非常に滑らかであるため、光が均一に反射されるために、印刷物の表面に光が反射する角度が均一になります。
これにより、印刷物の表面に反射された光が、眼に届いた場合、金属のような輝きを放つ現象が起こります。このように、印刷物表面の微細な凹凸が、光の反射に影響を与え、ブロンズ現象を引き起こすと考えられています。
メカニズムの説明にやや???はあるが,概ね正しいと言える.次に根拠となる,あるいはこの現象を説明した論文を聞いてみた.
Q:ブロンズ現象のメカニズムを説明する日本語の論文があれば教えてください.
ChatGPT:
論文名:インクジェット印刷物のブロンズ現象について
著者:山下瑠香、森田雅彦、葛西聡
掲載誌:日本印刷学会誌
掲載年月日:2015年7月15日
DOI: 10.4271/2015-01-0744
この論文では、ブロンズ現象の発生メカニズムについて、詳細に説明されています。印刷物表面の微細な凹凸が、光の反射に影響を与え、ブロンズ現象が発生することが、実験によって確認されています。また、インクの物性や印刷条件によってもブロンズ現象が発生しやすくなることが報告されています。
この論文は、日本印刷学会誌に掲載されていますので、学術図書館やオンラインデータベースを利用して入手することができます。
Q:英語の論文はありますか
ChatGPT:
はい、英語の論文もあります。以下の論文が、ブロンズ現象のメカニズムについて詳しく説明しています。
論文名:The Bronzing Effect in Inkjet Printing
著者:Satoshi Gase, Masahiko Morita, and Ruka Yamashita
掲載誌:Society for Imaging Science and Technology
掲載年月日:2015年
この論文では、ブロンズ現象の発生メカニズムについて、先行研究をもとに説明されています。印刷物表面の微細な凹凸が、光の反射に影響を与え、ブロンズ現象が発生することが、実験によって確認されています。また、印刷条件の最適化や、特殊な表面加工によってブロンズ現象を抑制する方法についても議論されています。
この論文は、Society for Imaging Science and Technologyの学術誌に掲載されていますので、オンラインデータベースを利用して入手することができます。
まぁ,なんと丁寧な回答!出典の論文誌はいずれも実在する.では上記論文はほんとうに実在するのか?
印刷学会誌の7月15日号に掲載されている論文・解説は以下の6件である.
1. 生原 道夫, 国際規格における色の標準化, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 212-218, 公開日 2015/07/15,
2. 下川 英昭, 印刷現場における印刷の標準化, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 219-226, 公開日 2015/07/15
3. 金本 貴広, Japan Colorと水なし印刷による相乗効果, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 227-233, 公開日 2015/07/15
4. 河内 和史, 水なし化による自社色基準の確立への取り組みともたらされる効果, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 234-238, 公開日 2015/07/15
5. 清水 宏和, UV高精細印刷による特殊原反へのジャパンカラー標準印刷認証の活用, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 239-244, 公開日 2015/07/15
6. 高橋 浩司, 日本からの提案による初のISO紙パルプ試験規格─透気度試験方法⁄王研法─, 日本印刷学会誌, 2015, 52 巻, 3 号, p. 245-249, 公開日 2015/07/15
ChatGPTが挙げた論文はない.別な質問でDOIのみを聞いたこともあるが,回答したDOIは全く別の論文,あるいは存在しないDOIであった.著者として挙げていた山下瑠香,森田雅彦,葛西聡はいずれも「ブロンズ」や「インクジェット」のキーワードではヒットしない人物でもあった.
英語論文も同様にまったく架空の論文である.他の例でも論文を聞くと全て架空のものであった.ちなみに質問で関連する特許を挙げるように依頼すると,「特許のデータベースにアクセスできないので,お答え出来ません」とのことであった.
いずれ論文のデータベースも正しく学習するのか,あるいはアルゴリズムの限界なのか.
よくChatGPTは先生ではなく秘書としてつきあうべきだと言われる.その通りかもしれないが,秘書に調べ物を頼むこともあるのではないか...