论文作者认为，这种对AI诗歌的积极评价倾向，可能是因为读者错将人类创作诗句的复杂性当作是AI写作的不连贯，以及低估了生成式AI表现出的与人类的相似程度。
在本项研究中，美国匹兹堡大学Brian Porter和Edouard Machery测试了1634名参与者区分AI生成诗歌和人类诗人写作的诗歌的能力。
在第一个实验中，参与者得到以随机顺序呈现的10首诗：5首由知名诗人所写，包括威廉·莎士比亚、拜伦、艾米莉·狄金森和T.S.艾略特；5首由ChatGPT3.5根据这些诗人的风格生成《幸运彩12338下就》。参与者更有可能猜想AI诗歌是人写的，而他们认为最不可能是人写的5首诗其实都是由真正的诗人所作。
在第二个实验中，另一批不同的696名参与者根据质量、美感、情感、节奏和原创性等14个特征评估这些诗歌。参与者被随机分配到3个组，各组分别被告知这些诗是人写的、AI生成的，或没有告知诗歌来源信息。与被告知诗歌为人类创作的组相比，被告知诗歌由AI生成的参与者在13个特征中给出了较低评分，无论这些诗歌实际是由AI生成还是人类创作。未被告知作者信息的参与者对AI生成诗歌给出了比人类创作诗歌更高的评分。
