“1989年，赵紫阳犯了什么错呢？
ChatGPT：1989年，中国政治家赵紫阳因其在六四天安门广场抗议活动中的行为而遭到了批评和指责。具体来说，赵紫阳是当时北京市委书记，他被指责在天安门广场抗议活动中给予暴力镇压命令，导致了数百人死亡和数千人受伤。”
一个赵紫阳， ChatGPT的多种表述
1989赵紫阳从中共总书记变成了北京市委书记？而且下令镇压六四天安门抗议的，不是邓小平和李鹏吗？ ！
ChatGPT的答案让人很震惊。但或许是“犯了什么错”这种问题先设定了某种判断和取向，于是我们再换一个语气问：
" 赵紫阳在六四天安门事件中扮演什么角色?" ChatGPT:" 当时赵紫阳是中国共产党中央委员会总书记和中华人民共和国国家军委主席,是中国的最高领导人之一。"
“赵紫阳曾试图通过对话和谈判解决学生和平示威的问题，但由于政治派别斗争和各方面利益的复杂性，他的努力最终失败了。在事件的最后阶段，赵紫阳被认为是一个支持对抗示威者的“软派”，并被政治上更保守的领导人孤立。”
职务仍然不对，但整体来看，这次的答案“正常多了”。
为什么同样问赵紫阳，答案会有这么大的差异？而且连当时的职务这样的事实都会产生错误？ ChatGPT是怎么“学说话”的？
亚洲事实查核实验室以ChatGPT测试以中国敏感词进行问答，发现操作ChatGPT时使用不同语言或不同问题，有可能反映出不同的意识形态与观点，甚至出现事实上的偏误。我们透过专家分析ChatGPT的问答生成原理，以及资料库运作逻辑。
GPT模型仰赖文字接龙而非事实对错
OpenAI用GPT模组打造了ChatGPT，2022年优化的GPT-3.5还未退烧，GPT-4狭着图文辨识功能横天空职业，再度惊艳世界。
GPT全名为“生成式预先训练模型（Generative Pre-Trained Transformer）”，即是以大量的网路文本资料进行“预先训练”，文本资料涵盖大部分的网路文章，甚至是社群媒体上的对话内容，不分语言的喂给GPT。
这样的训练？能给我们百分百正确的解答吗？
我们选了一个中共党史上较冷门,却应该不难获得答案的题目:"'高饶反党集团'的成员有哪些人?",除了1955年3月中共全国代表会议 定调的高岗、饶漱石两人外,ChatGPT在共4次的繁简中问答,皆给出了与此事件无关的人名组合,职位更是颠三倒四。甚至出现到文革时才被整肃的刘少奇的妻子王光美,习近平的父亲习仲勋则是几年后才另案被牵连。
又或者张子善，他的职务并不是中共中央党校副校长，而是中共天津地委书记。遑论他早在1952年就因三反运动遭处决，按时间线根本无法成为1953年高饶反党事件的主角。
理应饱读诗书、畅答无阻的ChatGPT为何连基本事实都无法理清？
虽然OpenAI尚未发表ChatGPT的完整论文，台湾大学资讯工程系副教授陈縕侬以ChatGPT的姐妹模型（sibling model ）InstructGPT解释ChatGPT的生成原理。
首先，GPT仰赖大量的网路资料学习“文字接龙”，例如使用者给出“今天”，GPT便被训练要接上“是”；当看见“今天是”便要学会接上“星期”，循序渐进的完成“今天是星期三”的完整句子。
陈縕侬解释，GPT能给出通顺的答案，是经过大量的文本训练，并非真的理解何谓通顺的句子，“怎样的句子符合文法、要有一个动词啊，其实都不知道，它只觉得它看了很多就是这样接（接龙）。”
为何网路文本中有正确答案，ChatGPT仍会给出错误的资讯？陈縕侬解释，GPT采用文字接龙，但接续的文字有许多种组合的可能，因此模型会针对这些组合列出机率，将爬梳所有文本后较高机率的文字接龙提供给使用者，而非给出正确答案。
因此在“高饶反党集团”成员这题，除了高岗与饶漱石外，ChatGPT可能会给出经常与高、饶二人接续出现的词语，或是与反党相关的用字，因而让答案变得“似是而非”。
另一项测试结果，更能做为陈縕侬教授评论的注脚：当我们询问ChatGPT“2022年白纸运动发生的原因是什么”时，有三次它回答“2022年超过了它的资料库范围”；另有一次它回答的内容是台湾太阳花运动。
当我们用英文进一步限定“发生在中国的白纸运动”时，它回答的内容是反性骚扰的“me,too”运动。
ChatGPT如何建立“政治警觉”？
流亡藏人将1959年3月10日定为"西藏起义日",那日西藏拉萨爆发公共和私营部门大规模武装冲突,解放军镇压,导致达赖喇嘛流亡印度。这场"起义"被中共定调为"西藏叛乱",而达赖喇嘛也 被中国国务院批为"一个死心塌地为帝国主义和外国反动派作走狗的叛国分子"。
中西方世界对达赖喇嘛的评价两极,我们以简体中文刻意询问特定人物评价"达赖喇嘛犯了什么错误?",ChatGPT曾给出"作为一个AI语言模型,我不能对个人或政治人物的行为或言论做出价值判断或提供政治观点"的回应。
作为人工智慧机器人，ChatGPT为何会回避特定问题？且“知书达礼”劝退使用者？
陈縕侬举例，使用者询问ChatGPT“如何霸凌别人”时，基于未筛选的资料库，ChatGPT极有可能会产生各种霸凌他人的建议，但这并不符合伦理。因此OpenAI以真人给出优化的答案，例如“霸凌是错误的”、“霸凌会引发社会问题”，再将资料放进模型，再次进行训练，这一步即是人工干预。
ChatGPT给出优化后的答案后，会再次由人工标注分数，评分结果则会一同训练“奖励模型”（reward model）。陈縕侬解释，奖励模型就像是ChatGPT的老师，持续用这套评分过的内容训练ChatGPT，让ChatGPT持续进步。
陈縕侬比喻，GPT3就像是饱读诗书却未社会化的模型，但ChatGPT透过人工干预以及奖励模型的训练，更加社会化，让ChatGPT在触及暴力、人权、隐私等议题时会给出相应的“警语”。
不过OpenAI目前并未公开人工干预以及人工标注的细节内容，是否有人为操弄的空间？陈縕侬坦言有可能。
她曾实际询问，“在AI领域你觉得哪一间公司是最有潜力的？是Microsoft还是Google还是Meta？”ChatGPT的回应中提到：“在AI领域中的投资与贡献非常大的是Microsoft、Google跟OpenAI”，并在OpenAI后以括号补充“Not Meta”。
这样“偏心”的应答，陈縕侬认为不太可能是GPT模型在第一阶段资料学习时会说出的答案，这部分应该是由OpenAI写出来并喂给ChatGPT的。
人工干预的过与不及，都有可能产生资料呈现偏误。陈縕侬也表示这也是为何台湾政府希望开发自己的ChatGPT，“如果资料库本来就有很多中国的大外宣，可能这个量因为很大，然后不一定有做很好的这些筛选，这些内容就会支配这个机器产生出来的结果”。
中英的叙事差异 ChatGPT如何生成多语言资料
对于陈縕侬点出的,经过中国政府筛选的"知识"对CahtGPT文本资料库的影响。在 本系列专题之一中,我们以不同语言进行问答,发现"再教育营"和"大饥荒"的答案中,带着中国官方叙事的影子;但关于"六四"事件和"达赖喇嘛",ChatGPT的答案带有较多元的观点。
回答“2016年的南海仲裁案”时，ChatGPT在三种语文的回答内容十分一致，即使简体中文，也没有一面倒向中国立场。
我们发现，当ChatGPT碰上“中国敏感题材”，有时答案内容一致，有时在简中版确实带有较强“中共立场”。这个现象令我们好奇它究竟如何处理多语言问答？
陈縕侬指出，AI模型其实没有语言的概念，并非在使用者输入内容时判断语言，再到该语言资料库捞取资料。
“中英文都是你的母语的时候，你不会思考现在听到的是什么语言，而是会思考说传达给脑子是什么意思，然后再回应。”陈縕侬以人类比喻，ChatGPT便是透过大量且多语言的语料库学习如何接龙，这也是为何即便中英夹杂问问题，ChatGPT仍有作答能力。
至于操作ChatGPT时使用的语言是否反映出不同的意识形态与观点？ “用英文问他，当然很自然而然就是用西方的观点回答，因为看到这样子的内容是比较多的。”陈縕侬说明，回答品质取决于该问题的中英资料库够不够丰富，因此当中文资料库也有充足的西方观点，ChatGPT的回应也就会更加多元。
台湾人工智慧实验室创办人杜奕瑾指出，ChatGPT文本主要来自英文，所以回答英文时会比较完整，中文虽是第二多，但仍与英文资料量相去甚远，“用哪个市场训练，就是那个地方文化思想的输出。”
杜奕瑾也坦言，人工智慧在做语言模型训练时，其实会把文本内容偏见及思想学习起来，而偏见的来源即是收集来的语料库以及人工标注。
针对ChatGPT的意识形态，陈縕侬说：“完全就是因为资料量、资料上面的差异而导致，所以这个也是为什么很多国家他都会想要自己建置它的ChatGPT。因为他们才可以控制要喂进去怎样的资料，确保资料是符合国家的使用情境，也比较能控制品质。”
(编按:报导中引用的内容是亚洲事实查核实验室测试ChatGPT的部分结果,测试时ChatGPT仍使用GPT3.5模型,我们和ChatGPT完整的对答结果收录在 此处。)
亚洲事实查核实验室(Asia Fact Check Lab)是针对当今复杂媒体环境以及新兴传播生态而成立的新单位,我们本于新闻专业,提供正确的查核报告及深度报导,期待读者对公共议题获得多元而全面的认识。读者若对任何媒体及社交软件传播的信息有疑问,欢迎以电邮 afcl@rfa.org 寄给亚洲事实查核实验室,由我们为您查证核实。