YUAN'Blog |

收藏了ChatGPT使用教程之脉络与把握度

Date: March 9, 2023 | Estimated Reading Time: 5 min | Author: YUAN

cover_image

收藏了!ChatGPT使用教程之脉络与把握度

脉络与把握度 这周花了不少时间在跟 ChatGPT 对话,我甚至在想要开一个页面专门放比较有趣、有价值的那些对话了。 在跟 ChatGPT 反覆对话的过程中,我常常在思考怎样可以得到更符合我需求的回答,此时我发现我对 ChatGPT 还不够满意的地方,主要有两件事: - 在有一定长度的对话裡面,ChatGPT 会“突然间”忘记之前下过的指令与对话纪录,然后就回覆给你完全莫名其妙的答案。 - 因为 ChatGPT 无法联网、所掌握的资料只到 2021 年底,因此它在回答时有时候会唬烂。如果是自己本来就知道的事那还好,马上就可以看穿它在乱讲话,但我们在使用时,时常会询问的是自己也不一定有把握的事情,此时就会需要额外的验证时间。 我觉得“脉络问题”与“把握度问题”,在我身上造成的影响主要是浪费时间,我必须反覆重新对话以取得符合上下文脉络的回答,我也必须花额外的时间去验证不熟悉答案的正确性。这些都会降低我的使用效率。 针对脉络问题,刚好,本週我看到一篇文章说 ChatGPT 的对话不仅是“单次对话”有字数限制,就连它保留的上下文情境也有字数限制。在得知这个资讯后,我开始测试是否真的是这样,也思考该如何应对这个限制。 而针对把握度的问题,我则是尝试让 ChatGPT 去自行分类他回答内容的把握度。以下简单说明一下两个方面的收穫。 维持脉络的关键:控制字数,持续总结 ChatGPT 的字数限制 我实测字数限制的结果是, ChatGPT 真的会在输入 2000 字左右时,就开始忘掉前面的设定。我的测试方式很简单: 我先跟他约定某个通关密语:“context” 我开始输入无脑字串,例如总长 500 字的“测试”两个字。 接著我问他我们的通关密语是什麽?正常状况下他会回答是“context” 重複这个流程,当我输入第 1501-2000 个“测试”以后,下一次问他通关密语时,他不再回答“context”,而是会乱掰,像是什麽“开启新世界的钥匙”之类的。
解决方案 为了解决这个问题,我想出来的方法是,要监控字数并保持安全水位。 我用的是苹果内建的 pages 来确认字数,每当我发现我的输入字数已经超过 1500 时,就不能再继续输入,必须要“总结”先前讨论的内容。 例如,当他照著我的内容规范,持续用某种风格撰写文字,已经撰写了三段,还有剩下五段。 此时我会请他先各用一句话总结前面三段的内容。接著,重启新局。 但在重启新局时,除了预先设定好的内容规范,我也会提醒他,我们先前已经写过三段的内容,每段的概要是什麽,接著再请他依据内容规范往下处理。 透过这种持续总结、重複提醒规则的作法,就能更好地让 ChatGPT 始终处于对话脉络中,不会跑到一半就岔题、忘记之前的约定是什麽。 不过这种做法仍有限制,例如,当讨论的内容很难被简单总结时,这套做法就行不通,一定会遇到脉络储存的上限。另外,即使可以储存脉络的摘要,但持续产出再压缩,还是会让摘要越来越多,最终也会遇到上限。因此还是赶快期待 ChatGPT 把限制打开,让我们可以维持更长的对话脉络吧。
验证把握度的关键:为回答分类
对于 ChatGPT 有可能鬼扯的状况,我目前比较常遇到的有两种类型: 针对他“不完全知道”的事,他为了凑出答案,会自动填充错误内容 针对他“以为他知道”的事,他会讲的斩钉截铁,不考虑可能的错误状况。 第一种类型,举例来说,当我用中文问他台湾的某某地方有什麽美食时,它会乱凑资讯,讲得煞有其事。其中可能有部分内容是正确的,但也有完全乱掰的。 第二种类型,举例来说,当我问他“现任 Twitter 的 CEO 是谁?”它会很有把握地说“Jack Dorsey”,但那个资讯已经过时了。这种回答跟第一种类型不一样的地方在于,它以某个时间点来说是完全正确的,但时间会变,此时就开始变得不一定正确。
三种不同的回答方式 基于上面这两种类型,我尝试出一套预设指令,我请他在回覆问题时,除了回覆内容之外,也一併回覆他的“把握程度”。并且我定义了三种不同的回答方式。

1.jpg

第一种是针对那些通常“有标准答案”的问题,请他回复时回答“ 100% 有把握”。

第二种是针对那些具有时效性的问题,请他回复时要提到这个侷限。

第三种是,假设不属于前两者的问题,请他回答时,一并回复“这个问题可能还有其他的版本或说法。”

我发现,在这样子指示后,虽然结果还不能说 100% 满意,但至少比没有下指令的方式好。

例如第一种类型的状况:

2.jpg

第二种类型的状况:

3.jpg

第三种类型的状况,框起来的是错误资讯或是根本没这东西。

4.jpg

我觉得一定还有更省力的指令、或者是其他不同的“错误状况”可以去细分,但能够让 ChatGPT 每次回覆时都多带一句把握度的资讯,我觉得是很不错的一件事。 小结:掌握规则与限制有助于提高效率 在进行这些测试时,我有一直在思考“为什麽我要测这些东西?” 坦白说,即使知道可以照今天的作法使用,我仍然不会去问 ChatGPT 事实层面的资讯,因为那不是目前他擅长的事。但除了知道他不擅长以外,我还是会好奇,虽然不擅长,但有没有哪些类型是属于“非常不擅长”,哪些是属于“普通不擅长”? 这种更细微的程度区分,是我很好奇的事。 为什么好奇呢?我觉得好像跟我的个性有关,从小就很喜欢设定规则与探索规则,长大以后发现除了明文规则以外还有大家都心照不宣的潜规则,或者是明明有订,但却没有特别被说明的规则。 以我的经验来说,若能够摸清这些规则的边界,在做事时就可以更轻松、更有效率。那为何想更轻松、更有效率?我想是因为懒惰吧!

点这里 👇 关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

人工智能与物联网前沿进展日日相见 ~

5.jpg