任何用户都可使用写作功能。成功发布 3 篇符合基本规则的内容，可成为正式作者。了解更多
王树义。大学教师，终身学习者。稍微懂一点儿写作、演讲、Python和机器学习。欢迎关注我的公众号“玉树芝兰”(nkwangshuyi)。
王树义。大学教师，终身学习者。稍微懂一点儿写作、演讲、Python和机器学习。欢迎关注我的公众号“玉树芝兰”(nkwangshuyi)。
王树义。大学教师，终身学习者。稍微懂一点儿写作、演讲、Python和机器学习。欢迎关注我的公众号“玉树芝兰”(nkwangshuyi)。
王树义。大学教师，终身学习者。稍微懂一点儿写作、演讲、Python和机器学习。欢迎关注我的公众号“玉树芝兰”(nkwangshuyi)。
之前，作为 ChatGPT Plus 用户，如果你集齐下面这五个模式，就会成为别人羡慕的对象。
这个提示，意味着你的 GPT-4 已不再是「一专」（只可以使用某一模式），而是「多能」（根据自身的需求自动调用不同模式的功能）。
例如你可以让 ChatGPT 看到一幅图（原本的基础模式），然后让它自动理解总结图片的内容，并且要求它绘制出类似的图片（原本的 DALLE）模式。当然，你还可以让它自动编程（原本的 Advanced Data Analysis 模式）或者访问网络（原本的 Browse with Bing 或者插件模式）。
这样一来，用户的想象力就可以变成特别有趣有用的实践过程。例如王佩老师，就让 ChatGPT 绘制简笔画。他对绘制结果很满意。
见贤思齐，于是我又把自己的微信头像传上去了。要求 ChatGPT (GPT-4 All Tools）：
一张快乐男子在户外的照片，他穿着浅蓝色的 Polo 衫，背着背包。他是亚洲人，有短黑发，背景是山脉，山上覆盖着绿色和红色的树木，天空多云。他的笑容温暖。这张图片应该被转化为皮克斯风格的动画，保持人物的相似性和表情，但具有皮克斯动画典型的迷人和异想天开的特点。
我旋即明白了，图片画得不像我，就是 ChatGPT 识图后总结提示词的原因。这里只描述为「亚洲人」、「快乐男子」和「短黑发」，至于脸型、五官之类的，丝毫没有涉及，那当然没有很好的方法「完美复刻」了。
我在视频中提到了这样的一个问题。有观众提示我说可能是在上传人像的时候，ChatGPT自动做了面部模糊化处理以保护人物肖像权，我觉得非常有道理。回头我准备找个卡通头像上传上去试试看。
看完了这个有趣的例子，咱们该讲讲严肃的事儿了 —— 如何利用 GPT-4 全模式 (All Tools) 帮助你更好地学习和工作？
咱们先从一个最常见的场景开始 —— 上课的时候，看到课件里面的英文不会，该怎么办？
这时候，你可以拍张照或者截屏，让 GPT-4 全模式 (All Tools) 帮助你来翻译。上面这张幻灯截图，它的翻译如下：
描述了使用大语言模型（LLM）时的提示（prompting）能做什么。图片中提到，如果给一个刚刚毕业的大学生一些指导，他们能否完成任务。为了更加清晰明了，假设情况如下：
图片旨在探讨在没有额外资源和指导的情况下，一个新毕业的大学生是否能够根据给定的指导达成目标。
你可能对此不屑一顾 —— 这简单的翻译功能，我手机上的 XX 应用，早就有了。
没错，但是 ChatGPT 可不仅仅会翻译哦。你看到一页幻灯，如果对其中内容有不清楚的地方，能马上呼唤你的这个「私人助教」来帮忙总结和解答。例如下面这页幻灯，是吴恩达老师在新课程 Generative AI for everybody 中对「监督学习」应用的总结。
我截图发给 GPT-4 全模式 (All Tools) ，要求用中文总结图中内容。
这张图片是 Andrew Ng 在讲解监督学习的应用。图片中列出了不同的输入、输出和相应的应用场景。例如，输入可以是电子邮件，输出是判断这封邮件是否为垃圾邮件，应用场景是垃圾邮件过滤。其他的应用还包括在线广告、无人驾驶车辆的其他车辆位置识别、医疗诊断、视觉检测、语音识别和餐厅评论的情感分析等。每个应用都涵盖了将输入数据（如图像、广告和用户个人信息、音频记录等）转换为有意义输出（如诊断、缺陷检验测试、文本转录等）的过程。
你看，ChatGPT 打通各个模式之后，拿来当助教非常合适，讲解耐心不厌其烦。更妙的是，你不但可以让它识别幻灯帮你讲解，还能要求它立即给你写出对应例子的程序代码来。
例如我刚刚听完 GPT-4 全模式 (All Tools) 的总结，依然对监督学习没有形象的概念。于是我下面的提示语为：
在你看到代码之后，是不是对监督学习的模型训练流程概念理解更加清晰了呢？有了这种快速支援，相信你学东西会更加扎实，疑问也能更及时得到解决。
况且你不要忘了，GPT-4 全模式 (All Tools) 还包含了 Advanced Data Analysis 模式，也就应该把程序直接作用在数据集上面，帮助你实验，甚至解决实际的问题。下面我们就来看看如何用 ChatGPT 来「看到」实际的数据，并且进行分析。
我这里举的例子，也来自于吴恩达老师的新课。他提到了很有意思的问题 ——LLM 对结构化数据处理不好。
我觉得这个观察很有意思，但是将信将疑，于是立即就把数据截取出来尝试。我问 ChatGPT ：
这个表格里面有对应的面积和价格，那么 900 sqft 的房子，对应的价格是多少？请一步步思考，并且详细说明你的解题过程
你看，要公式有公式，要代码有代码。数据齐全，分析清晰。只可惜，这个线性插值计算方式并不完美，因为利用数据太少了。为帮助 ChatGPT 改进结果，咱们还能这样来追问：
如果你希望了解 ChatGPT 如何计算，还可以点开被折叠的工作区，查看对应代码。
你看，原先表格中的所有数据，确实都被使用了进来。但是，这个计算的结果是不是正确？希望你能够检验一下，然后在留言区给出自己的判定答案。
下面这个功能，更是很多小伙伴期待已久的 —— 你可以直接把 PDF 格式的文档扔给 ChatGPT 了。GPT-4 全模式 (All Tools) 可以自动识别其中的内容，并且做多元化的分析和回答你提出的问题。
论文《MemGPT: 朝着作为操作系统的 LLMs》介绍了一种旨在克服当前大型语言模型（LLMs）的有限上下文窗口限制的新系统。以下是其亮点的详细说明：
1.虚拟上下文管理：作者引入了一种技术，通过借鉴传统操作系统中的分层存储系统，扩展了LLMs的可用上下文范围，超越了标准固定长度上下文窗口的限制。这种技术被称为虚拟上下文管理，通过在快速和慢速存储层之间的数据移动，实现了更大内存的幻象。
2.MemGPT系统：基于这种技术，派生出了MemGPT系统，它利用分层存储结构和中断来管理LLM、存储器和用户之间的数据流和控制。该系统能在任务进行过程中调整上下文，更有效地利用有限的上下文。
3.在文档分析和对话代理方面的性能：论文展示了MemGPT在文档分析和多会话聊天领域的增强性能。它能够分析大量文档并保持长期交互，超越了LLM的上下文窗口限制。
很好，这至少证明 ChatGPT 看懂了 PDF 论文全文内容。你也可以就文本内容提出问题，让它来回答。不过类似的内容，我在讲 Chatdoc 的时候都演示过了。这回咱们要充分的利用它的全模式功能，搞点儿新花样。
这张图很有趣。它知道论文主角是一个机器大脑，要解决的问题是记忆体的限制。图中主体设计成一种类似操作系统的架构，上面是个戴学士帽的机器人。联接的小图都是与上下文、记忆体、检索能力相关，还提到了「快速」等特性。其他的还有很多相关的文字作为讲解介绍。
当然了，这个图的毛病，也是显而易见的。例如说里面出现了很多奇怪的单词，都像是半文盲写的 —— 有很多拼写错误。不过你不需要过多的担心，这只是个开始。你要相信 LLM 的演进速度。
绘图做完了，咱们尝试一下表格数据的读取。这里我选择了 Table 2 的内容作为样例。
首先， ChatGPT 确实在上传的 PDF 里面，找到了表格 2 对应的位置和内容。
初看这张图，你可能会很不以为然。没错，这张图确实画错了。F1, Precision 和 Recall 如果真的这么惨不忍睹，也就没有汇报的必要了。但是，这错误也是有原因的。
原始论文中，对 Accuracy （准确率）和其他三个指标，表现形式就不一样 —— 前者是百分数，后者是小数。目前 ChatGPT 对于同一表格不同列数据这种转换，还没做到灵活自如，因此才会出这样的纰漏。
但是你看到，不论是模型类型、图例说明和对应数据，ChatGPT 在读取表格的时候，确实已经尽可能做到了一一对应。因此，只要你在后续对话中稍加提示，绘图效果就会大不一样。
所以，现在的 GPT-4 全模式 (All Tools) 确实是可以「看到」图和表，这对我们来说，意义很大 —— 论文中出现的数据，你至少可以更为灵活自如地进行二次分析与验证了。
本文我为你介绍了自己使用 GPT-4 全模式 (All Tools) 来辅助工作和学习的一些心得体会。总体来说，ChatGPT 全模式打通之后，可以更方便调用各种「艺能」。它能够在一定程度上帮助你更快速理解消化新信息、按照你的个性化要求给出样例，根据上下出总结问答，并且帮你进行自动数据分析。希望这些功用的分享，能够在一定程度上帮助你更高效地达成目标，获得新知。
点击这个链接加入少数派会员，立享 9 折优惠！获得专属会员内容、会员播客以及会员定制周边。在更多的领域和方向帮你打开脑洞，找到新的兴趣点，与少数派一起洞悉当下，探索新知。
换一批
