前言：
分享一些我个人觉得能够提高工作效率的方法，帮助你建立起自己的GPT使用策略。
本文使用模型为GPT3.5 Default，GPT4的插件以及阅读理解能力的表现会更优秀
本篇文章的讲解不会涉及很复杂的模型及算法的讲解
主要基于PROMPT层面来进行优化
需要进一步学习的可以看到文末的论文推荐列表
前面我们提到一个问题
如何让GPT更准确地理解我们的需求，并能让GPT保持良好的表现？
下面我们一起来讨论一些策略和技巧方法
一、高效使用GPT的策略：
使用GPT的核心策略是：
将GPT作为一个生成内容的工具，但不依赖于它的输出作为唯一决策依据。
GPT（Generative Pretrained Transformer）是一种强大的语言模型
它可以生成连贯、有意义的文本
但GPT并不理解它所生成的内容，也无法进行独立的思考或决策
因此，最有效的使用策略是将其视为一个工具，用于辅助我们的思考和创作过程，提高我们的工作效率。
在这个基础上我认为：
构建良好的信息环境+补充一定的知识结构+给到合适的决策模型
可以让GPT更准确地理解我们的需求，并能让GPT保持良好的表现
首先除去信息噪点，然后通过构建更好的知识结构和决策模型，结合个人经验和判断力来调整生成内容
在这个过程中，我们可以借助GPT有效提高工作效率，并能够创造超越个人能力的内容。
简单来说，就是借助GPT这张充满智慧语言的纸张，去表达和完善自己的想法。
怎么做呢？
我们可以从自己的工作流来尝试理解
工作流（Workflow）是指在一个组织或系统中，工作任务从开始到完成的过程。
简单理解工作流就像是一个任务清单，告诉我们需要完成什么工作，以及这些工作的完成顺序。
比如，做一顿饭的工作流可能是：
买菜→洗菜→切菜→炒菜→吃饭。
每一步都是按照特定的顺序进行的。
举个详细的例子
假设我们需要写一篇文章
通常的工作流是：
在工作流中的每一个环节，我们都可以使用GPT来提高我们的工作效率
通过梳理工作流，GPT生成内容确实会比之前好一些
但是这样50分的内容，只能算是低质量的文章，还是不能满足我们的工作需求
所以我们可以进一步梳理出满足工作需求的内容的格式，要求，详细的规则等让GPT生成的内容更符合我们的要求
就是前面所说的，补充一定的知识结构以及决策模型
好的文章具备哪些特征呢？
好的文章通常具备以下几个特征：
1. 明确的主题
2. 有逻辑的结构
3. 精确的语言
4. 内容充实
6. 观点明确
要让GPT生成满足这些特征的文章，我们需要为它提供明确的指示，并在生成过程中不断调整和优化。
具体怎么做呢？
我们可以通过一些技巧来不断优化
二、高效使用GPT的技巧：
Prompt Engineering是一种使用语言模型（如GPT）的技巧，
它涉及到如何设计和编写提示（也就是你输入到模型的查询）以得到你想要的结果。
这包括你如何描述你的问题，
你使用的语言风格，以及你想让模型在回复中包含什么内容。
通过设计提示，可以显著地改变模型的输出，使其更接近我们想要的结果。
离散提示模板与人工提示模板
离散提示的主要优点就是它们直观且易于构造。
我们可以根据具体任务和我们对任务的理解，
使用我们日常的语言和知识来构造这些提示。
对于一些任务，我们可以很容易地想象出一个有效的离散提示。
例如，如果我们想要一个模型来生成一个故事，
我们可以使用一个离散提示，
如"在很久以前，有一个国王..."，
这个提示就可以启动模型的故事生成过程。
离散提示的主要优势就是它们可以让我们用我们已经理解和熟悉的语言和结构来控制和指导模型的行为。
但是找到最有效的离散提示可能需要一些实验和微调，
因为小的变化（比如词序或标点的使用）可能会对模型的输出产生大的影响。
人工模板构建依赖于人的专业知识和理解来制定能有效指导模型的模板或提示。
这种方法的优点是它简洁直观，并且可以在一些情况下提升预训练模型的性能。
其缺点在于构建这样的模板可能会非常复杂和耗时，
且需要专业知识。一些小的变化（比如标点符号的使用）
可能会极大地影响模型的效果。
了解问题域和任务需求的人都可以尝试构建这样的模板。
我们可以综合前面所讲的逻辑，结合以下的技巧提高GPT的表现。
1、提示词组合（离散提示模板）
当我们梳理内容的结构、要求时，我们会发现提示具有不同的格式和复杂性。
它们包括上下文、指令式的提示词和多个输入-输出的示例。
我们可以尝试将这些不同的技巧组合起来制作更高效的prompt。
我们可以轻易想到一个组合提示词的基础结构：
补充信息
语言
角色
指令/任务
要求（详细的指导）
结构
上下文
示例(few shot）
你可以针对不同的需求调整顺序
（信息结构顺序同样对GPT的理解和生成有影响）
或者在此框架下重复使用某个结构以达到你设想的逻辑顺序。
角色: 教育行业评论员
要求:
使用简明扼要、通俗易懂的语言，向普通读者解释AI技术和其在教育中的应用。
提供实际案例或研究结果，支持对AI技术在教育中的影响和潜力的观点。
强调合理应用AI教育技术的重要性，以及关注数据隐私和安全的必要性。
字数2000字，请尽量口语化
结构:
I. 引言
A. 介绍AI技术及其在教育中的应用
B. 引出AI技术对未来教育的重要性和影响力
II. AI技术对未来教育的影响
A. 个性化学习体验的提供
B. 提高教学效率与学习成果
C. 促进创造性思维与解决问题的能力
III. AI教育的潜力与挑战
A. 潜力：拓宽学习机会与普及教育资源
B. 挑战：数据隐私与安全性的保护
IV. 合理应用AI教育技术的重要性
A. 培养数字素养与技术伦理意识
B. 教师角色的转变与技能培养
V. 结论
A. 总结AI技术对未来教育的影响和变革
B. 强调合理应用AI教育技术的重要性和挑战
上下文: 作为一位资深的教育行业评论员，你对AI技术在教育领域的发展和应用有深入了解。你的文章将向读者解释AI技术的概念，并分析其对未来教育的影响和变革。
指令/任务: 根据最新的研究和趋势（可以补充最新的信息和资料内容），撰写一篇专业的教育评论文章，分析AI技术对未来教育的影响和变革。
以上内容是我使用GPT在生成的一个有一定结构的prompt，
它将信息进行进行了整理和补充，这种方式可以快速给出一个“内容正确”的答案，
看起来不错，
但是“内容正确”的内容，有些细节或许是需要修改的，
我们可以进一步在逻辑和信息环境方面进行优化。
2、思维链
它的核心理念是在对话过程中，通过保持一致的主题、目标和信息结构，创建出一个连贯且一致的对话环境。
在样例中解释推理过程，大语言模型在回答提示时也会显示推理过程。
这种推理的解释往往会引导出更准确的结果。
Regular Prompting vs CoT (Wei et al.)
可以把Chain of Thought Prompting想象成是一串链接在一起的珠子，每个珠子都代表着一个提示。
这些提示之间有着逻辑上的联系。
思维链的作用是试着让chatGPT理解你的想法同时知道它应该按照怎样的逻辑进行思考。
我们可以利用思维链进一步的优化，使得生产的内容更符合我们想要的内容，
具体的动作可以是先确定我们的文章风格和用词
，我们可以一步一步进行引导，
也可以给出一些符合“优秀”标准的内容作为示例
针对信息环境，我们可以补充一些信息，或者一些事实案例让GPT更好地理解一些专业的信息。
这里我们可以不设计组合提示词
而是通过连续的交互，搭建一个更具体的信息环境，充一些它不了解的知识
并补充知识结构，让GPT保持和我们对概念的统一认知
告诉它我们的思考逻辑和希望它通过怎样的视角和认知对主题进行表述
这种从总体到具体，再从具体回到总体的思维方式构成了一种思维链，有助于GPT更好地理解和跟踪我们的想法。
但要注意，GPT对于长文本的理解还是有一定限制的，不同模型的表现有着很大的不同。
这时就可能导致生成的内容看起来不够充实。
所以我们可以利用这样的prompt方式梳理出具体的大纲，
然后在同一个对话中一步一步进行，
将长文本分解成短文本让GPT能够跟好的理解，
将每一步的符合期望的回答组合起来，再进行最后的优化和修改。
3、提示微调
RLHF （Reinforcement Learning from Human Feedback基于人类反馈的强化学习）是强化学习的一个变种，其利用人类的反馈来改进学习过程。
基于人类反馈的强化学习的关键优点是它可以使GPT更好地对齐人类的意图，因为它直接从我们这里获得反馈。
这里主要有两个过程：
增量式学习（Incremental Learning）：
在这个过程中，我们不断地通过对话补充您对某个问题的专业认知和知识，
在已有的知识基础上，逐步提供新的信息，
让模型在已有的知识基础上逐步学习和理解新的概念和信息。
交互式反馈（Interactive Feedback）：
在对话过程中，不断对GPT的回答进行评价并给出反馈，
让模型可以根据这些反馈进行自我调整和改进。
RLHF的主要优点是，可以让模型更好地理解和适应特定的对话场景和需求，
同时也可以让模型更好地理解和适应您的个人偏好和需求。
通过这种方式，我们可以在一定程度上"定制"模型的行为和输出，使之更符合期望和需求。
还是前面的举例：
按照前面的流程（构建信息环境）
这里我们要注意对GPT生成的内容进行真实性的检查，特别是数据以及名词，它会生成虚假的内容。
我们会发现这个大纲的结构缺乏一些可读性，所以我们进一步优化一下
这里其实可以进行创作了，但是如果要创作一篇不错的文章
这里有更多的“标准”和要求，所以我们可以一步一步进行优化
这里可以针对引言部分进行进一步优化
我们也可以针对细节进行优化
一步一步地进行调整和优化，就可以生成更符合我们需求的内容。
当然，对于提高工作效率而言，我们首先需要做的是找到内容的“标准”以用来帮助GPT进行理解和评价它生成的内容水平
再将这些标准的“特征”提炼出来，就能够进一步优化GPT的内容了。
简单总结一下：
在使用之前：
梳理工作流，找到GPT可以提高效率的点，
通过梳理流程，固定一些环节交给GPT处理提高效率
在实际应用汇总中不断优化策略以及prompt，以进一步提高效率。
关于使用策略：
将GPT作为一个生成内容的工具，但不依赖于它的输出作为唯一决策依据。
在这个基础上：
构建良好的信息环境+补充一定的知识结构+给到合适的决策模型
可以让GPT更准确地理解我们的需求，并能让GPT保持良好的表现
在使用之中：
我们可以使用一些技巧来满足我们的需求
1、提示词组合
2、思维链Chain of Thought Prompting
3、提示微调RLHF
使用GPT的核心点是明确的指令以及对GPT规则的理解，
这些都可以通过实际的应用不断提升。
随着模型的不断升级，更多功能和应用也在不断更新，
这一个有意义的生产力工具我们每个人都应该掌握使用，
创造和交流是我们理解自己和世界的重要过程，
在使用它的过程中我们也能够收获对于多角度的理解认知。
本文主体内容均使用以上策略及技巧进行撰写
下一章我们一起讨论一些应用案例
除了了以上提到的策略和技巧，还有很多方法值得学习和借鉴，它们有的具备一定门槛，大家可以通过下面的文献进行查阅学习
[1] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig. In arXiv 2021 https://arxiv.org/abs/2107.13586
[2] How transferable are features in deep neural networks? Jason Yosinski, Jeff Clune, Yoshua Bengio, Hod Lipson. In NeruIPS 2014 https://proceedings.neurips.cc/paper/2014/hash/375c71349b295fbe2dcdca9206f20a06-Abstract.html
[3] Masked autoencoders are scalable vision learners. Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick. In arXiv 2021 https://arxiv.org/abs/2111.06377
[4] Side-tuning: a baseline for network adaptation via additive side networks. Jeffrey O. Zhang, Alexander Sax, Amir Zamir, Leonidas Guibas, Jitendra Malik. In ECCV 2020 https://link.springer.com/chapter/10.1007/978-3-030-58580-8_41
[5] Bitfit: Simple parameter-efficient fine-tuning for transformer-based masked language-models.Elad Ben Zaken, Shauli Ravfogel, Yoav Goldberg. In ACL 2022 https://arxiv.org/abs/2106.10199
[6] TinyTL: Reduce memory, not parameters for efficient on-device learning. Han Cai, Chuang Gan, Ligeng Zhu, Song Han. In NeurIPS 2020 https://proceedings.neurips.cc/paper/2020/hash/81f7acabd411274fcf65ce2070ed568a-Abstract.html
[7] Parameter-efficient transfer learning for nlp. Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin De Laroussilhe, Andrea Gesmundo, Mona Attariyan, Sylvain Gelly. In ICML 2019 http://proceedings.mlr.press/v97/houlsby19a.html
[8] Visual Prompt Tuning. Menglin Jia, Luming Tang, Bor-Chun Chen, Claire Cardie, Serge Belongie, Bharath Hariharan, Ser-Nam Lim. In arXiv 2022 https://arxiv.org/abs/2203.12119
[9] Learning to Prompt for Continual Learning. Zifeng Wang, Zizhao Zhang, Chen-Yu Lee, Han Zhang, Ruoxi Sun, Xiaoqi Ren, Guolong Su, Vincent Perot, Jennifer Dy, Tomas Pfister. In CVPR 2022 https://arxiv.org/abs/2112.08654
[10] Learning to Prompt for Vision-Language Models. Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu. In arXiv 2021 https://arxiv.org/abs/2109.01134
[11] Conditional Prompt Learning for Vision-Language Models. Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu. In CVPR 2022 https://arxiv.org/abs/2203.05557
[12] Domain Adaptation via Prompt Learning. Chunjiang Ge, Rui Huang, Mixue Xie, Zihang Lai, Shiji Song, Shuang Li, Gao Huang. In arXiv 2022 https://arxiv.org/abs/2202.06687
网友评论