快速全面了解大语言模型

GPT-4 Ability

linear algebra test

5题答对4题，3题分析正确

GPTs: 打造AI应有只要一瞬间

我立刻10min创建了一个zebrafish expert

• “chatGPT真正做的事-文字接龙”

Token
计价方式；开发者先设定好的，可通过对应平台查询，例如openAI tokenizer平台

GPT的发展史

GPT: Generative Pre-trained Transformer

• GPT-1(2018) 117M, 1GB data
• GPT-2(2019) 1542M, 20GB data，可以回答问题
  
• GPT-3(2020) 175B, 580GB（哈利波特全集约100,0000 words, 以UTF-8编码，一个英文字母一个字节，估算共6e6 Byte；则580e9/6e6约100,000遍，远超一个人100年全部时间所能阅读的文字量）

关键技术

Pre-train -> Supervised training -> Reforcement learning/RLHF

监督式学习的重要性：

有预训练后，监督式学习不用大量资料

PROMPT

1. 把需求写清楚
2. 提供资讯给ChatGPT
3. 提供范例
4. 鼓励GPT想一想(chain of thought)
5. 神奇咒语
6. 上传档案
7. ChatGPT可以使用其他工具
8. 拆解任务
9. 自主进行规划
10. 会反省
11. 跟真实环境互动