一个控制ChatGPT的token爆炸的想法

文章介绍ChatGPT聊天系统的请求方式,目的是通过优化现有系统来降低成本、提升消息大小上限。方法包括将四个部分组合在一起形成请求。

我在设想一种,仿照真实聊天方式的ChatGPT的请求方式。这只是一种优化。

目的:

  • 减少token使用,降低成本并提升回复消息大小上限
  • 使请求体大小和token数不会随着时间线性增长

方法:

[ system 规则 ] + [ user 最近一个问题 ] + [ assistant 对消息记录的查询请求 ] + [ system 回复 ]
  • 返回类型

没成功,ChatGPT不理解我的提示