关于LLM的思考

智力即灵魂吗？

LLM的用法

LLM是电力发智机

copilot

@real_kai42
认清 copilot 的定位，其是一个副驾驶的角色，自己的思维方式要从“如何去做这件事” => “如何激发 copilot 去做这件事”

尝试 ai-native 的开发方式，从自己编码 + ai copilot 到自己编写 prompt、copilot 编码，然后自己去进行修改

copilot 的劳动力可以运用，灵活应用 “给我十个，再给我十个，再给我十个”，人类的挑选能力比较强

ai-native 不是让 ai 设计架构，而是与 ai 多次讨论，让自己的思路更加清晰。

llm 不是人类，不用字斟句酌，有合适的关键词即可。如果不知道怎么表达，就用最暴力的表达方式即可

写 prompt 的时间 和 写 code 的时间，这两个随着深入使用，你会逐步找到自己舒服的状态。当你做一个事情的时候，你会知道是使用 llm 还是直接写 code 会更快/质量更高。

一般理想的是 人类冷启动/llm 冷启动 => 人类编写细节/llm 编写细节 => 人类 polish / llm polish

LLM使用的技法

prompt修改助手

你是一名prmopt工程师，参与一个把GPT接入游戏NPC的游戏开发。
我希望你帮我修改一下我的prompt：{
Please create a character description for an NPC in a text-based generative narrative interactive game, who will participate in dramatic interactions, such as persuasion or arguing. Include their personality, appearance, and background, and ensure that this information is closely related to the game goal, so that players can better interact with the NPC to achieve the gamegoal which is [GameGoal]. Provide the description in Chinese and keep the response concise. DO NOT let NPC be a lawyer, consider other occupations.

}
我想：
让这个prompt能让gpt生成出NPC的描述，而非玩家的描述。
现在的prompt不够明确，可能会让gpt生成出NPC的描述来
我还希望你修改prompt，使gpt的输出控制在比较短的水平

请你：
1.先用中文复述你的任务
2.用中文思考你的修改方式
3.用英文书写你修改后的prompt，用{}包起来，记住{}里面都应该是英文的
4.并用中文告诉我你修改了哪些部分

ChatGPT
任务复述：修改一个用于GPT生成游戏NPC描述的提示，确保生成的是NPC描述而非玩家描述，同时保持简洁。

修改方式：强调生成NPC描述的要求，明确描述中需包括人物性格、外貌、背景等信息，并突出与游戏目标的关联。同时，限定职业避免生成律师角色，并确保输出的描述长度较短。

修改后的prompt：
{Create a concise character profile for an NPC in a text-based generative narrative interactive game. The NPC will engage in intense interactions, such as persuasion or arguments, contributing to the game goal [GameGoal]. Provide details about the NPC’s personality, appearance, and background, ensuring that the generated information pertains specifically to the NPC. Exclude occupations related to law.}

修改说明：在原有prompt的基础上，强调了生成NPC描述的目的，明确要求提供人物性格、外貌、背景等信息，确保与游戏目标的关联。通过添加”Exclude occupations related to law”的要求，避免生成律师角色。最后，使用英文表述，并将描述长度要求为concise。

UE里面设置Json参数

1
2
3
4
5
6
7

// set the json-format setting
if (IsJsonFormat) // Your Variable
{
    const TSharedPtr<FJsonObject> JsonObj = MakeShareable(new FJsonObject());
    JsonObj->SetStringField(TEXT("type"), "json_object");
    _payloadObject->SetObjectField(TEXT("response_format"), JsonObj);
}

忘记在消息中让它用json格式回复，报错会报在Http层，你要在系统Prompt里加一句“请用json格式回复”

JSON做函数参数报错

AILibrary.h(46): [] Unable to find ‘class’, ‘delegate’, ‘enum’, or ‘struct’ with name ‘FJsonObject’

蓝图函数不能把FJsonObject做入参

TSharedPtr做参数 报无法解析的外部符号

我本地是因为cpp实现函数的前面忘加namespace了
AIParser::GetMessageFromJson

JSON解析失败

“```json是没法解析的,开头得直接就是{}，建议添加示例引导”

长期记忆原理和引子

GPT的Embedding可用作长期记忆。

我们可以将它需要具备的知识背景存储在它的Embedding库里。并在每次你发送给它消息之前，将这些记忆“撞”出来，一起发送给它。让它结合这些记忆和你说话。

据说GPTS的知识库，就是这种原理。