Diana9513 opened a new pull request, #271: URL: https://github.com/apache/incubator-hugegraph-ai/pull/271
一、简介 当前基于Deepseek R1 32B模型实现推理 构建了测试集，涵盖[交通事故调查报告，短小说1，短小说2，法律条文1，法律条文2，聊天记录1，行业准则1，办事流程解答1] 二、当前采用两种方式完成该任务 （一）对应文件序号1 （无现有模版集的情况）通过prompt引导模型模型多步思考，总结思考结果形成Prompt（可基于非思维链模型完成推理，这并不是模型的思维链过程）。 Prompt含实体集，关系集，并指明生成方向 此过程亦提取出用户#建图指令 整个生成过程调用gpt一次，但引导多步思考的过程导致生成token多，时间不短 （二）对应文件序号2 （有现有模版集）通过TF_IDF将向量将#建图指令和模版集 编码，余弦相似度匹配最相近的向量（这里没用bert或gpt，主要是为减少一次调用），将模版集中召回的最接近的任务模版融入（一）中工作方式，一起交由模型生成Prompt 三、评价方式 基于八段不同的长文本，每条文本有两种建图要求 生成16段回复 其中，excel中 1.原文：代表用户建图文本 2.指令：代表用户的简短要求，如“人物关系图谱”六个字 推理时，直接将“原文+指令”，不做其他任何补充或强调 3.分析过程： 调用LLM，推理query为“原文+指令” 生成的全部文本（含分析文本和指令），其中指令和用户要求分别用<>和++括起来，方便后续提取生成的Prompt和用户要求 4.生成指令（！！！这部分是参考重点）： 由3中生成内容中，由<>提取得到的指令 5.应用该指令的效果 由4中获得的，反馈给用户的Prompt，直接调用Deepseek r1 32B，推理获取的结果，用于评判模型生成的prompt的质量 四、评价 首先，人为将问题拆分为特定步骤，引导模型一步一步处理获取中间结果(关系，属性的罗列)，最终概括中间结果的方式可以有效分析复杂问题（人为的思维链） 然后，生成的Prompt指明了原文中的实体关系与属性等，并为建图指明了方向（建图的形式），起到了优化用户体验的效果 接着，从最终生成角度来说，按照生成符合neo4j格式的可执行语句，如果用户的需求是分析+建图语句，当前没有问题 如果用户要求减少分析，只获取建表语句，则还需修改 最终，每次生成提示词平均开销2532token（与原文输入长度正相关） 原文平均537token，消耗比值1:4.71 两种方式对比，如果纯粹使用大模型构建Prompt，会在建图语句之外，产生更多描述性话语，但也保留了更多种类的实体，建立了更多关系 相比之下， 从模版库匹配一个最相近的任务类型模版的方式利于减少针对建图语句的描述 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: issues-unsubscr...@hugegraph.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: issues-unsubscr...@hugegraph.apache.org For additional commands, e-mail: issues-h...@hugegraph.apache.org
