杨志磊:律师答辩状prompt各模型评测
用一份结构化的prompt,测试模型对于专业知识方面的输出效果。我是律师,所以利用最常见的场景,当事人收到起诉状,成为被告后,给当事人书写“答辩状”并“制定应诉方案”。
# Role: lawyer
## Profile:
- author: 杨志磊
- version: 0.1
- language: 中文
- description: 我是一名律师,可以对当事人的咨询提供回答并制定应诉方案。
## Goals:
- 对输入的起诉状充分分析后,写一份优秀的答辩状
- 给当事人提供专业的法律服务,并给出法律建议
- 促成签署委托代理协议
## Constrains:
- 要依据正在适用的法律,不能引用废止的法律条文
- 不能直接认可原告的诉讼请求
- 不能直接认可原告的事实
- 不能直接认可原告提供的证据
- 不能直接要求按照原告的诉讼请求进行判决
## Skills:
- 熟悉中国的法律,并能熟练引用
- 法律专业技能非常强,熟悉诉讼的程序和流程
- 经验非常丰富,擅长处理各种纠纷
- 充分理解被告的焦虑心情,并能进行劝慰
- 团队配合能力强,组织团队为当事人服务
- 熟练使用各种软件,效率非常高
## Workflows:
- 用户输入起诉状
- 被告转换成答辩人:出现两个或两个以上被告,所有被告都要转换成答辩人
- 原告转换成被答辩人
- 充分分析原告的起诉状:主要从事实、证据、法律依据、诉讼时效等等方面进行答辩
- 输出完整的答辩状
- 根据答辩状给出应诉方案:(站在答辩人的角度)
- 最后,询问是否还有其他问题
## output format:
- <标题>答辩状
- 答辩人:姓名、性别、民族、出生日期、住址、身份证号码、联系方式(如果当事人是法人或其他组织,还应写明名称、住所、法定代表人或负责人的姓名、职务、联系方式等。)
- 被答辩人:姓名、性别、民族、出生日期、住址、身份证号码、联系方式(如果当事人是法人或其他组织,还应写明名称、住所、法定代表人或负责人的姓名、职务、联系方式等。)
- 事实与理由:
-- 1.事实
-- 2.证据
-- 3.法律依据
-- 4.诉讼时效
-- 5.诉讼费
-- 6.总结
此致
XXXX人民法院
答辩人:
年 月 日
## Initialization:
欢迎用户, 并提示用户输入信息
请使用“您好,我是杨志磊律师,请问您有什么需要咨询”作为欢迎语
Chatgpt3.5
将prompt输入到ChatGPT3.5后,输出如下:它的欢迎语符合指示要求,后面直接引出了答辩状的话题,比较切合主题,同时询问客户是否需要法律帮助,值得点赞。
然后我直接把起诉状直接输入,ChatGPT3.5直接输出了一份答辩状,如下:
对于输出的答辩状有几个问题:
1、主体上少了一个答辩人,在写prompt的时候,已经提示它,如果是两个或两个以上被告,要全部转换为“答辩人”,ChatGPT3.5漏掉了一个。
2、在格式上,出现了“最后,询问是否还有其他问题”,其实这是在prompt中的工作流程,它作为答辩状的输出内容了,有点瑕疵。
3、内容上:
(1)引用法条错误,《民法典》第465条是关于合同成立受法律保护的条款,而引用的内容应该是《民法典》第583条。(2)专业要差一些,但是作为一个初级律师,如果拿到这份答辩状经过初步修改,是可以作为参考的,作为框架略微差一些。
最后输出的应诉方案,内容上基本上没有问题,也是一份及格的方案,比较简单。亮点是在诉讼风险控制方面:给出了协商的建议。
瑕疵:出现了提示语“最后,询问还有其他问题”。
GPT4
1、格式上没有问题,能够按照prompt指示输出;
2、内容上,(1)事实部分需要展开;(2)证据提示很好;(3)法律依据没有引用明确条文,关于连带责任解释不正确;(4)诉讼时效没有解释清楚;(5)诉讼费和总结简单;
3、整体上看的话,内容有点简单,需要加工的东西多一点,会费点劲,节省的时间效果一般。如果打分的话,对比一下3.5输出效果,3.5比4要好一些,可能会给不及格5分。
Bard
把prompt输入到bard后,它自己首先输出了一个咨询对话,然后又举了一个例子,依然喜欢为我做决定,并按照prompt输出了答辩状和应诉方案,这是令我比较欣慰的,因为其他模型需要提示输出应诉方案,它是最直接输出的一个,只不过它还没有问我,就直接预先给出答案。
当我输入起诉状后,它直接输出了一份答辩状:
1、原告和被告直接输出,不符合prompt的要求,缺少了一个答辩人;
2、内容上面:
(1)对于利息和违约金的答辩,逻辑上上有点问题,缺少真实场景的经验;
(2)直接对于该份合同主张无效,显然有点用力过度,效力是一份合同的关键,慎重;
(3)对于股东承担连带责任,没有唯一法人股东的含义,用有限责任抗辩,还需更进一步。
提示它“请输出应诉方案”:
1、缺少一个答辩人,原告转换成被告,属于输出错误;
2、内容上:
(1)基于答辩策略,给出的应诉方案,提出了违约金过高的抗辩,很专业;
(2)对于证据、庭审、协商都给出了很专业的建议,还是表现不错的。
Kimi chat
把prompt输入到kimi chat后,很简洁。
我输入一份起诉状后,前面的回答很温馨,也很专业。内容上:(1)主体缺少了一个答辩人,被答辩人转换正确;(2)答辩提到了不可抗力,比如说是新冠疫情的影响,同时提醒提供相应的证据、政策、文件等,这个很赞;(3)引用了《合同法》这是明显的错误,已经废止;(4)诉讼时效三年,没有问题,抗辩的意见错误;基本上可以达到一个及格往上的成绩,不错。
输入应诉方案后,它的输出如下:1、整体上很简洁明了,需要继续细化;2、答辩策略也能对应答辩状;3、庭审准备和风险控制有点抽象,不具体;4;其他方面,给出了和解的建议,很好。
智谱清言
把prompt输入到智谱清言后,欢迎词很友好,也很亲和,引出服务,很专业,非常喜欢。
输入起诉状后,输出的内容如下:1、主体上两个答辩人,一个被答辩人,正确;2、关于违约责任的答辩,喜忧参半,对于正确理解合同条纹内容;3、对于连带责任,利用财产独立进行抗辩,很专业,需要再加入一点专业的解释,就更好了。
输入“请输出应诉方案”后,输出的内容方面:1、准备工作很细致,也很专业,还是值得肯定;答辩策略也非常贴近实务;庭审准备有点粗,不具有系统性;风险控制方面给出了调整策略和和解的建议,很好;其他,作为专业律师,要保持和当事人的沟通,非常赞的提示;最后的结束语,也符合要求,建立业务关系。
讯飞星火
把prompt输入到讯飞星火后,欢迎语很直接,没有废话。
输入起诉状后,输出的内容方面:
1、主体上没有答辩人,只有被答辩人,没有转换成功;
2、(1)关于违约责任,提出了不可抗力的因素,非常好;
(2)关于连带责任,提出来财产独立,不存在财产混同的抗辩,非常棒;
(3)尤其表扬的是,它也把诉讼费加入到答辩中,这是在我prompt没有的,所以也是提醒我改进把诉讼费加入到prompt中去;
(4)最后的主体上出现了问题,把被告转换成被答辩人了,有点瑕疵。
输入“请输出应诉方案”后,内容上:
1、准备工作很详细,也很专业;
2、增加了“事实和理由”,两点提示非常棒,非常专业;
3、答辩策略与答辩状的一致,简洁明了;
4、庭审准备上,细化很到位,可以直接作为方案使用。
文心一言3.5
把prompt输入到文心一言后,欢迎语加上专业的导入,让当事人能直奔主题。
输入起诉状后,输出的内容方面:1、它直接给出了起诉状的的范本,显然没有理解prompt,并没有直接输出答辩状,不够作为起诉状的prompt是很好的借鉴。
于是,我提示它“请输出答辩状”,输出的内容:
1、主体上少了一个,对prompt执行不到位;
2、答辩的四点,基本上不能直接使用,很不专业;
3、错误也很多,有点像非专业人士,好像是在耍赖;
4、它应该是充分执行了prompt中的“constrains”部分,不能直接认可原告的诉讼请求。
提示“请输出应诉方案”后,能够按照prompt结构输出,内容上简洁明了,是一份方案的结构,可以作为框架使用,补充完整后,还得非常省劲的。
通义千问
把prompt输入到通义千问后,欢迎语很直接,没有废话。而且prompt中是“你好”,它转换成“您好”,非常好。
输入起诉状后,输出的内容方面:
1、两个答辩人都正确,很好。
2、能够按照prompt结构输出,专业差点,没有引用具体的法律条文,对于基础的也是没有体现出专业的水平;
3、答辩的逻辑和立场,没有问题。
提示“请输出应诉方案”,能够按照能够按照prompt结构输出,整体内容上及格,没有亮点。
腾讯混元
把prompt输入到腾讯混元后,欢迎语很直接,没有废话。
输入起诉状后,它好像没有理解,直接对起诉状进行复制和简单总结,首次使用,感觉不好。
于是,提示它“请根据起诉状,输出答辩状”,输出的内容上:
1、主体缺少一个答辩人;
2、利用不可抗力进行抗辩,很好;
3、关于连带责任,没有抓住要点;
4、也提到了诉讼费的承担,但是有点软,应该是“不承担诉讼费”
提示“请输出应诉方案”后,内容上:
1、内容比较简单,可以作为方案的框架;
2、增加了“调解协商、上诉再审、执行判决“等环节,很好。
百川大模型
把prompt输入到百川大模型后,欢迎语很直接。
输入起诉状后,输出的内容方面:
1、两个答辩人都正确,很好。
2、能够按照prompt结构输出
(1)提出了不可抗力的抗辩
(2)对于证据的准备的提示也很准确
(3)引用法律正确
3、答辩的逻辑和立场,没有问题。
提示“请输出应诉方案”后,能够按照prompt结构输出,答辩的细节和专业性很强,有点惊喜。
豆包AI
把prompt输入到豆包AI后,欢迎语很直接。
输入起诉状后,输出的内容方面:
1、主体上,缺少一个答辩人
2、引用案由错误
3、没有按照prompt结构输出
(1)提出了不可抗力的抗辩
(2)引用法律错误,《民法典》第590条内容错误
(3)整体上比较简单,专业性一般
3、答辩的逻辑和立场,没有问题。
提示“请输出应诉方案”后,没有按照prompt结构输出,输出的内容一般,整体方案框架没有问题,需要继续补充完整。
我提示“请根据我的提示和框架输出应诉方案”,又重复输出。
然后,我把应诉方案的框架输入到模型。
输出的应诉方案,内容上:
1、能够按照prompt结构输出;
2、细节上还需打磨,比较抽象,还得细化;
3、整体上一般,不能直接使用。
Copilot
把prompt输入到豆包Copilot,欢迎语没问题。又加了一点提示语,表现很好。
输入起诉状后,输出的内容方面:
1、两个答辩人都正确,很好。
2、能够按照prompt结构输出
(1)提出了不可抗力的抗辩
(2)对于连带责任没有说清楚
(3)引用法律全部错误
(4)对于提供证据很全面
3、答辩的逻辑和立场,没有问题。
在没有提示“请输出应诉方案”后,能够直接输出应诉方案,是唯一符合要求的,其他的都是要二次提示才行。
内容也能按照prompt的结构输出,非常的详细和专业,特别点赞
Copilot有个小问题,经常就是停止输出,还得需要提醒它继续输出才行。
而且,最重要的是它理解了我的目的,就是要与客户建立业务关系,签署委托代理协议,贯彻比较到位,太棒了。
Claude 2.0
把prompt输入到Claude2.0,欢迎语没问题。
输入起诉状后,输出的内容方面:
1、两个答辩人都正确,很好。
2、能够按照prompt结构输出
(1)抗辩主要逻辑按照prompt,但是理解不对,都是在否认。
(2)引用原文的内容,会显示黑色的
3、答辩的逻辑和立场,没有问题。
提示“请输出应诉方案”后,能够按照prompt结构输出,内容比较简单,需要细化。
最后的提示符合prompt的指示,就是希望当事人委托代理,促进业务达成,可以赞一个。
总结:
如果按照满分10分的话
ChatGPT |
6 |
Bard |
5.5 |
Kimi chat |
6.5 |
智谱清言 |
5 |
讯飞星火 |
5 |
文心一言3.5 |
4 |
通义千问 |
6.5 |
腾讯混元 |
5 |
百川大模型 |
7 |
豆包AI |
5 |
Copilot |
9 |
Claude 2.0 |
6 |