法律 大模型 都有哪些

ChatLaw-法律大模型地址：[https://github.com/PKU-YuanGroup/ChatLaw](https://github.com/PKU-YuanGroup/ChatLaw)简介：由北大开源的一系列法律领域的大模型，包括ChatLaw-13B（基于姜子牙Ziya-LLaMA-13B-v1训练而来），ChatLaw-33B（基于Anima-33B训练而来，逻辑推理能力大幅提升），ChatLaw-Text2Vec，使用93w条判决案例做成的数据集基于BERT训练了一个相似度匹配模型，可将用户提问信息和对应的法条相匹配。简介：https://m.toutiao.com/article/7251839216332653068/?app=news_article&timestamp=1688482956&use_new_style=1&req_id=20230704230236E6F575C06DE6A91C10B7&group_id=7251839216332653068&wxshare_count=1&tt_from=weixin&utm_source=weixin&utm_medium=toutiao_android&utm_campaign=client_share&share_token=81b22e88-36d8-4aa1-8244-955058192f16[ChatLaw-13B](https://huggingface.co/JessyTsu1/ChatLaw-13B)，此版本为学术demo版，基于姜子牙[Ziya-LLaMA-13B-v1](https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1)训练而来，中文各项表现很好，但是逻辑复杂的法律问答效果不佳，需要用更大参数的模型来解决。

在人工智能领域，我们通常会根据应用领域将大模型分为两类通用大模型领域特定模型。通用大模型如GPT-4.0、GPT-3.5、文新一言以及开源的通义千问、Llama2和Llama3它们通过训练获得了广泛的自然语言理解能力。这些模型类似于多面手，能够处理多种类型的语言任务。然而，尽管这些通用模型拥有强大的基础语言能力，它们在特定领域如法律或医学中的表现可能并不理想。这就像是一个语言能力已完全发展的10岁孩子，虽然可以流利交流，但要成为某一专业领域的专家，还需要学习更多相关知识。这种对大模型针对特定领域进行的训练过程称为大模型的微调。微调是一个调整过程，通过在特定领域的数据上训练模型，优化所有层的参数，以使模型在该领域表现更佳。提高其在该领域的专业性你可能会问，为什么不直接构建一个专用于法律的模型？关键在于，从头开始训练一个具备自然语言处理能力的大模型需要大量的时间和资源。小公司负担不起但是通过微调，我们可以在现有模型的基础上，更经济、更高效地适应新的应用领域。这类似于在巨人的肩膀上进一步攀登，利用已有的广泛知识基础，快速达到新的高度。这种方法不仅节省了成本，还可以加快模型部署和应用的速度。OK，对于普通人而言，大模型微调了解到这个程度就可以，我们继续

文本生成（text generation）涉及使用机器学习(machine learning)模型，根据从现有文本数据中学习的模式生成新的文本。用于文本生成的模型可以是马尔科夫链(Markov Chains)、循环神经网络（RNN）、长短时记忆网络（LSTMs），2AIGC法律风险研究报告以及凭借其延长的注意力广度（attention span）而彻底改变了AI领域的Transformer等。文本生成在自然语言处理、聊天机器人和内容创建领域（自动写作、文本摘要）有许多应用。[heading1]一些具有代表性的海外项目：[content]➢GPT-4（OpenAI）：目前最先进的自然语言生成模型，可用于回答问题、撰写文章等。➢Gemini Ultra（Google）：多模态人工智能模型，采用神经网络架构，对标GPT-4，可用于回答问题、生成代码、处理文本等。➢Claude 3 Opus（Anthropic）：多模态模型，能处理超过1百万token的输入，具有实时聊天、数据处理、分析预测等功能；实现了接近完美的召回率。[heading1]一些具有代表性的国内项目：[content]➢“悟道・天鹰”（北京智源人工智能研究院）：“悟道・天鹰”（Aquila）是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。➢文心一言（百度）：大语言模型，可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。