在Windows本地体验Llama3

昨天(2024.04.19),Meta 发布了其最新版本的开源大语言模型Llama3,目前开源了8B和70B两个版本,是去年7月发布的Llama2模型的升级版。

由于预训练和指令的微调,Llama3据说比Llama2有了显著的进步。

体验llama3也很简单,首先参考文章《Windows系统本地部署Lobechat+Ollama》进行环境部署。

之后打开Powershell,执行命令ollama pull llama3:8b下载模型(如果配置足够好,也可以下载70b的版本)。

下载完成后,别忘了将模型名称添加到Lobechat:

  • 在Lobechat点击左下角的按钮进入设置 -> 语言模型
  • 在Ollama的自定义模型名称中添加llama3:8b

向Lobechat添加Llama3:8b

对话效果如下:

与Llama3:8b对话

自从本地部署的大模型,买来就没怎么用过的显卡在“退休”前终于跑满了

GPU利用率

也算是物尽其用了。

Licensed under CC BY-NC-SA 4.0
最后更新于 2024-04-20 10:38 CST
网站已稳定运行 小时 分钟
使用 Hugo 构建
主题 StackJimmy 设计