使用Ollama在本地安装Google轻量级开源大模型Gemma

Google轻量级开源大模型Gemma在个人电脑上也可以部署体验了!以下是详细部署步骤:

一、安装 Ollama

1.访问 Ollama 官方网站(https://ollama.com/)。

使用Ollama在本地安装Google轻量级开源大模型Gemma

2.下载适合操作系统的 Ollama 版本。

3.在 Windows 上,下载后直接运行安装程序。

4.安装完成后,在命令行中执行 ollama -V 命令以验证安装是否成功。如果显示了版本号,则表示安装成功。

二、运行 Gemma 模型:

1.在 Ollama 的用户界面中,找到顶部导航栏的 “Models” 链接并点击。

2.进入 Gemma 模型页面,根据提示下载 Gemma 模型。

使用Ollama在本地安装Google轻量级开源大模型Gemma

Gemma有适合笔记本运行的轻量级模型。我们可以到Kaggle Models下载Gemma模型。

Gemma Kaggle下载地址:https://www.kaggle.com/models/google/gemma

使用Ollama在本地安装Google轻量级开源大模型Gemma

3.根据您的硬件配置选择合适的模型版本。例如,如果显存小于 8GB,需要选择 2B 轻量版模型。

使用Ollama在本地安装Google轻量级开源大模型Gemma

4.对于 7B 模型,使用命令 ollama run gemma:7b。对于 2B 轻量版,使用命令 ollama run gemma:2b。

5.首次运行时,系统会自动下载模型文件。下载完成后,您将进入交互模式,可以开始与模型交互。

评论