新聊天
今天,想聊些什么?
问一个问题,或放进一张图片、一份文档。
尚未加载
MODEL WORKSPACE
模型库.
选择一个模型,让灵感开始流动。
出字速度最近一次生成
—token/s
整机显存使用
—GB
运行上下文
—tokens
加载后显示实际参数GPU 温度 / 功耗
—°C/—W
正在读取硬件信息正在加载模型第一次加载可能需要一些时间,请保持主机开启。
你的模型
0Huihui Flash 安装中
模型文件大小下次加载设置操作
让你的第一个模型就位
浏览这台主机,选择已下载的 GGUF 模型文件,
或添加整个模型文件夹。
没有找到匹配的模型,试试其他名称。
添加文件夹后,点击扫描即可发现新模型
轻量常驻,按需运行
控制台保持在线。只有加载模型后,才会为模型分配显存。
CONNECTED, EVERYWHERE
兼容 OpenAI APIAPI 连接.
把这台电脑的模型,接入你常用的应用。
一个地址,连接你的模型
在支持自定义服务的客户端中,填写以下信息。
其他电脑或手机使用此地址。
切换模型后,客户端中的模型名称也应同步更新。
沿用已有 API 密钥已隐藏
填入你原有的 API 密钥。控制台登录密码与 API 密钥分别使用。
加载一个模型
返回模型库,点击「加载模型」。
等待状态变为运行中。
填写连接信息
选择 OpenAI 兼容服务,
复制上方地址与当前模型名称。
开始对话
填入原有 API 密钥,
即可从其他设备调用模型。
在本机使用本机 API 地址与控制台入口
BEHIND THE SCENES
运行日志.
查看模型加载、运行状态与异常详情。
模型服务日志等待读取
正在读取日志…
如果模型加载失败,可以在这里查看原因,再到模型设置中调整上下文或显存配置。