Webman AI 發(fā)布5.4.0版本,支持選擇任意embedding模型,這一突破性更新使得用戶能夠?qū)ebman AI與本地
DeepSeek等開源模型無縫結(jié)合,打造專屬的私有知識庫系統(tǒng)。通過本地化訓(xùn)練與部署,用戶可以無需依賴網(wǎng)絡(luò)連接即可實(shí)現(xiàn)內(nèi)部專有AI知識庫助理。
以下是完整的教程,如果你之前執(zhí)行過相關(guān)訓(xùn)練操作,有些步驟可以直接跳過。
假設(shè)你已經(jīng)安裝了webman/ai
docker pull docker.1ms.run/redis/redis-stack
mkdir /home/data/redis -p
docker run --name redis-stack -v /home/data/redis:/data -p 6380:6379 -d redis/redis-stack
webman-v2版本 webman根目錄執(zhí)行
composer require -W webman/redis illuminate/events
webman-v1版本 webman根目錄執(zhí)行
composer require -W illuminate/redis illuminate/events
新建 plugin/ai/config/redis.php
,內(nèi)容如下
<?php
return [
'default' => [
'host' => '127.0.0.1',
'password' => null,
'port' => 6380,
'database' => 0,
],
];
安裝 ollama,并執(zhí)行
ollama pull nomic-embed-text
ollama pull deepseek-r1:14b
提示
nomic-embed-text 是向量模型,訓(xùn)練必須安裝
除了 deepseek-r1:14b 還可以選 deepseek-coder-v2:latest qwen2.5:14b 等模型
Linux: webman根目錄運(yùn)行 php start.php restart -d
Windows: 按ctl c
停止webman,然后運(yùn)行 php windows.php start
提示
如果提示 Class'Redis' not found 是因為沒有給PHP安裝Redis擴(kuò)展。
訓(xùn)練的文本樣例
注意:訓(xùn)練內(nèi)容沒有固定格式,訓(xùn)練的數(shù)據(jù)最好頂部加上一個對本內(nèi)容的總結(jié)性標(biāo)題或提問,這樣效果才會最好。類似上面這個截圖
完整的webman手冊樣本數(shù)據(jù),點(diǎn)擊這里下載
提示
導(dǎo)入數(shù)據(jù)目前只支持txt和md為后綴的文件,單個文件大小不能大于9k。支持壓縮包上傳,同理壓縮包內(nèi)每個文件大小不能大于9k。
AI訓(xùn)練數(shù)據(jù) 里的 內(nèi)容向量 里有值,說明此條記錄已經(jīng)訓(xùn)練完畢,內(nèi)容向量 同時會在redis-stack里存儲一份,用來快速檢索。
注意
如果你不想讓你訓(xùn)練的模型回復(fù)訓(xùn)練內(nèi)容以外的數(shù)據(jù),可以在角色提示詞里明示。例如webman手冊助手的角色提示詞如下:
“webman是一個高性能php框架,你是一個webman助手,以下是webman文檔,請根據(jù)文檔回復(fù),如果無法得到答案或者不是webman相關(guān)的問題則回復(fù)文檔中未找到對應(yīng)的答案。請確?;貜?fù)正確?!?/p>
在需要使用訓(xùn)練數(shù)據(jù)的角色里選擇訓(xùn)練集,保存。(前端用戶需要刷新頁面角色才能生效)
AI就會使用訓(xùn)練集里的數(shù)據(jù)回復(fù)問題。
nomic-embed-text 這個模型,對硬件要求高嗎? 不帶顯卡的x86服務(wù)器可以部署嗎?
這種問題,要善于AI:
nomic-embed-text 模型對硬件要求較低,尤其適合資源有限的場景,不帶獨(dú)立顯卡的x86服務(wù)器可以部署。以下是具體分析:
OLLAMA_MODELS
),避免占用系統(tǒng)盤空間。nomic-embed-text 是一款輕量級嵌入模型,對硬件要求較低,無顯卡的x86服務(wù)器完全能夠部署。其優(yōu)勢在于低資源占用和靈活的部署方式,適合個人開發(fā)者或中小團(tuán)隊構(gòu)建本地知識庫、RAG(檢索增強(qiáng)生成)系統(tǒng)等應(yīng)用場景。若需處理大規(guī)模數(shù)據(jù)或追求更高性能,可考慮升級CPU或引入GPU加速。