日韩欧美人妻无码精品白浆,夜夜嗨AV免费入口,国产欧美官网在线看,高校回应聋哑女生因长相完美被质疑

LOGO OA教程 ERP教程 模切知識(shí)交流 PMS教程 CRM教程 開發(fā)文檔 其他文檔  
 
網(wǎng)站管理員

基于RAG技術(shù)架構(gòu)的DeepSeek大模型本地知識(shí)庫(kù)構(gòu)建實(shí)戰(zhàn)

admin
2025年3月10日 22:58 本文熱度 1137

一、前言

在當(dāng)今這個(gè)信息爆炸的時(shí)代,人工智能技術(shù)正以前所未有的速度發(fā)展。其中,DeepSeek 作為新一代的 AI 選手,迅速成為行業(yè)內(nèi)的焦點(diǎn)。DeepSeek 在多項(xiàng)性能測(cè)試中已經(jīng)達(dá)到了 OpenAI 的最新大模型 o1 水平,部分項(xiàng)目還實(shí)現(xiàn)了超越,在多項(xiàng)評(píng)測(cè)中表現(xiàn)優(yōu)異,甚至直逼世界頂尖的閉源模型 GPT-4o 和 Claude-3.5-Sonnet。

目前,我們已經(jīng)在公司的高性能服務(wù)器上完成了本地 AI 智能助手部署的 demo,通過(guò)大參數(shù)量的 DeepSeek 本地大模型(70b 及以上)與豐富的本地知識(shí)庫(kù)相結(jié)合,成功創(chuàng)建了 “虛擬 CST/ABAQUS 技術(shù)支持工程師” 這一 AI 智能體,驗(yàn)證了 AI 模型 + 行業(yè)本地知識(shí)庫(kù)在業(yè)務(wù)中的實(shí)際運(yùn)用效果。

二、技術(shù)方案概述

2.1 整體架構(gòu):DeepSeek-R1 模型與 RAG 技術(shù)相結(jié)合

在選擇 AI 模型時(shí),我們考慮引入 DeepSeek 本地大模型,并結(jié)合 RAG(Retrieval-Augmented Generation)技術(shù)構(gòu)建整體架構(gòu)。

RAG 技術(shù)工作思路:先解析本地?cái)?shù)據(jù)庫(kù),將文本、圖像或其他類型數(shù)據(jù)轉(zhuǎn)換成高維向量,而后將原始問(wèn)題和引用的知識(shí)內(nèi)容以向量形式整合到生成模型的輸入中,增強(qiáng)生成的文本質(zhì)量

DeepSeek 是一款專注于推理的模型,特別適用于利用已有的知識(shí)庫(kù)高效回答客戶問(wèn)題。其高效的推理能力和多模態(tài)融合特性,使得 DeepSeek 在處理復(fù)雜邏輯任務(wù)和長(zhǎng)文本時(shí)表現(xiàn)出色。DeepSeek-R1 不僅在數(shù)學(xué)、代碼和自然語(yǔ)言推理等任務(wù)上表現(xiàn)卓越,性能直接對(duì)標(biāo) OpenAI 的 o1 正式版,同時(shí)使用 MIT 協(xié)議以開源形式向全球開發(fā)者開放。

而 RAG 技術(shù)則通過(guò)檢索增強(qiáng)生成,進(jìn)一步提升模型的檢索和生成能力。通過(guò)從外部知識(shí)庫(kù)中檢索相關(guān)信息,并將這些信息整合到生成模型的輸入中,以增強(qiáng)生成的文本質(zhì)量、準(zhǔn)確性和相關(guān)性。

在知識(shí)庫(kù)中導(dǎo)入文檔后,系統(tǒng)會(huì)通過(guò)分塊處理將文檔切割為語(yǔ)義連貫的片段(Chunk)。這些文本塊會(huì)經(jīng)過(guò)嵌入模型(Embedding Model)轉(zhuǎn)化為高維向量,存儲(chǔ)至向量數(shù)據(jù)庫(kù)(Vector DB)。當(dāng)用戶發(fā)起問(wèn)答請(qǐng)求時(shí),系統(tǒng)通過(guò)向量相似度檢索匹配的文本片段,并將問(wèn)題與相關(guān)上下文共同輸入大語(yǔ)言模型(LLM),完成檢索增強(qiáng)生成(Retrieval-Augmented Generation,RAG)的智能問(wèn)答流程。

RAG 技術(shù)對(duì)本地知識(shí)庫(kù)處理的流程圖,圖源 Cherry Studio 官方文檔

這種方法能有效解決大型語(yǔ)言模型在處理訓(xùn)練數(shù)據(jù)外信息時(shí)的 “幻覺(jué)” 問(wèn)題。文獻(xiàn)表明,RAG 技術(shù)通過(guò)動(dòng)態(tài)檢索外部知識(shí)庫(kù)實(shí)現(xiàn)行業(yè)適配(Lewis et al., 2020),這種架構(gòu)既保留了通用模型的對(duì)話能力,又能通過(guò)知識(shí)庫(kù)更新擴(kuò)展專業(yè)認(rèn)知邊界?,F(xiàn)有研究表明其綜合成本顯著低于全參數(shù)微調(diào)方案(Izacard et al., 2022)。相較于微調(diào)模型需要重新訓(xùn)練參數(shù)的方式,RAG 技術(shù)通過(guò)動(dòng)態(tài)檢索外部知識(shí)庫(kù)實(shí)現(xiàn)行業(yè)適配,無(wú)需承擔(dān)高昂的模型重訓(xùn)練成本。

2.2 部署方式:完全本地部署

通過(guò)全鏈路本地化部署架構(gòu),實(shí)現(xiàn)數(shù)據(jù)從存儲(chǔ)到處理的端到端閉環(huán),在消除外部攻擊面的同時(shí)確保毫秒級(jí)響應(yīng)速度。技術(shù)驗(yàn)證采用 Ollama 容器化框架集成 Cherry Studio 平臺(tái)及 RAGFlow 智能檢索系統(tǒng),基于離線環(huán)境完成向量數(shù)據(jù)庫(kù)構(gòu)建與模型推理,使敏感信息全程駐留內(nèi)網(wǎng)。

2.3 實(shí)現(xiàn)效果:高效、準(zhǔn)確、清晰

該 “虛擬工程師” demo 可以快速且準(zhǔn)確地查詢 CST、ABAQUS 軟件的幫助文檔和工程案例,相比傳統(tǒng)檢索的方式, “虛擬工程師” demo 更能深刻理解用戶的需求。通過(guò) DeepSeek-R1 模型與 RAG 技術(shù)的結(jié)合,“虛擬工程師” demo 能夠快速、準(zhǔn)確地找到相關(guān)文檔和案例,提供精準(zhǔn)的答案和建議。

ABAQUS 問(wèn)題響應(yīng)結(jié)果

CST 問(wèn)題響應(yīng)結(jié)果

相比傳統(tǒng)的單純使用 “微調(diào)模型” 技術(shù)方案(可類比為 “考前復(fù)習(xí)”),大模型與 RAG 技術(shù)工作流程(可類比為 “開卷考試”)能夠結(jié)合具體行業(yè)學(xué)習(xí)的內(nèi)容,更有針對(duì)性地給出建議的解決方案。該方案不僅提升了模型的適應(yīng)性和靈活性,還顯著提高了問(wèn)題解決的效率和準(zhǔn)確性。

部署本地知識(shí)庫(kù)后,在思考的過(guò)程中會(huì)引用知識(shí)庫(kù)內(nèi)容

三、部署流程

3.1 總覽

下表展示了不同部署方式的主要特點(diǎn),大家可以根據(jù)自身的情況和需求,決定部署的方式。

本文將聚焦本地化部署方案,以輕量級(jí)模型DeepSeek-R1:1.5b為示范,通過(guò)三步走流程實(shí)現(xiàn)零門檻安裝:

  • 環(huán)境搭建:使用開源工具Ollama,通過(guò) ollama run deepseek-r1:1.5b 命令完成模型加載;

  • 離線運(yùn)行:所有數(shù)據(jù)在本地完成向量化處理與推理,避免敏感信息外傳;

  • 硬件適配:1.5b 版本僅需 4GB 內(nèi)存即可流暢運(yùn)行,適合個(gè)人電腦部署。

3.2 部署DeepSeek

1、從官網(wǎng)下載并安裝Ollama,過(guò)程略??蓞⒖?https://ollama.com/

點(diǎn)擊 Download 下載對(duì)應(yīng)系統(tǒng)版本的安裝包。

2、在 Ollama 模型列表中復(fù)制命令ollama run deepseek-r1:1.5b,粘貼到命令行中,等待下載完成。

此處以最低版本作為示例,后續(xù)會(huì)推薦適合的模型規(guī)模。

?

下載完成后,可直接在命令行中與模型對(duì)話,檢查模型能否正常加載。

3、安裝對(duì)話界面軟件,可以更直觀地調(diào)整模型的參數(shù)和提示詞,同時(shí)也支持將對(duì)話內(nèi)容完全存檔在本地。推薦Cherry Studio https://cherry-ai.com/

4、配置遠(yuǎn)程 Ollama 服務(wù)(可選)。默認(rèn)情況下,Ollama 服務(wù)僅在本地運(yùn)行,不對(duì)外提供服務(wù)。要使 Ollama 服務(wù)能夠覆蓋在局域網(wǎng)內(nèi)的設(shè)備中,需要設(shè)置以下兩個(gè)環(huán)境變量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

5、評(píng)估電腦最大可以運(yùn)行的模型參數(shù)。根據(jù)對(duì)應(yīng)參數(shù)的模型大小,對(duì)比計(jì)算機(jī)配置(如顯卡、顯存、內(nèi)存、CPU等)與實(shí)際應(yīng)用效果(如共享顯存占用、CPU/GPU占用等)。

3.3 知識(shí)庫(kù)

簡(jiǎn)略版:使用內(nèi)置知識(shí)庫(kù)的 AI 對(duì)話平臺(tái)

以下平臺(tái)可根據(jù)個(gè)人喜好選擇:

1.Cherry Studio設(shè)置方式:參考 https://docs.cherry-ai.com/knowledge-base/knowledge-base

2.AnythingLLM設(shè)置方式:參考 https://docs.anythingllm.com/introduction

至尊版:使用 docker 部署 RAGFlow

可參考:

https://ragflow.io/
https://www.bilibili.com/video/BV1WiP2ezE5a/

1.安裝 RAGFlow 1. 安裝 docker 2. 拉取 RAGFlow 鏡像

  • 可訪問(wèn)官方 GitHub 倉(cāng)庫(kù)的 README 頁(yè)面拉取鏡像,并按照文檔中的指引安裝部署:https://github.com/infiniflow/ragflow/blob/main/README_zh.md

  • 如果遇到問(wèn)題,可訪問(wèn)網(wǎng)絡(luò)上部署 RAGFlow 的踩坑帖子,如:https://blog.csdn.net/gr1785/article/details/145543754?spm=1001.2014.3001.5502

2.添加本地模型

  • 1、在瀏覽器輸入http://localhost:88,并注冊(cè)賬號(hào)和組織(該賬號(hào)基于本地服務(wù))。

  • 2、在頁(yè)面中選擇 Ollama,并選擇對(duì)應(yīng)的模型類型。(DeepSeek 模型選擇 chat,bge-m3 模型選擇 embedding

  • 3、按照控制臺(tái)Ollama -list命令中列出的模型名稱填寫(建議在列表中復(fù)制)。

  • 4、基礎(chǔ) URL:http://host.docker.internal:11434

  • 5、最大 token 數(shù)可隨便填寫(本地部署不消耗在線
    token)。

  • 6、按照上述方法分別添加 chat 模型和 embedding 模型。

RAGFlow 添加本地模型配置示例

3、設(shè)置快速啟用服務(wù)腳本

可編寫一個(gè)批處理文件start_ragflow.bat

@echo off     
 
:: 解決中文亂碼問(wèn)題   
chcp 65001 >nul   
title RAGFlow啟動(dòng)器      
:: 進(jìn)入docker目錄啟動(dòng)服務(wù)   
cd /d "你的RAGFlow路徑,以\ragflow-main\docker結(jié)尾"   
docker compose up -d      
:: 打開瀏覽器訪問(wèn)頁(yè)面   
start """http://localhost:80"      
echo RAGFlow服務(wù)已啟動(dòng),瀏覽器即將打開...   
pause   `

4、設(shè)置知識(shí)庫(kù)

由于網(wǎng)上關(guān)于RAGFlow的內(nèi)容眾多,在 RAGFlow 中設(shè)置知識(shí)庫(kù)的具體步驟,可根據(jù)官方文檔或網(wǎng)絡(luò)教程操作,在此不再贅述。

創(chuàng)建好的知識(shí)庫(kù)

3.4 參數(shù)調(diào)整

參數(shù)背景知識(shí)

Temperature(溫度) :

溫度參數(shù)控制模型生成文本的隨機(jī)性和創(chuàng)造性程度(默認(rèn)值為0.7或1.0,不同軟件/平臺(tái)有不同的設(shè)置)。具體表現(xiàn)為:

  • 低溫度值(0-0.3):輸出更確定、更專注,適合代碼生成、數(shù)據(jù)分析等需要準(zhǔn)確性的場(chǎng)景。

  • 中等溫度值(0.4-0.7):平衡了創(chuàng)造性和連貫性,適合日常對(duì)話、一般性寫作。

  • 高溫度值(0.8-1.0):產(chǎn)生更具創(chuàng)造性和多樣性的輸出,適合創(chuàng)意寫作、頭腦風(fēng)暴等場(chǎng)景。

Top P(核采樣)

默認(rèn)值為 1,值越小,AI 生成的內(nèi)容越單調(diào),也越容易理解;值越大,AI 回復(fù)的詞匯范圍越大,越多樣化。

核采樣通過(guò)控制詞匯選擇的概率閾值來(lái)影響輸出:

  • 較小值(0.1-0.3):僅考慮最高概率的詞匯,輸出更保守、更可控,適合代碼注釋、技術(shù)文檔等場(chǎng)景。

  • 中等值(0.4-0.6):平衡詞匯多樣性和準(zhǔn)確性,適合一般對(duì)話和寫作任務(wù),

  • 較大值(0.7-1.0):考慮更廣泛的詞匯選擇,產(chǎn)生更豐富多樣的內(nèi)容,適合創(chuàng)意寫作等需要多樣化表達(dá)的場(chǎng)景。

??

  • 這兩個(gè)參數(shù)可以獨(dú)立使用或組合使用

  • 根據(jù)具體任務(wù)類型選擇合適的參數(shù)值

  • 建議通過(guò)實(shí)驗(yàn)找到最適合特定應(yīng)用場(chǎng)景的參數(shù)組合

  • 以上內(nèi)容僅供參考和了解概念,所給參數(shù)范圍不一定適合所有模型,具體可參考模型相關(guān)文檔給出的參數(shù)建議。

場(chǎng)景配置

不同業(yè)務(wù)場(chǎng)景中 LLM 模型的參數(shù)需求往往有著明顯差異,需要結(jié)合理論與實(shí)踐結(jié)果進(jìn)行調(diào)整。下表系統(tǒng)地梳理了TemperatureTop-P參數(shù)的協(xié)同配置策略,綜合考量了輸出質(zhì)量、創(chuàng)意需求及風(fēng)險(xiǎn)控制三個(gè)維度,并標(biāo)注典型應(yīng)用場(chǎng)景的實(shí)踐驗(yàn)證效果。

場(chǎng)景Temperature 范圍Top-P 范圍說(shuō)明
代碼生成0.1–0.30.1–0.3極低溫+極低Top-P,減少語(yǔ)法錯(cuò)誤,確保代碼邏輯正確。
技術(shù)文檔如代碼、產(chǎn)品說(shuō)明0.2–0.50.5–0.7低溫+中低Top-P,確保輸出準(zhǔn)確結(jié)構(gòu)化,避免冗余內(nèi)容。
客戶服務(wù)如聊天機(jī)器人0.5–0.80.7–0.9平衡自然與可控,保留部分多樣性以靈活應(yīng)答。
創(chuàng)意寫作如詩(shī)歌、故事生成0.7–1.20.8–0.95高溫+高Top-P,鼓勵(lì)多樣性,需注意邏輯連貫性。
開放探索如頭腦風(fēng)暴、靈感激發(fā)1.0–1.50.95–1.0高溫+全覆蓋Top-P,犧牲準(zhǔn)確性以激發(fā)意外創(chuàng)新。
本地知識(shí)庫(kù)如業(yè)務(wù)數(shù)據(jù)分類、結(jié)構(gòu)化信息抽取、知識(shí)問(wèn)答0.2–0.50.5–0.7降低隨機(jī)性,確保輸出穩(wěn)定和事實(shí)準(zhǔn)確,同時(shí)聚焦高頻候選詞,避免低質(zhì)量?jī)?nèi)容干擾。

參數(shù)調(diào)整建議

  1. 優(yōu)先調(diào)整單一參數(shù):通常僅需調(diào)整TemperatureTop-P,避免兩者同時(shí)大幅改動(dòng)。

  2. 高溫+中低Top-P:在創(chuàng)意任務(wù)中,高溫配合稍低Top-P(如0.8)可平衡多樣性與質(zhì)量。

  3. 低溫+低Top-P:用于高精度任務(wù)(如法律文本生成),確保輸出高度可控。

  4. 提示詞約束: 可以增加知識(shí)庫(kù)中無(wú)查詢內(nèi)容情況下輸出信息,最大化利用模型本身的知識(shí)范圍。例如:【如果知識(shí)庫(kù)中沒(méi)有找到相關(guān)的信息,請(qǐng)現(xiàn)在回答的開頭說(shuō)明“我不了解這個(gè)問(wèn)題,但我會(huì)根據(jù)我自己的理解嘗試回答”,然后再討論你的見(jiàn)解?!?/p>

四、總結(jié)

通過(guò)以上操作,即可在本地計(jì)算機(jī)或服務(wù)器上搭建一套完全離線的 AI 本地知識(shí)庫(kù)查詢系統(tǒng)。且效果能夠隨著模型參數(shù)、知識(shí)庫(kù)參數(shù)的優(yōu)化而變得更明顯。目前,該方案已在企業(yè)內(nèi)部知識(shí)管理、智能客服等場(chǎng)景落地,在保障數(shù)據(jù)安全的前提下,讓企業(yè)知識(shí)庫(kù)真正「活起來(lái)」。

DeepSeek 推理模型與 RAG 技術(shù)的結(jié)合,為構(gòu)建企業(yè)專屬知識(shí)庫(kù)的業(yè)務(wù)場(chǎng)景提供了高效的解決方案。通過(guò)將行業(yè)積累的技術(shù)文檔、項(xiàng)目經(jīng)驗(yàn)等結(jié)構(gòu)化數(shù)據(jù)與 AI 深度結(jié)合,既能讓系統(tǒng)精準(zhǔn)理解專業(yè)術(shù)語(yǔ),又能基于實(shí)時(shí)更新的知識(shí)庫(kù)生成可靠回答。采用這種架構(gòu)的方案,既保留了通用大模型的對(duì)話能力,又通過(guò)持續(xù)學(xué)習(xí)企業(yè)特有知識(shí),實(shí)現(xiàn)「越用越懂業(yè)務(wù)」的個(gè)性化效果。


該文章在 2025/3/11 18:11:39 編輯過(guò)
關(guān)鍵字查詢
相關(guān)文章
正在查詢...
點(diǎn)晴ERP是一款針對(duì)中小制造業(yè)的專業(yè)生產(chǎn)管理軟件系統(tǒng),系統(tǒng)成熟度和易用性得到了國(guó)內(nèi)大量中小企業(yè)的青睞。
點(diǎn)晴PMS碼頭管理系統(tǒng)主要針對(duì)港口碼頭集裝箱與散貨日常運(yùn)作、調(diào)度、堆場(chǎng)、車隊(duì)、財(cái)務(wù)費(fèi)用、相關(guān)報(bào)表等業(yè)務(wù)管理,結(jié)合碼頭的業(yè)務(wù)特點(diǎn),圍繞調(diào)度、堆場(chǎng)作業(yè)而開發(fā)的。集技術(shù)的先進(jìn)性、管理的有效性于一體,是物流碼頭及其他港口類企業(yè)的高效ERP管理信息系統(tǒng)。
點(diǎn)晴WMS倉(cāng)儲(chǔ)管理系統(tǒng)提供了貨物產(chǎn)品管理,銷售管理,采購(gòu)管理,倉(cāng)儲(chǔ)管理,倉(cāng)庫(kù)管理,保質(zhì)期管理,貨位管理,庫(kù)位管理,生產(chǎn)管理,WMS管理系統(tǒng),標(biāo)簽打印,條形碼,二維碼管理,批號(hào)管理軟件。
點(diǎn)晴免費(fèi)OA是一款軟件和通用服務(wù)都免費(fèi),不限功能、不限時(shí)間、不限用戶的免費(fèi)OA協(xié)同辦公管理系統(tǒng)。
Copyright 2010-2025 ClickSun All Rights Reserved