在上一篇文章呢, 我只做了一件事, 把network switch的接口用途由原有的EXCEL extract data 出來, 整入CSV格式的檔案後匯入AI大模型參考的本地RAG知識庫, 供本地AI蒸餾模式千問3:1.7B的版本檢索其上下文..
原來的EXCEL長成啥樣呢? 如下, 抱歉, 我得加上一點馬賽克有點不太方便..
原來的EXCEL的紀錄呢, 可以說是圖文並茂, 但你千萬別以為AI聰明到可以看的懂它, 你只要把這檔案丟進AI, 它就看的懂, 那你可就誤會大了…尤其我用的幾乎是算力最低的模型,不要說看懂EXCEL了, 你可要知道舊版OFFICE文檔的編碼是BIG5, 你真把它轉出來前還得把它轉成UTF-8, 否則AI會告訴你, 上下文里都是亂碼, 搞笑不, 它是沒法看懂你的BIG5編碼的, 至少我用的模型不行..但我試過DEEPSEEK, QWEN3了 (PS: 目前deepseek的算力約為671B, 而我用的這本地是1.7B, 看這算力差距多大, 為何AI用電很兇呢?因為它需要併联一大堆電腦+GPU, 才能併出這麼大的算力, 單机即便你裝最新的單張GPU,可能只能跑到33B-60幾B最多的完整版本吧)
這一回, 先看成果影片, 在上一文章中, AI沒法回答我該端口的型態, VLAN ID等等資訊, 這些資訊在switch的備份設定檔上面可以有, 所以我準備整合進這個資訊, 其實也不難, 就把備份的config檔里的interface資訊拿出來整合到原來的CSV檔案內, 多出幾個欄位來, 如下圖.., 紅框內就是我由switch config檔里拉出的四個欄位資訊..
有了這四個新欄位資訊, 就能透過AI 檢索出某個PORT它的詳細資訊..如以下即是AI回答的示範…
其實, 目前我是將AI的運用限制在查詢, 同時在提示詞里限制AI, 檢索不到資料你就說查不到, 這樣它就不會有AI幻覺的問題, 所檢索的資料,是非結構性的資料, 其實挺好用的, 如果有一點資料處理的經驗呢, 其實你根本不用會寫程式, 現在寫程式不稀奇了, 因為你可以讓AI AGENT去寫, 即便需要資料同步, 你也能建立好工作流來處理, 未來真正的重點反而是你的創意能不能解決問題,或使工作更有效率.
以下影片紀錄AI 本地模型, 檢索我提供的上下文資料知識庫檢索的過程, 英文的部份是它正在思考及檢索, 最後正式回答則以中文出現..由於目前測試環境沒有GPU, 所以它看起來沒有太快, 等我GPU環境好了, 它就能飛快了, 因為我用的算力版本很低, 當然我也調了好一陣子了..
