一般AI對話,都能上傳檔案, 像deepseek/chatgpt等, 你都能夾檔給它回覆, 那我做的有點不同,不同點如以下:
1. 我可以在以後的多輪對話中,決定還讓不讓已上傳的檔案加入上下文一起分析
2. 我可以後台決定上傳多少檔案個數以及檔案容量大小.目前我記得我是設五個. 當然要改20個那也成.
最大的不同點應該還是第一點, 但在其它公開平台你一般對談 如果不再用那檔案來加入分析, 你就另開一工作區也是可以
這個程序我做了大半個月去了, 框架很快, 但後來一直在微調幾個東西
- 串流的效率及頁面排版
- 加入了幾個新功能: 最大的改變是多輪對話(可設置參數決定幾輪), AUTOSQL: 用自然語言查詢後台資料庫,可查詢MO/SO/PO/PRE-ORDER/IT-SERVICE REPORT等等..後來還加上長截圖/複製對答內文,將卡住的API錯誤訊息反應到前端,不讓前端傻傻的等或不知其何以跳回等待輸入狀態等等小功能.但也因為每回加功能,就必然有舊功能受到影响..
以下就是一例, 我做多輪對話已經好幾天, 我一直在測它有沒有BUG, 尤其配合AUTOSQL, 一開始是遇到效率問題, 有時到第三輪卡到自己送不出去給AI, 後來又遇上到了設定的對談上限,比如到了第六輪,它也卡了, 變成不會自動滾動, 到了第七輪, 原來的最舊那筆沒在session記憶体中刪除, 諸如此類的錯誤, 都得不断耐著性子測…
這是前端秀出被API限流的警示畫面, 基本主畫面也沒變多少,就加了對答框下的複製按鈕,以及長截圖的功能…
畢竟用著人家FREE的大模型, 偶爾被rate-limit也很正常, 雖然我明明沒有一分鐘內送出超過它規範的需求, 我估計是它也在忙, 畢竟大家都愛用免費的,偶爾塞個車就重送就是了, 所以我才做了那複製鍵, 方便, 雖然我也有召回歷史問題,但似乎複製按鈕更快.
今天我解決了一些SSE效率及漏碼的問題, 我就想再把所有功能確認一下,尤其很久沒確認檔案上傳那里帶不帶上下文的部份…我在檔案管理功能那里上傳了檔案後它會自動啟用帶上下文…
如果按顯示文件,會看到它打勾的樣子…
打勾就是帶上下文, 如果我再按一次,它就會變成X, 變成X 就是不再送AI分析,
結果今天一測傻眼了, 我才發現應該是多輪對話那里沒有特別再處理這段邏輯…一開始AI也沒發現, 給了我一個小PATCH , 上上去也沒用,我才問它是不是被多輪對話邏輯影响了,
於是乎又開始了PATCH 又PATCH…
這才終於給搞了定啊, 以下是測試內容…確認的方式便是我傳了一個檔案上去,叫它列表, 然後在顯示文件那里取消帶上下文, 然後問它文檔內的內容, 在第二輪時它就抱怨我不知道啦, 接著我再勾選一次, 再問同樣問題, 這回因為帶了上下文, 它才回答了正確答案..
其實AI的多輪記憶, 是由CLIENT打包給它的, 並不是它那里自己記憶的, 也就是說每回的對談加上上一次的對談一併打包過去, 那也會造成TOKENS數激增, 這下懂了吧, 這也是AI廠商賺錢的點了, 很多計量的都是算INPUT/OUTPUT的TOKENS來計費的, 我有一次一個問題沒問完就被扣了四美金, 特可怕的…難怪一堆人要搶AI的生意來做?
以下的測試內容就是用新做的長截圖功能截的…會自動捲頁到最後全部截圖下來. 對分享很有幫助.
