請(qǐng)求GPT接口，流式輸出問(wèn)題
問(wèn)題描述 參考了另外兩個(gè)流式輸出的帖子，實(shí)際只是想中轉(zhuǎn)GPT接口的輸出。 不知道帖子里面為什么需要一個(gè)獨(dú)立的 process 監(jiān)聽(tīng)獨(dú)立的接口？ 是為了區(qū)分慢接口嗎？ 我只參考了 Controller 代碼，簡(jiǎn)單設(shè)置響應(yīng)頭，理論上就可以輸出。 效果確實(shí)可以，能實(shí)現(xiàn)逐行輸出，最后為什么會(huì)自動(dòng)輸出個(gè)http 響應(yīng)頭？ 怎么屏蔽這個(gè)？ 目前業(yè)務(wù)代碼只需要屏蔽這個(gè) http 響應(yīng)頭， 將for循環(huán)的輸出替換為 curl...
webman的processer分配邏輯是什么？
問(wèn)題描述 前端瀏覽器通常會(huì)同時(shí)給后端發(fā)送多個(gè)請(qǐng)求。在服務(wù)器空閑的時(shí)候，理論上應(yīng)該并發(fā)處理啊。為什么會(huì)出現(xiàn)排隊(duì)處理的情況。 測(cè)試案例： 用sleep 模擬延遲，在服務(wù)器空閑的時(shí)候，同一個(gè)方法三次請(qǐng)求會(huì)排隊(duì)執(zhí)行，并不會(huì)自動(dòng)使用空閑的 processer 。 同時(shí)調(diào)用不同的測(cè)試方法，也會(huì)出現(xiàn)排隊(duì)的情況，最多出現(xiàn)在兩個(gè) connections 中，還是會(huì)出現(xiàn)排隊(duì)。 每次請(qǐng)求應(yīng)該都是獨(dú)立的，不知道這個(gè) connection ...
有沒(méi)有辦法將日志根據(jù)請(qǐng)求整合在一起
問(wèn)題描述 日志記錄的時(shí)候，有沒(méi)有什么辦法能將一次請(qǐng)求相關(guān)的日志按照順序羅列出來(lái)。 包括中間手動(dòng)記錄的日志。以及可能的異步執(zhí)行的日志 目前用webman/log日志插件，只能保證默認(rèn)的請(qǐng)求及SQl日志在一起。 自己記錄一些日志的話。 不同請(qǐng)求的日志就會(huì)串在一起，很難排查一個(gè)請(qǐng)求完整的邏輯。 有沒(méi)有什么辦法能將一次請(qǐng)求的日志按照順序排列。 甚至是異步執(zhí)行的邏輯里面的日志。 例如在一開(kāi)始搞個(gè) request_id 所有的日...
