在redis-queue中使用http client

liuzhongsheng 2025-03-18

問(wèn)題描述

系統(tǒng)有向第三方發(fā)起post的需求，當(dāng)前是直接將任務(wù)丟給了redis-queue，然后使用異步http處理，但是該方案在并發(fā)處理多的時(shí)候可能導(dǎo)致資源占用過(guò)大，請(qǐng)問(wèn)各位有沒(méi)有辦法控制，每次同時(shí)處理的數(shù)量呢？

 405  1 1

1個(gè)回答

超高級(jí)的稻姬 2025-03-18

1.把異步http請(qǐng)求改成同步
2.或者你想要并行，就將原來(lái)的單一消息按照n個(gè)分組然后投遞隊(duì)列，隊(duì)列中并行這n個(gè)請(qǐng)求然后等待同步結(jié)果就行。

liuzhongsheng 2025-03-18

??只能改回去了??
nitron 2025-03-18

本來(lái)放queue內(nèi)已經(jīng)算是異步處理了,在queue內(nèi)還要再使用異步,頻繁的上下文切換也是要資源的,畢竟是IO操作
liuzhongsheng 2025-03-18

對(duì)，我按一秒30個(gè)請(qǐng)求這樣處理，
超高級(jí)的稻姬 2025-03-18

可以控制一次性讀取隊(duì)列消息的數(shù)量，然后將讀取出的這些數(shù)據(jù)并行處理。
keroppi 2025-03-18

隊(duì)列還是 rabbit kafka 這樣的好，可以分channel topic 啥的，redis 很多需要自己去實(shí)現(xiàn)，一個(gè)人搞難度很大
tanhongbin 2025-03-19

開(kāi)16個(gè)進(jìn)程每個(gè)進(jìn)程1s處理兩個(gè)請(qǐng)求不就夠了嘛又想馬兒跑又不給吃草肯定不行的
kof21411 2025-03-19

異步改同步，加大進(jìn)程數(shù)，什么都?jí)蛄?/p>
Jason X 2025-03-19

可以試試協(xié)程
tanhongbin 2025-03-19

協(xié)程不一定有阻塞快協(xié)程太吃cpu了