想問(wèn)下關(guān)于數(shù)據(jù)庫(kù)負(fù)載的問(wèn)題
問(wèn)題描述
現(xiàn)在公司有個(gè)程序用于bi統(tǒng)計(jì)數(shù)據(jù)分析的后臺(tái)，目前所有的統(tǒng)計(jì)數(shù)據(jù)都是通過(guò)各種復(fù)雜sql語(yǔ)句聯(lián)表的復(fù)合查詢(xún)得出的結(jié)果集。所以對(duì)數(shù)據(jù)庫(kù)的計(jì)算壓力比較大(雖然加了各種索引)，目前的臨時(shí)解決方案是提升硬件能力，比如在阿里云上面買(mǎi)個(gè)16cpu 64g的獨(dú)享數(shù)據(jù)庫(kù)主機(jī)(這樣能很大程度上緩解)。但是還有些c端程序也要跑，所以會(huì)會(huì)在這個(gè)數(shù)據(jù)庫(kù)上面部署多個(gè)庫(kù)。那如果那個(gè)統(tǒng)計(jì)的程序?qū)?shù)據(jù)庫(kù)的壓力比較大計(jì)算比較耗時(shí)，是否也會(huì)影響其它庫(kù)的讀寫(xiě)？應(yīng)該影響比較大吧？有什么好的解決方案嗎？
2個(gè)回答
我們之前是BI那邊定期拉基礎(chǔ)數(shù)據(jù)到他們自己的資源庫(kù)，然后根據(jù)自己的算法生成BI報(bào)表，他們那邊只拉數(shù)據(jù)，操作都是自己玩的，不影響業(yè)務(wù)這邊
-
-
powerbowen 2022-11-25
是否可以單條數(shù)據(jù)單挑數(shù)據(jù)更新，這樣的話(huà)搞一個(gè)統(tǒng)計(jì)表，然后相應(yīng)關(guān)聯(lián)數(shù)據(jù)調(diào)整走隊(duì)列修改對(duì)應(yīng)數(shù)據(jù)
-
bigman 2022-11-25
現(xiàn)在的現(xiàn)狀是都是依賴(lài)sql查詢(xún)，所以數(shù)據(jù)庫(kù)壓力比較大而且統(tǒng)計(jì)數(shù)據(jù)時(shí)間跨度也大
-
powerbowen 2022-11-25
1.數(shù)據(jù)實(shí)時(shí)性要求怎么樣。2.是否可以進(jìn)行統(tǒng)計(jì)數(shù)據(jù)分時(shí)段存儲(chǔ)（按需求存儲(chǔ)單位時(shí)間內(nèi)需要的數(shù)據(jù)）。3.是否可以直接統(tǒng)計(jì)數(shù)據(jù)落到一個(gè)統(tǒng)計(jì)表里，統(tǒng)計(jì)表中數(shù)據(jù)按照數(shù)據(jù)修改情況使用隊(duì)列更新。
比如你一個(gè)東西要聯(lián)好多表，查詢(xún)好多字段，是不是可以初始化這個(gè)東西放到一個(gè)表里，然后修改的時(shí)候只維護(hù)修改內(nèi)容設(shè)計(jì)的那幾項(xiàng)列，這樣計(jì)算就在代碼里，不用SQL計(jì)算了。 -
bigman 2022-11-25
優(yōu)化什么的后期都能做，目前的現(xiàn)狀就是這樣。主要是這樣一個(gè)數(shù)據(jù)庫(kù)實(shí)例多個(gè)數(shù)據(jù)庫(kù) 還是會(huì)影響c端的程序會(huì)變慢吧？
-
powerbowen 2022-11-27
一個(gè)實(shí)例多個(gè)庫(kù)的話(huà)，共同占用CPU內(nèi)存的，如果有慢查詢(xún)占用cpu內(nèi)存的話(huà)，其它也會(huì)變慢的
-
最簡(jiǎn)單的實(shí)現(xiàn)方式，主從數(shù)據(jù)庫(kù)，bi讀從數(shù)據(jù)庫(kù)；
稍微優(yōu)化點(diǎn)，做定時(shí)腳本管理，腳本將數(shù)據(jù)以時(shí)間序列的維度進(jìn)行統(tǒng)計(jì)，比如一個(gè)小時(shí)一條數(shù)據(jù)；bi系統(tǒng)將每小時(shí)的數(shù)據(jù)進(jìn)行累加或者列表展示或者其他統(tǒng)計(jì)處理；
稍微再優(yōu)化一下，將不同的數(shù)據(jù)源的數(shù)據(jù)，通過(guò)ETL遷移至數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖服務(wù)，定時(shí)調(diào)度器對(duì)數(shù)倉(cāng)/數(shù)據(jù)湖服務(wù)進(jìn)行統(tǒng)計(jì)運(yùn)算，生成不同的維度表，BI系統(tǒng)對(duì)維度表進(jìn)行二次運(yùn)算得到結(jié)果值，或者BI系統(tǒng)直接對(duì)數(shù)倉(cāng)/數(shù)據(jù)湖進(jìn)行sql查詢(xún)得到業(yè)務(wù)數(shù)據(jù)。
