海外阿里云:企業(yè)級(jí)云數(shù)據(jù)庫怎么完結(jié)增效降本？
                                                    國(guó)際阿里云代理 實(shí)名賬號(hào)出售/代充
業(yè)務(wù)辦理：
              國(guó)際阿里云、華為云、騰訊云、谷歌云、亞馬遜云、微軟云、
            （七牛云，優(yōu)刻德，ucloud，聚名，西部數(shù)碼，友盟，ip代理，天翼云，億速云、小鳥云、尊云，）
              GPU服務(wù)器、對(duì)象存儲(chǔ)oss、云數(shù)據(jù)庫、負(fù)載均衡SLB、彈性IP 
              備案域名、高防ip、彈性服務(wù)器、cc防御，DDOS防御，地區(qū)+服務(wù)器。

阿里云服務(wù)，助力企業(yè)輕松上云，賬號(hào)申請(qǐng)及售后服務(wù)請(qǐng)聯(lián)系：TG客服：@laoying06 

01 概述
數(shù)字化已經(jīng)成為企業(yè)進(jìn)步事務(wù)功率、市場(chǎng)競(jìng)爭(zhēng)力、辦理才能的要害，后疫情年代經(jīng)濟(jì)復(fù)蘇和企業(yè)從頭起航需求較長(zhǎng)時(shí)刻，大部分企業(yè)在這段時(shí)刻的中心戰(zhàn)略是“收縮戰(zhàn)線，精兵簡(jiǎn)政”，企業(yè)在上云、用云過程中，面對(duì)增效降本的訴求，作為數(shù)字化的中心技能---數(shù)據(jù)庫怎么增效降本，和企業(yè)一起度過困難的階段，是許多企業(yè)重視的論題。

阿里云瑤池?cái)?shù)據(jù)庫一直在考慮怎么給企業(yè)供給高效安穩(wěn)的數(shù)據(jù)庫處理計(jì)劃，國(guó)際阿里云代理商一起幫企業(yè)節(jié)約IT本錢，并繼續(xù)建造和構(gòu)思增效降本的辦法和途徑。

02 事務(wù)痛點(diǎn)和應(yīng)對(duì)考慮
2.1 企業(yè)上云、用云面對(duì)的數(shù)據(jù)庫增效痛點(diǎn)

企業(yè)事務(wù)由小強(qiáng)大過程中，事務(wù)逐漸雜亂、事務(wù)類型日趨多元化、數(shù)據(jù)量逐漸變大、數(shù)據(jù)庫實(shí)例數(shù)逐漸增加，需求構(gòu)建高性價(jià)比、低本錢的數(shù)據(jù)庫計(jì)劃；數(shù)據(jù)庫計(jì)劃要具有高安穩(wěn)性、高功用、健壯性好、架構(gòu)簡(jiǎn)略易保護(hù)等特色；不同類型事務(wù)對(duì)數(shù)據(jù)庫核算資源運(yùn)用特色不同，需求具有靈敏、高彈性、適配性好核算資源供給方法以滿意不同類型事務(wù)個(gè)性化運(yùn)用需求；跟著數(shù)據(jù)量從較小逐漸增大，數(shù)據(jù)存儲(chǔ)怎么更低本錢、更方便地存儲(chǔ)和拜訪以及可繼續(xù)支撐事務(wù)，也是數(shù)據(jù)庫計(jì)劃的重要重視點(diǎn)；跟著研制團(tuán)隊(duì)的人員日趨增多和數(shù)據(jù)庫實(shí)例的不斷增加，怎么給研制團(tuán)隊(duì)供給安全、高效、低運(yùn)用本錢的數(shù)據(jù)庫計(jì)劃的也成為企業(yè)負(fù)責(zé)人重視的重要論題。面對(duì)企業(yè)這些訴求，云數(shù)據(jù)庫怎么在產(chǎn)品、計(jì)劃側(cè)應(yīng)對(duì)的呢？

2.2 構(gòu)建增效降本才能、戰(zhàn)略和考慮

咱們首要考慮一個(gè)問題：將數(shù)據(jù)庫定義為一種服務(wù)，對(duì)一個(gè)上云、用云企業(yè)，云數(shù)據(jù)庫直觀本錢包括哪些？

硬件本錢：云廠商承載數(shù)據(jù)庫實(shí)例的服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)以及IDC根底設(shè)施本錢。
軟件本錢：云廠商研制、迭代數(shù)據(jù)庫軟件的人力本錢，部分服務(wù)有軟件采購本錢。
運(yùn)用和保護(hù)本錢：企業(yè)運(yùn)用數(shù)據(jù)庫的人員花時(shí)刻學(xué)習(xí)、掌握技能，數(shù)據(jù)庫需求技能人員保護(hù)。
時(shí)刻本錢：企業(yè)選用雜亂計(jì)劃、低效計(jì)劃、不安穩(wěn)計(jì)劃計(jì)劃，有較長(zhǎng)的學(xué)習(xí)時(shí)刻本錢和試錯(cuò)本錢。
數(shù)據(jù)處理本錢：為進(jìn)步數(shù)據(jù)財(cái)物價(jià)值，企業(yè)探究數(shù)據(jù)運(yùn)用方法和數(shù)據(jù)流通方法需求較大人力本錢。
對(duì)企業(yè)來說數(shù)據(jù)庫本錢包括兩個(gè)維度，一個(gè)是云廠商供給可繼續(xù)服務(wù)的本錢，一個(gè)是企業(yè)運(yùn)用和保護(hù)數(shù)據(jù)庫的人力本錢和時(shí)刻投入本錢；增效降本計(jì)劃需求“下降”軟硬件本錢，并經(jīng)過優(yōu)勢(shì)計(jì)劃進(jìn)步數(shù)據(jù)庫運(yùn)用人效、下降人力本錢和時(shí)刻本錢。

03 構(gòu)建云原生數(shù)據(jù)庫增效降本計(jì)劃
3.1 數(shù)據(jù)庫增效降本框架

云數(shù)據(jù)庫完結(jié)增效降本，供給幾個(gè)層面手段和計(jì)劃：

數(shù)據(jù)庫核算資源彈性，經(jīng)過快速彈性升降配、主動(dòng)彈性升降配、Serverless等方法進(jìn)步彈性才能，充分使用云的彈性才能降本。
數(shù)據(jù)庫存儲(chǔ)資源，供給數(shù)據(jù)通明冷熱分層、數(shù)據(jù)平滑歸檔、存儲(chǔ)高緊縮比、新硬件增效降本等應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)和拜訪的高性價(jià)比計(jì)劃。
數(shù)據(jù)庫架構(gòu)優(yōu)化，供給數(shù)據(jù)庫HTAP處理計(jì)劃、多源會(huì)聚庫、低本錢多級(jí)數(shù)倉等架構(gòu)優(yōu)化計(jì)劃，下降運(yùn)用本錢、開發(fā)保護(hù)本錢。
建造運(yùn)維、研制增效計(jì)劃，依據(jù)DMS的數(shù)據(jù)庫DevOPS計(jì)劃，依據(jù)DAS的構(gòu)建數(shù)據(jù)庫“主動(dòng)駕駛”計(jì)劃。
從下圖能夠看出云數(shù)據(jù)庫供給的增效降本計(jì)劃覆蓋了數(shù)據(jù)核算、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流通、數(shù)據(jù)剖析、數(shù)據(jù)辦理保護(hù)等不同事務(wù)階段供企業(yè)挑選。


3.2 核算彈性增效將本

彈性是云原生數(shù)據(jù)庫中心優(yōu)勢(shì)，能有用下降核算本錢，阿里云數(shù)據(jù)庫一直致力于供給彈性才能更強(qiáng)計(jì)劃給企業(yè)客戶，云數(shù)據(jù)庫的彈性才能閱歷了三個(gè)階段：

第一階段是高彈性才能，將天、小時(shí)級(jí)彈性提速到分鐘級(jí)。

第二階段是主動(dòng)彈升，支撐依據(jù)預(yù)測(cè)的主動(dòng)彈性彈性和守時(shí)主動(dòng)彈性彈性進(jìn)步彈性才能。

第三階段是建造和繼續(xù)演進(jìn)數(shù)據(jù)庫Serverless才能，進(jìn)一步進(jìn)步資源使用率。


傳統(tǒng)主從仿制架構(gòu)數(shù)據(jù)庫升降配和增加節(jié)點(diǎn)需求仿制數(shù)據(jù)，消耗時(shí)刻和數(shù)據(jù)物理巨細(xì)有關(guān)。國(guó)際阿里云代理商PolarDB憑借RDMA高速網(wǎng)絡(luò)和共享存儲(chǔ)才能，升降配增加節(jié)點(diǎn)與數(shù)據(jù)庫巨細(xì)解耦，分鐘級(jí)即可完結(jié)，可構(gòu)建“流量突發(fā)型事務(wù)庫”提效計(jì)劃進(jìn)步企業(yè)數(shù)據(jù)庫彈性才能。

部分企業(yè)事務(wù)雜亂度高、多樣化強(qiáng)、反常流量無法預(yù)測(cè)，對(duì)彈性計(jì)劃提出了進(jìn)化要求，數(shù)據(jù)庫自治服務(wù)DAS的主動(dòng)功用擴(kuò)展結(jié)合PolarDB分鐘級(jí)彈性供給分鐘級(jí)主動(dòng)彈升才能，許多企業(yè)客戶憑借該才能躲避功用危險(xiǎn)。云數(shù)據(jù)庫RDS MySQL也支撐功用主動(dòng)擴(kuò)容才能，云原生數(shù)倉AnalyticDB經(jīng)過分時(shí)彈性支撐守時(shí)主動(dòng)彈升才能。

Serverless技能給資源彈升和計(jì)費(fèi)帶來更靈敏的才能，PolarDB攻堅(jiān)了Serverless技能難點(diǎn)：資源解耦、主動(dòng)彈性彈性、按運(yùn)用量計(jì)費(fèi)、秒級(jí)彈性擴(kuò)展等。支撐無感BP Resize的本地Scale Up、跨機(jī)ScaleUp、跨機(jī)ScaleOut。云數(shù)據(jù)庫RDS MySQL、云原生數(shù)據(jù)倉庫AnalyticDB、云MongoDB也都具有了Serverless才能。


3.3 存儲(chǔ)通明冷熱分層、緊縮增效降本

數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)庫的中心才能，云數(shù)據(jù)庫憑借云根底設(shè)施構(gòu)建和支撐不同技能目標(biāo)、不同本錢、運(yùn)用靈敏的存儲(chǔ)計(jì)劃。企業(yè)的事務(wù)數(shù)據(jù)類型、事務(wù)數(shù)據(jù)量、數(shù)據(jù)物理巨細(xì)跟著事務(wù)開展到必定階段和量級(jí)面對(duì)以下痛點(diǎn)：?jiǎn)螌?shí)例存儲(chǔ)量大、存儲(chǔ)本錢高、實(shí)時(shí)事務(wù)數(shù)據(jù)高功用拜訪、海量數(shù)據(jù)高功用拜訪訴求等。

云數(shù)據(jù)庫經(jīng)過以下幾種技能計(jì)劃來完結(jié)數(shù)據(jù)存儲(chǔ)方面的提效和降本：

數(shù)據(jù)通明冷熱分層存儲(chǔ)讀寫
數(shù)據(jù)存儲(chǔ)緊縮
自研X-Engine引擎前史庫
硬件緊縮盤（Smart-SSD）
Tair PMEM耐久內(nèi)存
3.3.1 通明冷熱分層計(jì)劃

冷熱數(shù)據(jù)分層存儲(chǔ)是應(yīng)對(duì)很多數(shù)據(jù)存儲(chǔ)常見計(jì)劃，依據(jù)數(shù)據(jù)運(yùn)用頻率、文件巨細(xì)、文件類型等特征做數(shù)據(jù)冷熱分層，選用適配的存儲(chǔ)介質(zhì)存儲(chǔ)，滿意存儲(chǔ)海量數(shù)據(jù)、延長(zhǎng)保存期限、下降存儲(chǔ)本錢、進(jìn)步數(shù)據(jù)拜訪功率等訴求。

數(shù)據(jù)冷熱分層的要害是通明冷熱分層存儲(chǔ)戰(zhàn)略、冷熱數(shù)據(jù)通明讀取以及無感數(shù)據(jù)過期搬遷，一般以時(shí)刻字段作為區(qū)分冷熱數(shù)據(jù)依據(jù)。如在Lindorm上，在表上配置數(shù)據(jù)冷熱時(shí)刻分界點(diǎn)（COLD_BOUNDARY），Lindorm依據(jù)數(shù)據(jù)寫入時(shí)刻戳(毫秒)來判別數(shù)據(jù)冷熱。數(shù)據(jù)寫入時(shí)優(yōu)先存儲(chǔ)于熱存儲(chǔ)，寫入時(shí)刻超越冷熱時(shí)刻分界點(diǎn)，major_compact時(shí)歸檔冷數(shù)據(jù)到冷存儲(chǔ)介質(zhì)。數(shù)據(jù)讀取時(shí)主動(dòng)依據(jù)查詢時(shí)刻范圍條件決議查詢熱區(qū)、冷區(qū)仍是冷熱都查。

除了Lindorm，Clickhouse、PolarDB MySQL、AnalyticDB MySQL也支撐數(shù)據(jù)冷熱分層存儲(chǔ)和讀取。

3.3.2 數(shù)據(jù)存儲(chǔ)緊縮計(jì)劃

除了將冷熱數(shù)據(jù)分別存儲(chǔ)到不同介質(zhì)外，許多數(shù)據(jù)庫支撐引擎層面選用緊縮算法來減少空間占用，如PolarDB X-Engine引擎，比照InnoDB引擎，最高可節(jié)約50%的存儲(chǔ)空間；Lindorm內(nèi)置深度優(yōu)化的緊縮算法，數(shù)據(jù)緊縮率高達(dá)10:1以上。

X-Engine引擎行存數(shù)據(jù)緊縮


Tair是阿里云自研云原生內(nèi)存數(shù)據(jù)庫，完全兼容開源Redis，除了純內(nèi)存的產(chǎn)品形狀，Tair憑借于新式存儲(chǔ)介質(zhì)——Intel 傲騰（AEP）耐久內(nèi)存技能，完本錢錢低于于內(nèi)存（DRAM）30%以上。

Tair耐久內(nèi)存實(shí)例中，每條記錄都確保寫入AEP而且耐久化才回來，極大進(jìn)步數(shù)據(jù)可靠性，能夠做到RPO=0；讀取途徑上運(yùn)用Dram緩存如索引、數(shù)據(jù)結(jié)構(gòu)、元數(shù)信息等熱點(diǎn)數(shù)據(jù)，加速數(shù)據(jù)拜訪。


3.4 技能架構(gòu)優(yōu)化增效降本

跟著事務(wù)規(guī)劃、用戶量、事務(wù)雜亂度的進(jìn)步，企業(yè)運(yùn)用數(shù)據(jù)庫的場(chǎng)景日趨雜亂，自建數(shù)據(jù)庫服務(wù)面對(duì)著構(gòu)建更多周邊服務(wù)下降運(yùn)用、學(xué)習(xí)本錢，云數(shù)據(jù)庫供給多種技能架構(gòu)優(yōu)化計(jì)劃，本段介紹HTAP處理計(jì)劃、多源會(huì)聚庫計(jì)劃、依據(jù)湖倉一體的多級(jí)數(shù)倉計(jì)劃。

3.4.1 HTAP處理計(jì)劃

HTAP是數(shù)據(jù)庫技能領(lǐng)域新概念，是在線事務(wù)（OLTP）和在線剖析（OLAP）合稱簡(jiǎn)寫。HTAP的最大長(zhǎng)處是能夠在一個(gè)數(shù)據(jù)庫中支撐OLTP和OLAP事務(wù)，體系具有完整事務(wù)才能，支撐實(shí)時(shí)插入、實(shí)時(shí)刪去、單條更新、批量導(dǎo)入、按索引查詢、海量數(shù)據(jù)實(shí)時(shí)剖析等才能。

阿里云PolarDB MySQL經(jīng)過列存索引IMCI和彈性多機(jī)并行ePQ使得PolarDB具有HTAP才能，支撐OLTP高并發(fā)讀寫的一起，大幅進(jìn)步PolarDB在大數(shù)據(jù)量雜亂查詢功用。優(yōu)化器支撐依據(jù)價(jià)值的履行計(jì)劃挑選，從IMCI->ePQ->MySQL原生串行查詢，確保SQL 100%可解析履行。IMCI(In-Memory Column Index)節(jié)點(diǎn)和行存只讀節(jié)點(diǎn)依據(jù)物理仿制確保推遲在毫秒至秒級(jí)，進(jìn)步數(shù)據(jù)拜訪的實(shí)時(shí)性。適用于億至百億事務(wù)數(shù)據(jù)雜亂查詢提速、原生MySQL查詢慢、事務(wù)混合負(fù)載事務(wù)查詢提速。PolarDB HTAP計(jì)劃在實(shí)際事務(wù)場(chǎng)景運(yùn)用中最高能夠達(dá)到百倍慢查詢提速，暢捷通、金萬維等客戶都憑借HTAP計(jì)劃為事務(wù)提速。HTAP計(jì)劃事務(wù)架構(gòu)圖如下：


PolarDB IMCI經(jīng)過列式存儲(chǔ)高緊縮存放、按需讀取需求剖析列、履行器算子并行履行、單個(gè)線程內(nèi)算子數(shù)據(jù)交互以Batch為單位下降函數(shù)調(diào)用開支等技能結(jié)合配合彈性多機(jī)并行使得PolarDB成為一個(gè)真實(shí)的HTAP數(shù)據(jù)庫體系。


彈性多機(jī)并行ePQ能夠使用多核算節(jié)點(diǎn)資源進(jìn)行并行查詢，提速TB等級(jí)甚至單表10TB以上多表相關(guān)雜亂查詢，突破單機(jī)CPU/IO瓶頸將多個(gè)節(jié)點(diǎn)核算資源打通，使用大局資源提速很多數(shù)據(jù)雜亂查詢。


3.4.2 多源會(huì)聚庫

多源會(huì)聚庫是泛互聯(lián)網(wǎng)企業(yè)做微服務(wù)拆分、數(shù)據(jù)庫筆直拆分后常見的跨實(shí)例數(shù)據(jù)拜訪、數(shù)據(jù)抽取、數(shù)據(jù)流通計(jì)劃，為下降研制本錢考慮選用會(huì)聚庫方法做拆分后跨庫數(shù)據(jù)查詢和數(shù)據(jù)流通。傳統(tǒng)多源會(huì)聚庫計(jì)劃經(jīng)過開源或商業(yè)數(shù)據(jù)仿制東西將多個(gè)事務(wù)庫數(shù)據(jù)仿制到會(huì)聚庫，會(huì)聚庫結(jié)合代理軟件向不同事務(wù)側(cè)供給數(shù)據(jù)庫服務(wù)，支撐跨庫查詢、數(shù)據(jù)抽取、數(shù)據(jù)下有仿制等，常見架構(gòu)如下：


該計(jì)劃滿意跨庫查詢需求、數(shù)據(jù)向下流流通、慢查詢導(dǎo)致事務(wù)庫功用顫動(dòng)問題，存在以下缺乏：數(shù)據(jù)仿制推遲大影響數(shù)據(jù)拜訪質(zhì)量、存儲(chǔ)本錢高、開源代理不安穩(wěn)保護(hù)本錢高、會(huì)聚庫以及數(shù)據(jù)流通使命康復(fù)本錢高DBA保護(hù)壓力大。

阿里云數(shù)據(jù)庫供給依據(jù)PolarDB多主集群的多源會(huì)聚庫計(jì)劃，多主集群支撐一個(gè)集群多個(gè)主節(jié)點(diǎn)，恣意主節(jié)點(diǎn)都可拜訪共享存儲(chǔ)內(nèi)一切數(shù)據(jù)，并能夠在恣意主節(jié)點(diǎn)讀寫。不同主節(jié)點(diǎn)能夠承載不同數(shù)據(jù)庫支撐恣意主節(jié)點(diǎn)之間秒級(jí)切換數(shù)據(jù)庫，能夠經(jīng)過大局讀節(jié)點(diǎn)結(jié)合智能代理替代會(huì)聚庫，支撐流量主動(dòng)轉(zhuǎn)發(fā)讀寫和負(fù)載均衡，架構(gòu)如下圖：


依據(jù)PolarDB多主集群構(gòu)建的多源會(huì)聚庫計(jì)劃具有以下事務(wù)收益：

進(jìn)步跨庫聚合查詢和數(shù)據(jù)向下流流通功率。
下降存儲(chǔ)本錢：存儲(chǔ)本錢占比高(50%以上)相對(duì)自建數(shù)據(jù)庫可降本10%以上，某買賣屬性客戶搬遷后降本20%。
進(jìn)步數(shù)據(jù)拜訪質(zhì)量：仿制推遲毫秒至秒。
進(jìn)步反?？祻?fù)速度：級(jí)擴(kuò)容寫節(jié)點(diǎn)、大局讀節(jié)點(diǎn)高可用、分鐘級(jí)新增幾點(diǎn)。
DBA作業(yè)量低：反常切換康復(fù)操作方便、數(shù)據(jù)流通便利、便利授權(quán)。
3.4.3 依據(jù)湖倉一體的多級(jí)數(shù)倉計(jì)劃

跟著事務(wù)數(shù)據(jù)不斷增加和多樣化，能夠把數(shù)據(jù)大致分為兩類，一類是結(jié)構(gòu)化數(shù)據(jù)，另一類是非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)最具代表性的數(shù)據(jù)庫有Oracle和Teradata，但面對(duì)保護(hù)本錢+方針危險(xiǎn)雙重壓力；半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)依據(jù)數(shù)據(jù)特征能夠分為寬表、時(shí)序、圖、key-value、文檔等，這兩類數(shù)據(jù)存儲(chǔ)讀取典型代表是Hadoop，但技能棧繁復(fù)、雜亂依賴個(gè)人才能，保護(hù)本錢過高。數(shù)據(jù)事務(wù)特性跟著時(shí)刻開展從傳統(tǒng)商業(yè)事務(wù)數(shù)據(jù)，到互聯(lián)網(wǎng)平臺(tái)事務(wù)數(shù)據(jù)，再到萬物互聯(lián)的事務(wù)數(shù)據(jù)，數(shù)據(jù)規(guī)劃也從GB級(jí)，到PB級(jí)，再到EB級(jí)。

數(shù)據(jù)作為企業(yè)的中心財(cái)物，跟著企業(yè)之間商業(yè)競(jìng)爭(zhēng)日益劇烈，數(shù)據(jù)活動(dòng)越快發(fā)生價(jià)值越大企業(yè)競(jìng)爭(zhēng)力越強(qiáng)。傳統(tǒng)數(shù)倉面對(duì)挑戰(zhàn)越加嚴(yán)峻，大數(shù)據(jù)開展也從傳統(tǒng)數(shù)倉開展到離線大數(shù)據(jù)年代來滿意大數(shù)據(jù)量和數(shù)據(jù)多樣化的訴求，企業(yè)對(duì)數(shù)據(jù)實(shí)時(shí)性要求越來越高，需求經(jīng)過實(shí)時(shí)數(shù)倉以及湖倉一體來處理所面對(duì)的痛點(diǎn)。下面介紹依據(jù)阿里云構(gòu)建實(shí)時(shí)數(shù)倉和湖倉一體的多級(jí)數(shù)倉計(jì)劃。

怎么構(gòu)建實(shí)時(shí)數(shù)倉

數(shù)倉一般分為ODS層、DWD層、DWS層和ADS層，數(shù)據(jù)分層越多，數(shù)據(jù)的實(shí)時(shí)性受影響越大。要構(gòu)建實(shí)時(shí)數(shù)倉需求減少數(shù)據(jù)端到端的層數(shù)和并進(jìn)步數(shù)據(jù)處理速度，數(shù)據(jù)分層結(jié)合數(shù)據(jù)事務(wù)需求，額外構(gòu)建一套實(shí)時(shí)數(shù)倉，來滿意實(shí)時(shí)事務(wù)場(chǎng)景。

依據(jù)現(xiàn)有數(shù)倉體系演進(jìn)的架構(gòu)就變成標(biāo)準(zhǔn)數(shù)倉分層+流核算+批處理，詳細(xì)架構(gòu)變成如下：


依據(jù)該規(guī)劃理念衍生到阿里云實(shí)時(shí)數(shù)倉處理計(jì)劃：


挑選數(shù)據(jù)傳輸服務(wù)DTS支撐事務(wù)數(shù)據(jù)到實(shí)時(shí)數(shù)據(jù)的數(shù)流通，實(shí)時(shí)數(shù)倉挑選云原生數(shù)據(jù)倉庫AnalyticDB MySQL數(shù)倉版，湖倉一體計(jì)劃挑選AnalyticDB湖倉版支撐，經(jīng)過數(shù)據(jù)辦理DMS支撐使命編列、數(shù)倉開發(fā)、ETL等功用，一起DMS還支撐流式ETL。

為何挑選DTS做數(shù)據(jù)實(shí)時(shí)流通

數(shù)據(jù)傳輸服務(wù)DTS支撐聯(lián)系型數(shù)據(jù)庫、NoSQL、大數(shù)據(jù)(OLAP)等數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)同步，供給功用豐厚、操作方便、數(shù)據(jù)實(shí)時(shí)仿制、傳輸功用強(qiáng)、支撐斷點(diǎn)續(xù)傳、易用性高、安全可靠的數(shù)據(jù)傳輸服務(wù)，簡(jiǎn)化數(shù)據(jù)流通作業(yè)，使數(shù)據(jù)開發(fā)人員能夠?qū)Ｗ?shù)據(jù)事務(wù)開發(fā)。

為何挑選AnalyticDB？

云原生數(shù)據(jù)倉庫AnalyticDB MySQL版是新一代云原生數(shù)據(jù)倉庫，AnalyticDB支撐高吞吐數(shù)據(jù)實(shí)時(shí)增刪改、低延時(shí)實(shí)時(shí)剖析和雜亂ETL，兼容上下流生態(tài)東西，可用于構(gòu)建企業(yè)級(jí)報(bào)表體系、數(shù)據(jù)倉庫和數(shù)據(jù)服務(wù)引擎。AnalyticDB具有以下優(yōu)勢(shì)：

兼容MySQL：高度兼容MySQL協(xié)議以及SQL 92、SQL 99、SQL 2003標(biāo)準(zhǔn)。
多租戶：經(jīng)過資源組完結(jié)核算資源隔離滿意不同類型租戶事務(wù)需求。
分時(shí)彈性：支撐定制彈性計(jì)劃（每天守時(shí)、每周守時(shí)），事務(wù)高峰期來臨前主動(dòng)擴(kuò)容滿意事務(wù)流量增加需求，事務(wù)高峰往后縮容下降IT本錢。
AnalyticDB湖倉版

依據(jù)AnalyticDB湖倉版構(gòu)建湖倉一體計(jì)劃，內(nèi)部存儲(chǔ)支撐在線數(shù)據(jù)處理和查詢，開放式存儲(chǔ)支撐離線數(shù)據(jù)處理，能夠辨認(rèn)加載多種數(shù)據(jù)格式文件。具有云原生、主動(dòng)數(shù)據(jù)冷熱分層能、多租戶、多種核算引擎等才能，支撐PB級(jí)數(shù)據(jù)實(shí)時(shí)、離線剖析，秒級(jí)到分鐘級(jí)出成果，湖倉版架構(gòu)圖：


3.5 運(yùn)維、研制流程增效計(jì)劃

云數(shù)據(jù)庫協(xié)助企業(yè)處理了資源彈性、高可用、備份、監(jiān)控等根底運(yùn)維問題，跟著事務(wù)開展、公司規(guī)劃擴(kuò)大，數(shù)據(jù)庫運(yùn)維團(tuán)隊(duì)面對(duì)著數(shù)據(jù)庫集群規(guī)劃化、研制流程化以及運(yùn)維智能化建造需求。云數(shù)據(jù)庫供給運(yùn)維、研制流程增效計(jì)劃：數(shù)據(jù)庫DevOPS計(jì)劃、數(shù)據(jù)庫自治辦理計(jì)劃。

3.5.1 數(shù)據(jù)庫DevOps計(jì)劃

傳統(tǒng)數(shù)據(jù)庫研制模式一般會(huì)面對(duì)研制功率低、數(shù)據(jù)安全無保證、改變危險(xiǎn)大等問題，比方新事務(wù)上線層次批閱后因“還沒到窗口發(fā)布期”不得不推遲幾個(gè)小時(shí)；多項(xiàng)目共用庫表發(fā)布次序問題；新項(xiàng)目上線結(jié)構(gòu)不合理慢SQL激增影響到出產(chǎn)環(huán)境。數(shù)據(jù)辦理DMS供給了平臺(tái)化、流程化數(shù)據(jù)庫協(xié)同開發(fā)才能，使得構(gòu)建、測(cè)試、發(fā)布數(shù)據(jù)庫改改變方便、安全和可靠。

數(shù)據(jù)庫開發(fā)規(guī)劃階段：表結(jié)構(gòu)規(guī)劃中，引入數(shù)據(jù)庫規(guī)劃規(guī)范。比方表名/列名帶事務(wù)意義、必須有主鍵或UK等。DBA依據(jù)事務(wù)重要等級(jí)設(shè)置不同批閱發(fā)布流程，比方非中心庫研制TL批閱、中心庫必須DBA批閱，一方面適當(dāng)放權(quán)另一方面進(jìn)步出產(chǎn)體系安穩(wěn)性。
SQL審閱階段：項(xiàng)目正式發(fā)布前，避免不符合數(shù)據(jù)庫開發(fā)規(guī)范的SQL（比方建表句子不含主鍵、索引過多等）發(fā)布到線上影響出產(chǎn)服務(wù)，需求審閱SQL句子、提出相關(guān)優(yōu)化主張。
發(fā)布階段：結(jié)構(gòu)規(guī)劃及測(cè)試完結(jié)、SQL審閱后，進(jìn)入結(jié)構(gòu)發(fā)布批閱流程。由體系做危險(xiǎn)辨認(rèn)，比方表數(shù)據(jù)量、索引數(shù)量、是否會(huì)鎖表改變等，由批閱人員（一般數(shù)據(jù)庫owner或許DBA）批閱承認(rèn)，批閱經(jīng)往后由研制挑選主動(dòng)履行或許手動(dòng)履行。
改變履行階段：在履行階段，需求一些戰(zhàn)略來下降改變危險(xiǎn)，比方對(duì)增加唯一索引、改變主鍵等需求選用無鎖表結(jié)構(gòu)改變、限制DDL并發(fā)數(shù)下降對(duì)體系影響等。也需求依據(jù)事務(wù)類型等級(jí)設(shè)置不同改變窗口，比方買賣相關(guān)數(shù)據(jù)庫改變時(shí)刻設(shè)定在凌晨履行。
運(yùn)維調(diào)優(yōu)階段：上線之后，要對(duì)改變內(nèi)容進(jìn)行繼續(xù)重視，比方查詢功用、會(huì)話并發(fā)數(shù)等等，需求從多個(gè)角度了解、并及時(shí)定位并處理數(shù)據(jù)庫存在問題，保證服務(wù)安全性和安穩(wěn)性。
除了數(shù)據(jù)庫DevOps相關(guān)功用外，DMS也供給了愈加細(xì)粒度的安全戰(zhàn)略：比方行等級(jí)拜訪權(quán)限控制、防走漏數(shù)字水印、敏感數(shù)據(jù)脫敏保護(hù)、操作審計(jì)等，對(duì)數(shù)據(jù)庫進(jìn)行全方位保護(hù)。

3.5.2 數(shù)據(jù)庫主動(dòng)駕駛計(jì)劃 DAS

跟著事務(wù)的開展，企業(yè)數(shù)據(jù)庫集群不斷增加，運(yùn)維人員數(shù)量沒有按份額增加，數(shù)據(jù)庫運(yùn)維平臺(tái)化、主動(dòng)化、智能化要求也是越來越高。人工智能、機(jī)器學(xué)習(xí)技能的開展，給數(shù)據(jù)庫運(yùn)維智能化帶來新才能。如在SQL確診與優(yōu)化場(chǎng)景，數(shù)據(jù)庫自治服務(wù)DAS便依據(jù)機(jī)器學(xué)習(xí)和專家經(jīng)歷，完結(jié)數(shù)據(jù)庫“自感知、自修復(fù)、自優(yōu)化、自運(yùn)維及自安全”才能，企業(yè)能夠“輔佐駕駛”數(shù)據(jù)庫，下降保護(hù)本錢。DAS具有以下中心才能：


反常事情：體系搜集各種目標(biāo)和事情，如QPS、TPS、CPU、IOPS等等，并對(duì)目標(biāo)數(shù)據(jù)進(jìn)行實(shí)時(shí)和離線剖析，能秒級(jí)獲取到反常事情。
確診主張：主動(dòng)SQL優(yōu)化服務(wù)從事情中心收反常事情，完結(jié)實(shí)例初步判別，向確診引擎主張確診請(qǐng)求并處理確診成果，完結(jié)有用性評(píng)估，生成新的優(yōu)化事情驅(qū)動(dòng)下一步優(yōu)化。
主張推送或主動(dòng)優(yōu)化：依據(jù)用戶設(shè)置的自治戰(zhàn)略，事情中心推送SQL優(yōu)化主張給DBA判別履行，或在用戶授權(quán)下主動(dòng)履行優(yōu)化，并承認(rèn)履行情況。
效果盯梢和衡量：優(yōu)化履行后，決議計(jì)劃引擎發(fā)動(dòng)盯梢使命，盯梢被優(yōu)化SQL及相關(guān)SQL功用，如功用呈現(xiàn)衰退，則主動(dòng)回滾。
DAS已具有“7 x 24實(shí)時(shí)反常檢測(cè)、故障自愈、主動(dòng)優(yōu)化、智能調(diào)參、主動(dòng)彈性、智能壓測(cè)”等才能。并會(huì)繼續(xù)開展主動(dòng)化、智能化才能，數(shù)據(jù)庫運(yùn)維由目前的“輔佐駕駛”晉級(jí)為真實(shí)的“主動(dòng)駕駛”。

04 增效降本計(jì)劃展望
除了繼續(xù)優(yōu)化迭代核算降、存儲(chǔ)降本、架構(gòu)優(yōu)化、流程增效等計(jì)劃，幫企業(yè)增效降本之外，云數(shù)據(jù)庫產(chǎn)品和處理計(jì)劃，還好會(huì)依托云原生數(shù)據(jù)庫和周邊配套設(shè)施繼續(xù)構(gòu)建更豐厚、更高效、更高性價(jià)比的數(shù)據(jù)庫處理計(jì)劃，助力企業(yè)繼續(xù)開展海外阿里云:企業(yè)級(jí)云數(shù)據(jù)庫怎么完結(jié)增效降本？


01 概述
數(shù)字化已經(jīng)成為企業(yè)進(jìn)步事務(wù)功率、市場(chǎng)競(jìng)爭(zhēng)力、辦理才能的要害，后疫情年代經(jīng)濟(jì)復(fù)蘇和企業(yè)從頭起航需求較長(zhǎng)時(shí)刻，大部分企業(yè)在這段時(shí)刻的中心戰(zhàn)略是“收縮戰(zhàn)線，精兵簡(jiǎn)政”，企業(yè)在上云、用云過程中，面對(duì)增效降本的訴求，作為數(shù)字化的中心技能---數(shù)據(jù)庫怎么增效降本，和企業(yè)一起度過困難的階段，是許多企業(yè)重視的論題。

阿里云瑤池?cái)?shù)據(jù)庫一直在考慮怎么給企業(yè)供給高效安穩(wěn)的數(shù)據(jù)庫處理計(jì)劃，一起幫企業(yè)節(jié)約IT本錢，并繼續(xù)建造和構(gòu)思增效降本的辦法和途徑。

02 事務(wù)痛點(diǎn)和應(yīng)對(duì)考慮
2.1 企業(yè)上云、用云面對(duì)的數(shù)據(jù)庫增效痛點(diǎn)

企業(yè)事務(wù)由小強(qiáng)大過程中，事務(wù)逐漸雜亂、事務(wù)類型日趨多元化、數(shù)據(jù)量逐漸變大、數(shù)據(jù)庫實(shí)例數(shù)逐漸增加，需求構(gòu)建高性價(jià)比、低本錢的數(shù)據(jù)庫計(jì)劃；數(shù)據(jù)庫計(jì)劃要具有高安穩(wěn)性、高功用、健壯性好、架構(gòu)簡(jiǎn)略易保護(hù)等特色；不同類型事務(wù)對(duì)數(shù)據(jù)庫核算資源運(yùn)用特色不同，需求具有靈敏、高彈性、適配性好核算資源供給方法以滿意不同類型事務(wù)個(gè)性化運(yùn)用需求；跟著數(shù)據(jù)量從較小逐漸增大，數(shù)據(jù)存儲(chǔ)怎么更低本錢、更方便地存儲(chǔ)和拜訪以及可繼續(xù)支撐事務(wù)，也是數(shù)據(jù)庫計(jì)劃的重要重視點(diǎn)；跟著研制團(tuán)隊(duì)的人員日趨增多和數(shù)據(jù)庫實(shí)例的不斷增加，怎么給研制團(tuán)隊(duì)供給安全、高效、低運(yùn)用本錢的數(shù)據(jù)庫計(jì)劃的也成為企業(yè)負(fù)責(zé)人重視的重要論題。面對(duì)企業(yè)這些訴求，云數(shù)據(jù)庫怎么在產(chǎn)品、計(jì)劃側(cè)應(yīng)對(duì)的呢？

2.2 構(gòu)建增效降本才能、戰(zhàn)略和考慮

咱們首要考慮一個(gè)問題：將數(shù)據(jù)庫定義為一種服務(wù)，對(duì)一個(gè)上云、用云企業(yè)，云數(shù)據(jù)庫直觀本錢包括哪些？

硬件本錢：云廠商承載數(shù)據(jù)庫實(shí)例的服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)以及IDC根底設(shè)施本錢。
軟件本錢：云廠商研制、迭代數(shù)據(jù)庫軟件的人力本錢，部分服務(wù)有軟件采購本錢。
運(yùn)用和保護(hù)本錢：企業(yè)運(yùn)用數(shù)據(jù)庫的人員花時(shí)刻學(xué)習(xí)、掌握技能，數(shù)據(jù)庫需求技能人員保護(hù)。
時(shí)刻本錢：企業(yè)選用雜亂計(jì)劃、低效計(jì)劃、不安穩(wěn)計(jì)劃計(jì)劃，有較長(zhǎng)的學(xué)習(xí)時(shí)刻本錢和試錯(cuò)本錢。
數(shù)據(jù)處理本錢：為進(jìn)步數(shù)據(jù)財(cái)物價(jià)值，企業(yè)探究數(shù)據(jù)運(yùn)用方法和數(shù)據(jù)流通方法需求較大人力本錢。
對(duì)企業(yè)來說數(shù)據(jù)庫本錢包括兩個(gè)維度，一個(gè)是云廠商供給可繼續(xù)服務(wù)的本錢，一個(gè)是企業(yè)運(yùn)用和保護(hù)數(shù)據(jù)庫的人力本錢和時(shí)刻投入本錢；增效降本計(jì)劃需求“下降”軟硬件本錢，并經(jīng)過優(yōu)勢(shì)計(jì)劃進(jìn)步數(shù)據(jù)庫運(yùn)用人效、下降人力本錢和時(shí)刻本錢。

03 構(gòu)建云原生數(shù)據(jù)庫增效降本計(jì)劃
3.1 數(shù)據(jù)庫增效降本框架

云數(shù)據(jù)庫完結(jié)增效降本，供給幾個(gè)層面手段和計(jì)劃：

數(shù)據(jù)庫核算資源彈性，經(jīng)過快速彈性升降配、主動(dòng)彈性升降配、Serverless等方法進(jìn)步彈性才能，充分使用云的彈性才能降本。
數(shù)據(jù)庫存儲(chǔ)資源，供給數(shù)據(jù)通明冷熱分層、數(shù)據(jù)平滑歸檔、存儲(chǔ)高緊縮比、新硬件增效降本等應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)和拜訪的高性價(jià)比計(jì)劃。
數(shù)據(jù)庫架構(gòu)優(yōu)化，供給數(shù)據(jù)庫HTAP處理計(jì)劃、多源會(huì)聚庫、低本錢多級(jí)數(shù)倉等架構(gòu)優(yōu)化計(jì)劃，下降運(yùn)用本錢、開發(fā)保護(hù)本錢。
建造運(yùn)維、研制增效計(jì)劃，依據(jù)DMS的數(shù)據(jù)庫DevOPS計(jì)劃，依據(jù)DAS的構(gòu)建數(shù)據(jù)庫“主動(dòng)駕駛”計(jì)劃。
從下圖能夠看出云數(shù)據(jù)庫供給的增效降本計(jì)劃覆蓋了數(shù)據(jù)核算、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流通、數(shù)據(jù)剖析、數(shù)據(jù)辦理保護(hù)等不同事務(wù)階段供企業(yè)挑選。


3.2 核算彈性增效將本

彈性是云原生數(shù)據(jù)庫中心優(yōu)勢(shì)，能有用下降核算本錢，阿里云數(shù)據(jù)庫一直致力于供給彈性才能更強(qiáng)計(jì)劃給企業(yè)客戶，云數(shù)據(jù)庫的彈性才能閱歷了三個(gè)階段：

第一階段是高彈性才能，將天、小時(shí)級(jí)彈性提速到分鐘級(jí)。

第二階段是主動(dòng)彈升，支撐依據(jù)預(yù)測(cè)的主動(dòng)彈性彈性和守時(shí)主動(dòng)彈性彈性進(jìn)步彈性才能。

第三階段是建造和繼續(xù)演進(jìn)數(shù)據(jù)庫Serverless才能，進(jìn)一步進(jìn)步資源使用率。


傳統(tǒng)主從仿制架構(gòu)數(shù)據(jù)庫升降配和增加節(jié)點(diǎn)需求仿制數(shù)據(jù)，消耗時(shí)刻和數(shù)據(jù)物理巨細(xì)有關(guān)。PolarDB憑借RDMA高速網(wǎng)絡(luò)和共享存儲(chǔ)才能，升降配增加節(jié)點(diǎn)與數(shù)據(jù)庫巨細(xì)解耦，分鐘級(jí)即可完結(jié)，可構(gòu)建“流量突發(fā)型事務(wù)庫”提效計(jì)劃進(jìn)步企業(yè)數(shù)據(jù)庫彈性才能。

部分企業(yè)事務(wù)雜亂度高、多樣化強(qiáng)、反常流量無法預(yù)測(cè)，對(duì)彈性計(jì)劃提出了進(jìn)化要求，數(shù)據(jù)庫自治服務(wù)DAS的主動(dòng)功用擴(kuò)展結(jié)合PolarDB分鐘級(jí)彈性供給分鐘級(jí)主動(dòng)彈升才能，許多企業(yè)客戶憑借該才能躲避功用危險(xiǎn)。云數(shù)據(jù)庫RDS MySQL也支撐功用主動(dòng)擴(kuò)容才能，云原生數(shù)倉AnalyticDB經(jīng)過分時(shí)彈性支撐守時(shí)主動(dòng)彈升才能。

Serverless技能給資源彈升和計(jì)費(fèi)帶來更靈敏的才能，PolarDB攻堅(jiān)了Serverless技能難點(diǎn)：資源解耦、主動(dòng)彈性彈性、按運(yùn)用量計(jì)費(fèi)、秒級(jí)彈性擴(kuò)展等。支撐無感BP Resize的本地Scale Up、跨機(jī)ScaleUp、跨機(jī)ScaleOut。云數(shù)據(jù)庫RDS MySQL、云原生數(shù)據(jù)倉庫AnalyticDB、云MongoDB也都具有了Serverless才能。


3.3 存儲(chǔ)通明冷熱分層、緊縮增效降本

數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)庫的中心才能，云數(shù)據(jù)庫憑借云根底設(shè)施構(gòu)建和支撐不同技能目標(biāo)、不同本錢、運(yùn)用靈敏的存儲(chǔ)計(jì)劃。企業(yè)的事務(wù)數(shù)據(jù)類型、事務(wù)數(shù)據(jù)量、數(shù)據(jù)物理巨細(xì)跟著事務(wù)開展到必定階段和量級(jí)面對(duì)以下痛點(diǎn)：?jiǎn)螌?shí)例存儲(chǔ)量大、存儲(chǔ)本錢高、實(shí)時(shí)事務(wù)數(shù)據(jù)高功用拜訪、海量數(shù)據(jù)高功用拜訪訴求等。

云數(shù)據(jù)庫經(jīng)過以下幾種技能計(jì)劃來完結(jié)數(shù)據(jù)存儲(chǔ)方面的提效和降本：

數(shù)據(jù)通明冷熱分層存儲(chǔ)讀寫
數(shù)據(jù)存儲(chǔ)緊縮
自研X-Engine引擎前史庫
硬件緊縮盤（Smart-SSD）
Tair PMEM耐久內(nèi)存
3.3.1 通明冷熱分層計(jì)劃

冷熱數(shù)據(jù)分層存儲(chǔ)是應(yīng)對(duì)很多數(shù)據(jù)存儲(chǔ)常見計(jì)劃，依據(jù)數(shù)據(jù)運(yùn)用頻率、文件巨細(xì)、文件類型等特征做數(shù)據(jù)冷熱分層，選用適配的存儲(chǔ)介質(zhì)存儲(chǔ)，滿意存儲(chǔ)海量數(shù)據(jù)、延長(zhǎng)保存期限、下降存儲(chǔ)本錢、進(jìn)步數(shù)據(jù)拜訪功率等訴求。

數(shù)據(jù)冷熱分層的要害是通明冷熱分層存儲(chǔ)戰(zhàn)略、冷熱數(shù)據(jù)通明讀取以及無感數(shù)據(jù)過期搬遷，一般以時(shí)刻字段作為區(qū)分冷熱數(shù)據(jù)依據(jù)。如在Lindorm上，在表上配置數(shù)據(jù)冷熱時(shí)刻分界點(diǎn)（COLD_BOUNDARY），Lindorm依據(jù)數(shù)據(jù)寫入時(shí)刻戳(毫秒)來判別數(shù)據(jù)冷熱。數(shù)據(jù)寫入時(shí)優(yōu)先存儲(chǔ)于熱存儲(chǔ)，寫入時(shí)刻超越冷熱時(shí)刻分界點(diǎn)，major_compact時(shí)歸檔冷數(shù)據(jù)到冷存儲(chǔ)介質(zhì)。數(shù)據(jù)讀取時(shí)主動(dòng)依據(jù)查詢時(shí)刻范圍條件決議查詢熱區(qū)、冷區(qū)仍是冷熱都查。

除了Lindorm，Clickhouse、PolarDB MySQL、AnalyticDB MySQL也支撐數(shù)據(jù)冷熱分層存儲(chǔ)和讀取。

3.3.2 數(shù)據(jù)存儲(chǔ)緊縮計(jì)劃

除了將冷熱數(shù)據(jù)分別存儲(chǔ)到不同介質(zhì)外，許多數(shù)據(jù)庫支撐引擎層面選用緊縮算法來減少空間占用，如PolarDB X-Engine引擎，比照InnoDB引擎，最高可節(jié)約50%的存儲(chǔ)空間；Lindorm內(nèi)置深度優(yōu)化的緊縮算法，數(shù)據(jù)緊縮率高達(dá)10:1以上。

X-Engine引擎行存數(shù)據(jù)緊縮

業(yè)界依據(jù)MySQL可插拔存儲(chǔ)引擎才能供給了RocksDB、Tokudb、Infobright等具有緊縮才能的存儲(chǔ)引擎應(yīng)對(duì)聯(lián)系型數(shù)據(jù)增加問題。阿里云X-Engine也是為處理海量聯(lián)系型數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)引擎。X-Engine在LSM-Tree分層存儲(chǔ)架構(gòu)根底上進(jìn)行了從頭規(guī)劃，依據(jù)數(shù)據(jù)拜訪頻度(冷熱)的不同將數(shù)據(jù)劃分為多個(gè)層次，針對(duì)每個(gè)層次數(shù)據(jù)的拜訪特色規(guī)劃對(duì)應(yīng)存儲(chǔ)結(jié)構(gòu)，寫入適宜存儲(chǔ)設(shè)備。運(yùn)用Copy-on-write技能，避免原地更新數(shù)據(jù)頁，對(duì)只讀數(shù)據(jù)頁面進(jìn)行編碼緊縮，能夠?qū)⒋鎯?chǔ)空間下降至10%~50%。

Lindorm高緊縮才能

Lindorm在數(shù)據(jù)緊縮方面也供給了十分優(yōu)秀的才能，供給超10倍數(shù)據(jù)緊縮比。

字典緊縮：Lindorm寬表依據(jù)LSM-Tree引擎構(gòu)建數(shù)據(jù)存儲(chǔ)，通用緊縮算法上結(jié)合ZSTD深度定制，推出字典緊縮才能—主動(dòng)提取數(shù)據(jù)樣本采樣剖析，依據(jù)數(shù)據(jù)特質(zhì)，智能挑選適宜的編碼緊縮參數(shù)，提取公共字典消除字典結(jié)構(gòu)帶來的額外開支，進(jìn)一步進(jìn)步了數(shù)據(jù)的緊縮比率與緊縮速度。
時(shí)序數(shù)據(jù)專用緊縮算法：Lindorm時(shí)序引擎憑借TSM架構(gòu)完結(jié)時(shí)序數(shù)據(jù)的高效寫入，選用定制時(shí)序緊縮算法進(jìn)步緊縮比，最高可達(dá)15:1的緊縮率比。
本地盤HDD與ESSD異構(gòu)副本：Lindorm經(jīng)過LindormDFS異構(gòu)副本完結(jié)1副本ESSD+2HDD冗余，經(jīng)過HDD盤低本錢優(yōu)勢(shì)結(jié)合冷熱分層顯著下降存儲(chǔ)本錢。
3.3.3 新硬件新技能計(jì)劃

硬件緊縮盤（Smart-SSD）PSL4

PolarDB引入阿里巴巴自研Aliflash Smart-SSD技能，在物理SSD磁盤層面緊縮、解緊縮存儲(chǔ)的數(shù)據(jù)，完結(jié)功用零損耗下數(shù)據(jù)存儲(chǔ)本錢最高下降 60%。硬件緊縮盤的緊縮引擎集成在盤片內(nèi)部，經(jīng)過FPGA/ASIC供給專用算力在數(shù)據(jù)讀寫過程中實(shí)時(shí)緊縮、解緊縮數(shù)據(jù)，從而節(jié)約存儲(chǔ)空間。


Tair耐久內(nèi)存

Tair是阿里云自研云原生內(nèi)存數(shù)據(jù)庫，完全兼容開源Redis，除了純內(nèi)存的產(chǎn)品形狀，Tair憑借于新式存儲(chǔ)介質(zhì)——Intel 傲騰（AEP）耐久內(nèi)存技能，完本錢錢低于于內(nèi)存（DRAM）30%以上。

Tair耐久內(nèi)存實(shí)例中，每條記錄都確保寫入AEP而且耐久化才回來，極大進(jìn)步數(shù)據(jù)可靠性，能夠做到RPO=0；讀取途徑上運(yùn)用Dram緩存如索引、數(shù)據(jù)結(jié)構(gòu)、元數(shù)信息等熱點(diǎn)數(shù)據(jù)，加速數(shù)據(jù)拜訪。


3.4 技能架構(gòu)優(yōu)化增效降本

跟著事務(wù)規(guī)劃、用戶量、事務(wù)雜亂度的進(jìn)步，企業(yè)運(yùn)用數(shù)據(jù)庫的場(chǎng)景日趨雜亂，自建數(shù)據(jù)庫服務(wù)面對(duì)著構(gòu)建更多周邊服務(wù)下降運(yùn)用、學(xué)習(xí)本錢，云數(shù)據(jù)庫供給多種技能架構(gòu)優(yōu)化計(jì)劃，本段介紹HTAP處理計(jì)劃、多源會(huì)聚庫計(jì)劃、依據(jù)湖倉一體的多級(jí)數(shù)倉計(jì)劃。

3.4.1 HTAP處理計(jì)劃

HTAP是數(shù)據(jù)庫技能領(lǐng)域新概念，是在線事務(wù)（OLTP）和在線剖析（OLAP）合稱簡(jiǎn)寫。HTAP的最大長(zhǎng)處是能夠在一個(gè)數(shù)據(jù)庫中支撐OLTP和OLAP事務(wù)，體系具有完整事務(wù)才能，支撐實(shí)時(shí)插入、實(shí)時(shí)刪去、單條更新、批量導(dǎo)入、按索引查詢、海量數(shù)據(jù)實(shí)時(shí)剖析等才能。

阿里云PolarDB MySQL經(jīng)過列存索引IMCI和彈性多機(jī)并行ePQ使得PolarDB具有HTAP才能，支撐OLTP高并發(fā)讀寫的一起，大幅進(jìn)步PolarDB在大數(shù)據(jù)量雜亂查詢功用。優(yōu)化器支撐依據(jù)價(jià)值的履行計(jì)劃挑選，從IMCI->ePQ->MySQL原生串行查詢，確保SQL 100%可解析履行。IMCI(In-Memory Column Index)節(jié)點(diǎn)和行存只讀節(jié)點(diǎn)依據(jù)物理仿制確保推遲在毫秒至秒級(jí)，進(jìn)步數(shù)據(jù)拜訪的實(shí)時(shí)性。適用于億至百億事務(wù)數(shù)據(jù)雜亂查詢提速、原生MySQL查詢慢、事務(wù)混合負(fù)載事務(wù)查詢提速。PolarDB HTAP計(jì)劃在實(shí)際事務(wù)場(chǎng)景運(yùn)用中最高能夠達(dá)到百倍慢查詢提速，暢捷通、金萬維等客戶都憑借HTAP計(jì)劃為事務(wù)提速。HTAP計(jì)劃事務(wù)架構(gòu)圖如下：


PolarDB IMCI經(jīng)過列式存儲(chǔ)高緊縮存放、按需讀取需求剖析列、履行器算子并行履行、單個(gè)線程內(nèi)算子數(shù)據(jù)交互以Batch為單位下降函數(shù)調(diào)用開支等技能結(jié)合配合彈性多機(jī)并行使得PolarDB成為一個(gè)真實(shí)的HTAP數(shù)據(jù)庫體系。


彈性多機(jī)并行ePQ能夠使用多核算節(jié)點(diǎn)資源進(jìn)行并行查詢，提速TB等級(jí)甚至單表10TB以上多表相關(guān)雜亂查詢，突破單機(jī)CPU/IO瓶頸將多個(gè)節(jié)點(diǎn)核算資源打通，使用大局資源提速很多數(shù)據(jù)雜亂查詢。


3.4.2 多源會(huì)聚庫

多源會(huì)聚庫是泛互聯(lián)網(wǎng)企業(yè)做微服務(wù)拆分、數(shù)據(jù)庫筆直拆分后常見的跨實(shí)例數(shù)據(jù)拜訪、數(shù)據(jù)抽取、數(shù)據(jù)流通計(jì)劃，為下降研制本錢考慮選用會(huì)聚庫方法做拆分后跨庫數(shù)據(jù)查詢和數(shù)據(jù)流通。傳統(tǒng)多源會(huì)聚庫計(jì)劃經(jīng)過開源或商業(yè)數(shù)據(jù)仿制東西將多個(gè)事務(wù)庫數(shù)據(jù)仿制到會(huì)聚庫，會(huì)聚庫結(jié)合代理軟件向不同事務(wù)側(cè)供給數(shù)據(jù)庫服務(wù)，支撐跨庫查詢、數(shù)據(jù)抽取、數(shù)據(jù)下有仿制等，常見架構(gòu)如下：


該計(jì)劃滿意跨庫查詢需求、數(shù)據(jù)向下流流通、慢查詢導(dǎo)致事務(wù)庫功用顫動(dòng)問題，存在以下缺乏：數(shù)據(jù)仿制推遲大影響數(shù)據(jù)拜訪質(zhì)量、存儲(chǔ)本錢高、開源代理不安穩(wěn)保護(hù)本錢高、會(huì)聚庫以及數(shù)據(jù)流通使命康復(fù)本錢高DBA保護(hù)壓力大。

阿里云數(shù)據(jù)庫供給依據(jù)PolarDB多主集群的多源會(huì)聚庫計(jì)劃，多主集群支撐一個(gè)集群多個(gè)主節(jié)點(diǎn)，恣意主節(jié)點(diǎn)都可拜訪共享存儲(chǔ)內(nèi)一切數(shù)據(jù)，并能夠在恣意主節(jié)點(diǎn)讀寫。不同主節(jié)點(diǎn)能夠承載不同數(shù)據(jù)庫支撐恣意主節(jié)點(diǎn)之間秒級(jí)切換數(shù)據(jù)庫，能夠經(jīng)過大局讀節(jié)點(diǎn)結(jié)合智能代理替代會(huì)聚庫，支撐流量主動(dòng)轉(zhuǎn)發(fā)讀寫和負(fù)載均衡，架構(gòu)如下圖：


依據(jù)PolarDB多主集群構(gòu)建的多源會(huì)聚庫計(jì)劃具有以下事務(wù)收益：


數(shù)據(jù)作為企業(yè)的中心財(cái)物，跟著企業(yè)之間商業(yè)競(jìng)爭(zhēng)日益劇烈，數(shù)據(jù)活動(dòng)越快發(fā)生價(jià)值越大企業(yè)競(jìng)爭(zhēng)力越強(qiáng)。傳統(tǒng)數(shù)倉面對(duì)挑戰(zhàn)越加嚴(yán)峻，大數(shù)據(jù)開展也從傳統(tǒng)數(shù)倉開展到離線大數(shù)據(jù)年代來滿意大數(shù)據(jù)量和數(shù)據(jù)多樣化的訴求，企業(yè)對(duì)數(shù)據(jù)實(shí)時(shí)性要求越來越高，需求經(jīng)過實(shí)時(shí)數(shù)倉以及湖倉一體來處理所面對(duì)的痛點(diǎn)。下面介紹依據(jù)阿里云構(gòu)建實(shí)時(shí)數(shù)倉和湖倉一體的多級(jí)數(shù)倉計(jì)劃。

怎么構(gòu)建實(shí)時(shí)數(shù)倉

數(shù)倉一般分為ODS層、DWD層、DWS層和ADS層，數(shù)據(jù)分層越多，數(shù)據(jù)的實(shí)時(shí)性受影響越大。要構(gòu)建實(shí)時(shí)數(shù)倉需求減少數(shù)據(jù)端到端的層數(shù)和并進(jìn)步數(shù)據(jù)處理速度，數(shù)據(jù)分層結(jié)合數(shù)據(jù)事務(wù)需求，額外構(gòu)建一套實(shí)時(shí)數(shù)倉，來滿意實(shí)時(shí)事務(wù)場(chǎng)景。

依據(jù)現(xiàn)有數(shù)倉體系演進(jìn)的架構(gòu)就變成標(biāo)準(zhǔn)數(shù)倉分層+流核算+批處理，詳細(xì)架構(gòu)變成如下：


依據(jù)該規(guī)劃理念衍生到阿里云實(shí)時(shí)數(shù)倉處理計(jì)劃：


挑選數(shù)據(jù)傳輸服務(wù)DTS支撐事務(wù)數(shù)據(jù)到實(shí)時(shí)數(shù)據(jù)的數(shù)流通，實(shí)時(shí)數(shù)倉挑選云原生數(shù)據(jù)倉庫AnalyticDB MySQL數(shù)倉版，湖倉一體計(jì)劃挑選AnalyticDB湖倉版支撐，經(jīng)過數(shù)據(jù)辦理DMS支撐使命編列、數(shù)倉開發(fā)、ETL等功用，一起DMS還支撐流式ETL。

為何挑選DTS做數(shù)據(jù)實(shí)時(shí)流通

數(shù)據(jù)傳輸服務(wù)DTS支撐聯(lián)系型數(shù)據(jù)庫、NoSQL、大數(shù)據(jù)(OLAP)等數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)同步，供給功用豐厚、操作方便、數(shù)據(jù)實(shí)時(shí)仿制、傳輸功用強(qiáng)、支撐斷點(diǎn)續(xù)傳、易用性高、安全可靠的數(shù)據(jù)傳輸服務(wù)，簡(jiǎn)化數(shù)據(jù)流通作業(yè)，使數(shù)據(jù)開發(fā)人員能夠?qū)Ｗ?shù)據(jù)事務(wù)開發(fā)。

為何挑選AnalyticDB？

云原生數(shù)據(jù)倉庫AnalyticDB MySQL版是新一代云原生數(shù)據(jù)倉庫，AnalyticDB支撐高吞吐數(shù)據(jù)實(shí)時(shí)增刪改、低延時(shí)實(shí)時(shí)剖析和雜亂ETL，兼容上下流生態(tài)東西，可用于構(gòu)建企業(yè)級(jí)報(bào)表體系、數(shù)據(jù)倉庫和數(shù)據(jù)服務(wù)引擎。AnalyticDB具有以下優(yōu)勢(shì)：

兼容MySQL：高度兼容MySQL協(xié)議以及SQL 92、SQL 99、SQL 2003標(biāo)準(zhǔn)。
多租戶：經(jīng)過資源組完結(jié)核算資源隔離滿意不同類型租戶事務(wù)需求。
分時(shí)彈性：支撐定制彈性計(jì)劃（每天守時(shí)、每周守時(shí)），事務(wù)高峰期來臨前主動(dòng)擴(kuò)容滿意事務(wù)流量增加需求，事務(wù)高峰往后縮容下降IT本錢。
AnalyticDB湖倉版

依據(jù)AnalyticDB湖倉版構(gòu)建湖倉一體計(jì)劃，內(nèi)部存儲(chǔ)支撐在線數(shù)據(jù)處理和查詢，開放式存儲(chǔ)支撐離線數(shù)據(jù)處理，能夠辨認(rèn)加載多種數(shù)據(jù)格式文件。具有云原生、主動(dòng)數(shù)據(jù)冷熱分層能、多租戶、多種核算引擎等才能，支撐PB級(jí)數(shù)據(jù)實(shí)時(shí)、離線剖析，秒級(jí)到分鐘級(jí)出成果，湖倉版架構(gòu)圖：


3.5 運(yùn)維、研制流程增效計(jì)劃

云數(shù)據(jù)庫協(xié)助企業(yè)處理了資源彈性、高可用、備份、監(jiān)控等根底運(yùn)維問題，跟著事務(wù)開展、公司規(guī)劃擴(kuò)大，數(shù)據(jù)庫運(yùn)維團(tuán)隊(duì)面對(duì)著數(shù)據(jù)庫集群規(guī)劃化、研制流程化以及運(yùn)維智能化建造需求。云數(shù)據(jù)庫供給運(yùn)維、研制流程增效計(jì)劃：數(shù)據(jù)庫DevOPS計(jì)劃、數(shù)據(jù)庫自治辦理計(jì)劃。

3.5.1 數(shù)據(jù)庫DevOps計(jì)劃

傳統(tǒng)數(shù)據(jù)庫研制模式一般會(huì)面對(duì)研制功率低、數(shù)據(jù)安全無保證、改變危險(xiǎn)大等問題，比方新事務(wù)上線層次批閱后因“還沒到窗口發(fā)布期”不得不推遲幾個(gè)小時(shí)；多項(xiàng)目共用庫表發(fā)布次序問題；新項(xiàng)目上線結(jié)構(gòu)不合理慢SQL激增影響到出產(chǎn)環(huán)境。數(shù)據(jù)辦理DMS供給了平臺(tái)化、流程化數(shù)據(jù)庫協(xié)同開發(fā)才能，使得構(gòu)建、測(cè)試、發(fā)布數(shù)據(jù)庫改改變方便、安全和可靠。

數(shù)據(jù)庫開發(fā)規(guī)劃階段：表結(jié)構(gòu)規(guī)劃中，引入數(shù)據(jù)庫規(guī)劃規(guī)范。比方表名/列名帶事務(wù)意義、必須有主鍵或UK等。DBA依據(jù)事務(wù)重要等級(jí)設(shè)置不同批閱發(fā)布流程，比方非中心庫研制TL批閱、中心庫必須DBA批閱，一方面適當(dāng)放權(quán)另一方面進(jìn)步出產(chǎn)體系安穩(wěn)性。
SQL審閱階段：項(xiàng)目正式發(fā)布前，避免不符合數(shù)據(jù)庫開發(fā)規(guī)范的SQL（比方建表句子不含主鍵、索引過多等）發(fā)布到線上影響出產(chǎn)服務(wù)，需求審閱SQL句子、提出相關(guān)優(yōu)化主張。
發(fā)布階段：結(jié)構(gòu)規(guī)劃及測(cè)試完結(jié)、SQL審閱后，進(jìn)入結(jié)構(gòu)發(fā)布批閱流程。由體系做危險(xiǎn)辨認(rèn)，比方表數(shù)據(jù)量、索引數(shù)量、是否會(huì)鎖表改變等，由批閱人員（一般數(shù)據(jù)庫owner或許DBA）批閱承認(rèn)，批閱經(jīng)往后由研制挑選主動(dòng)履行或許手動(dòng)履行。
改變履行階段：在履行階段，需求一些戰(zhàn)略來下降改變危險(xiǎn)，比方對(duì)增加唯一索引、改變主鍵等需求選用無鎖表結(jié)構(gòu)改變、限制DDL并發(fā)數(shù)下降對(duì)體系影響等。也需求依據(jù)事務(wù)類型等級(jí)設(shè)置不同改變窗口，比方買賣相關(guān)數(shù)據(jù)庫改變時(shí)刻設(shè)定在凌晨履行。
運(yùn)維調(diào)優(yōu)階段：上線之后，要對(duì)改變內(nèi)容進(jìn)行繼續(xù)重視，比方查詢功用、會(huì)話并發(fā)數(shù)等等，需求從多個(gè)角度了解、并及時(shí)定位并處理數(shù)據(jù)庫存在問題，保證服務(wù)安全性和安穩(wěn)性。
除了數(shù)據(jù)庫DevOps相關(guān)功用外，DMS也供給了愈加細(xì)粒度的安全戰(zhàn)略：比方行等級(jí)拜訪權(quán)限控制、防走漏數(shù)字水印、敏感數(shù)據(jù)脫敏保護(hù)、操作審計(jì)等，對(duì)數(shù)據(jù)庫進(jìn)行全方位保護(hù)。

3.5.2 數(shù)據(jù)庫主動(dòng)駕駛計(jì)劃 DAS

跟著事務(wù)的開展，企業(yè)數(shù)據(jù)庫集群不斷增加，運(yùn)維人員數(shù)量沒有按份額增加，數(shù)據(jù)庫運(yùn)維平臺(tái)化、主動(dòng)化、智能化要求也是越來越高。人工智能、機(jī)器學(xué)習(xí)技能的開展，給數(shù)據(jù)庫運(yùn)維智能化帶來新才能。如在SQL確診與優(yōu)化場(chǎng)景，數(shù)據(jù)庫自治服務(wù)DAS便依據(jù)機(jī)器學(xué)習(xí)和專家經(jīng)歷，完結(jié)數(shù)據(jù)庫“自感知、自修復(fù)、自優(yōu)化、自運(yùn)維及自安全”才能，企業(yè)能夠“輔佐駕駛”數(shù)據(jù)庫，下降保護(hù)本錢。DAS具有以下中心才能：


反常事情：體系搜集各種目標(biāo)和事情，如QPS、TPS、CPU、IOPS等等，并對(duì)目標(biāo)數(shù)據(jù)進(jìn)行實(shí)時(shí)和離線剖析，能秒級(jí)獲取到反常事情。
確診主張：主動(dòng)SQL優(yōu)化服務(wù)從事情中心收反常事情，完結(jié)實(shí)例初步判別，向確診引擎主張確診請(qǐng)求并處理確診成果，完結(jié)有用性評(píng)估，生成新的優(yōu)化事情驅(qū)動(dòng)下一步優(yōu)化。
主張推送或主動(dòng)優(yōu)化：依據(jù)用戶設(shè)置的自治戰(zhàn)略，事情中心推送SQL優(yōu)化主張給DBA判別履行，或在用戶授權(quán)下主動(dòng)履行優(yōu)化，并承認(rèn)履行情況。
效果盯梢和衡量：優(yōu)化履行后，決議計(jì)劃引擎發(fā)動(dòng)盯梢使命，盯梢被優(yōu)化SQL及相關(guān)SQL功用，如功用呈現(xiàn)衰退，則主動(dòng)回滾。
DAS已具有“7 x 24實(shí)時(shí)反常檢測(cè)、故障自愈、主動(dòng)優(yōu)化、智能調(diào)參、主動(dòng)彈性、智能壓測(cè)”等才能。并會(huì)繼續(xù)開展主動(dòng)化、智能化才能，數(shù)據(jù)庫運(yùn)維由目前的“輔佐駕駛”晉級(jí)為真實(shí)的“主動(dòng)駕駛”。

04 增效降本計(jì)劃展望

除了繼續(xù)優(yōu)化迭代核算降、存儲(chǔ)降本、架構(gòu)優(yōu)化、流程增效等計(jì)劃，幫企業(yè)增效降本之外，國(guó)際阿里云代理商云數(shù)據(jù)庫產(chǎn)品和處理計(jì)劃，還好會(huì)依托云原生數(shù)據(jù)庫和周邊配套設(shè)施繼續(xù)構(gòu)建更豐厚、更高效、更高性價(jià)比的數(shù)據(jù)庫處理計(jì)劃，助力企業(yè)繼續(xù)開展

TG客服：@laoying06