中商情報網(wǎng)訊：海量數(shù)據(jù)從生產(chǎn)到發(fā)揮價值，需要經(jīng)過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據(jù)采集與預處理作為大數(shù)據(jù)生命周期的第一環(huán)節(jié)，是釋放數(shù)字價值的前提。

市場規(guī)模分析

在政策和技術的雙重驅動下，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模快速增長。數(shù)據(jù)顯示，我國大數(shù)據(jù)市場規(guī)模由2016年的277億元增長至2020年的713億元，復合年均增長率為26.7%，預計2022年我國大數(shù)據(jù)市場規(guī)模將達1049億元。

數(shù)據(jù)來源：中商產(chǎn)業(yè)研究院整理

未來發(fā)展趨勢

1.大數(shù)據(jù)行業(yè)應用的深入促進大數(shù)據(jù)采集需求日益增長

數(shù)據(jù)采集是大數(shù)據(jù)在各行各業(yè)應用并且創(chuàng)造價值的前提。隨著大數(shù)據(jù)的行業(yè)應用不斷深入，物聯(lián)網(wǎng)、智能家居、數(shù)字政務等領域的大數(shù)據(jù)技應用逐漸成熟，數(shù)據(jù)采集的需求也將被逐步激發(fā)，帶動數(shù)據(jù)采集軟件及服務的市場規(guī)模日益增長。

2.大數(shù)據(jù)采集環(huán)節(jié)更加注重異構數(shù)據(jù)源兼容性

隨著數(shù)據(jù)量的指數(shù)增長，數(shù)據(jù)的存儲、計算、部署等方式都在同步變化，各行業(yè)的業(yè)務系統(tǒng)也變得越來越復雜。日益復雜的業(yè)務系統(tǒng)和數(shù)據(jù)架構形成了數(shù)據(jù)結構、存取方式、形式不同的異構數(shù)據(jù)源，對大數(shù)據(jù)采集的異構兼容性提出了更高的要求。工信部發(fā)布的《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》中明確提出，以構建穩(wěn)定高效產(chǎn)業(yè)鏈為主要目標，在數(shù)據(jù)生成采集環(huán)節(jié)，著重提升產(chǎn)品的異構數(shù)據(jù)源兼容性、大規(guī)模數(shù)據(jù)集采集與加工效率。

3.大數(shù)據(jù)采集的安全與隱私保護需求持續(xù)上漲

近年來，我國大數(shù)據(jù)的安全與隱私保護需求持續(xù)上漲，大數(shù)據(jù)采集過程中的安全流通和隱私計算技術也愈發(fā)得到重視。隨著大數(shù)據(jù)的不斷發(fā)展和應用，越來越多的安全問題隨之浮現(xiàn)。在數(shù)據(jù)采集過程中，第三方可能在采集傳輸數(shù)據(jù)過程中截獲、偽造數(shù)據(jù)，不但造成了用戶隱私、敏感數(shù)據(jù)泄露的嚴重后果，同時也影響了政府、企業(yè)后臺數(shù)據(jù)分析的準確性。因此，在大數(shù)據(jù)采集及預處理過程中，除了假流量數(shù)據(jù)清洗、正常數(shù)據(jù)補全、無效數(shù)據(jù)剔除外，還存在數(shù)據(jù)格式化、數(shù)據(jù)隔離、數(shù)據(jù)加密、數(shù)據(jù)脫敏和攻擊識別等需求。