數據采集

Data acquisition
  • 自主知識産權,獨立組件
  • 支持衆多行業應用中的數據采集場(chǎng)景
  • 支持多種數據源類型和多種數據格式,支持不同的數據采集模型和規則
  • 提供數據實時(shí)對接接口和數據文件導出方式
  • 可定制計劃時(shí)間(jiān)和周期,全程托管
  • 圖形化(huà)模型配置界面,可定制條件公式
  • 可以與大數據平台對接,實現(xiàn)數據分(fēn)析功能(néng)
  • 具備分(fēn)布式集群化(huà)部署采集能(néng)力和存儲能(néng)力

功能(néng)特點

Features
  • 1

    采集源配置

    支持包括數據庫、數據接口、web地址等數據源,以及各種不同數據格式,通過圖形化(huà)界面進行配置。

  • 2

    采集任務(wù)管理(lǐ)

    對采集任務(wù)的啓停操作(zuò),管理(lǐ)采集任務(wù)的調度、采集數據的監控、數據存儲等。

  • 3

    采集模型設計

    提供多節點分(fēn)布式集群采集和集群存儲,全托管式數據采集,通過接口實現(xiàn)實時(shí)或延時(shí)結構化(huà)數據獲取。

  • 4

    雲采集雲存儲

    提供多節點分(fēn)布式集群采集和集群存儲,全托管式數據采集,通過接口實現(xiàn)實時(shí)或延時(shí)結構化(huà)數據獲取。

  • 5

    物聯網接入

    支持物聯網硬件設備的直連、網關(guān)連接、接口連接。

  • 6

    計劃任務(wù)

    可設置任務(wù)執行的計劃時(shí)間(jiān)和周期,可查看、管理(lǐ)運行情況和運行結果。

采集方式

Data Collection Mode
  • 接口采集

    針對規範的程序數據接口、數據庫、物聯網設備網關(guān)進行數據自動采集

  • Web結構化(huà)采集

    定向采集,主要針對web網站(zhàn)頁面中的數據進行采集和數據預處理(lǐ)

  • 爬蟲

    非定向或半定向采集,主要針對網絡上(shàng)公開内容的爬取、清洗、整理(lǐ)歸納等