|
小 T 導(dǎo)讀：格創(chuàng)東智科技有限公司成立于2018年，孵化于中國500強(qiáng)企業(yè)TCL，是我國知名的工業(yè)互聯(lián)網(wǎng)平臺(tái)服務(wù)商。公司依托TCL集團(tuán)40年工業(yè)場景和制造基因沉淀，基于“面向工業(yè)現(xiàn)場”的研發(fā)方向和“連接、協(xié)同、共享”的發(fā)展理念，深度融合人工智能、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等前沿技術(shù)，為智能工廠和制造業(yè)園區(qū)打造的數(shù)字化能源管理方案，可廣泛應(yīng)用于多個(gè)垂直行業(yè)，運(yùn)行監(jiān)控、能效管理、智能分析、運(yùn)維管理、能源采購、碳排放管理等數(shù)十個(gè)功能模塊，實(shí)現(xiàn)完善的能源管理價(jià)值閉環(huán)，建立數(shù)字化能源&碳計(jì)量體系，智慧化用能及碳管理系統(tǒng)，打造涵蓋企業(yè)碳追蹤、碳計(jì)量、碳管理、碳中和的一站式解決方案。 TCL空調(diào)能源管理平臺(tái)對工廠電、水、天然氣、油等指標(biāo)進(jìn)行實(shí)時(shí)采集、動(dòng)態(tài)監(jiān)測，并以時(shí)間維度、廠家、車間、生產(chǎn)線類型、生產(chǎn)線、設(shè)備等維度進(jìn)行分析、節(jié)能計(jì)量、計(jì)費(fèi)、成本核算、進(jìn)行行業(yè)對標(biāo)、生成分析報(bào)告等，實(shí)現(xiàn)企業(yè)能源精細(xì)化管理，促進(jìn)節(jié)能降耗；實(shí)時(shí)監(jiān)控用戶的用能安全數(shù)據(jù)，及時(shí)向安全管理人員發(fā)送報(bào)警信息，指導(dǎo)其開展隱患治理，為幫助企業(yè)實(shí)施用能安全及能源管理提供信息化服務(wù)。G-Things是我們的應(yīng)用智能平臺(tái)產(chǎn)品家族的物聯(lián)網(wǎng)平臺(tái)，我們先來看一下在該平臺(tái)上的數(shù)據(jù)流轉(zhuǎn)情況。
工業(yè)設(shè)備會(huì)將數(shù)據(jù)上報(bào)到平臺(tái)數(shù)據(jù)接入網(wǎng)關(guān)，然后接入網(wǎng)關(guān)負(fù)責(zé)解析報(bào)文，并過濾掉非法數(shù)據(jù)報(bào)文，之后再將數(shù)據(jù)下發(fā)到Apache Kafka消息中間件，由平臺(tái)實(shí)時(shí)處理、持久化服務(wù)進(jìn)行消費(fèi)，持久化服務(wù)會(huì)把最新數(shù)據(jù)寫入Redis，并將數(shù)據(jù)持久化到時(shí)序數(shù)據(jù)庫。對于平臺(tái)存儲(chǔ)架構(gòu)，設(shè)計(jì)上支持OpenTSDB、ClickHouse、TDengine等時(shí)序數(shù)據(jù)庫切換，我們要根據(jù)項(xiàng)目實(shí)際情況來選型。我們看一下能源行業(yè)數(shù)據(jù)的特性：- 數(shù)據(jù)的時(shí)序性：設(shè)備源源不斷地產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)會(huì)帶著時(shí)間戳上報(bào)到平臺(tái)
- 數(shù)據(jù)流量穩(wěn)定：上報(bào)頻率比較穩(wěn)定，采集頻率在30秒一次
- 數(shù)據(jù)是數(shù)值類型：是一些使用累計(jì)量、電流、電流、壓力之類的數(shù)據(jù)
- 數(shù)據(jù)不存在變更：數(shù)據(jù)是記錄某一時(shí)刻的采集表記數(shù)據(jù)，上報(bào)無需更新或刪除
- 數(shù)據(jù)的聚合及分析基于時(shí)間維度、空間維度：時(shí)間維度有年、月、周、日、時(shí)，最短15分鐘統(tǒng)計(jì)一次，空間維度有廠家、車間、生產(chǎn)線類型、生產(chǎn)線、設(shè)備等
- 數(shù)據(jù)量大：按一個(gè)工廠4萬表記計(jì)算，每30秒鐘一筆數(shù)據(jù)，一天采集的數(shù)據(jù)會(huì)超過1億條
基于能源行業(yè)的數(shù)據(jù)特性，我們要在平臺(tái)支持的OpenTSDB、ClickHouse和TDengine這3個(gè)時(shí)序數(shù)據(jù)庫存儲(chǔ)引擎中作出選擇。下面是一個(gè)對比：- OpenTSDB：依賴HBase、HDFS和ZooKeeper等組件，硬件資源要求高、成本高，在查詢時(shí)間跨度較大時(shí)，性能驟降，另外對聚合分析查詢支持不好。
- ClickHouse：在數(shù)據(jù)存儲(chǔ)、跨時(shí)間段查詢及數(shù)據(jù)聚合分析查詢等方面，都滿足我們的所有選型要求，但是運(yùn)維成本太高，擴(kuò)展過于復(fù)雜，使用的資源較多。
- TDengine：在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析查詢等方面都滿足我們的需求，并且集群版也開源了，支持橫向擴(kuò)展，占用資源少，在客戶有限的資源條件下，是存儲(chǔ)引擎最優(yōu)的選擇。
經(jīng)過以上對比，我們選擇了將TDengine作為自己的存儲(chǔ)引擎。TDengine有兩個(gè)很獨(dú)特的創(chuàng)新，一個(gè)是“一個(gè)數(shù)據(jù)采集點(diǎn)一張表”，一個(gè)是“超級(jí)表”。所以在設(shè)計(jì)數(shù)據(jù)模型時(shí)，就要考慮業(yè)務(wù)模型怎么映射到超級(jí)表和具體的表。根據(jù)TDengine數(shù)據(jù)庫的特性，我們將電表、水表、石油氣表、氧氣表，對每個(gè)類型的數(shù)據(jù)采集點(diǎn)創(chuàng)建一個(gè)超級(jí)表。以創(chuàng)建電表為例：每個(gè)數(shù)據(jù)采集點(diǎn)需要獨(dú)立建表。與標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫一樣，一張表有表名，Schema，但除此之外，還可以帶有一到多個(gè)標(biāo)簽。項(xiàng)目上線半年以來，一直平穩(wěn)運(yùn)行。在TCL空調(diào)能源管理項(xiàng)目中，我們使用的硬件資源明顯減少，同選用ClickHouse集群作為存儲(chǔ)的TCL電子工業(yè)物聯(lián)網(wǎng)平臺(tái)對比，兩個(gè)項(xiàng)目的數(shù)據(jù)規(guī)模差不多，TCL空調(diào)能源管理項(xiàng)目數(shù)據(jù)庫服務(wù)器減少了一半。我們以組態(tài)視圖的方式實(shí)現(xiàn)了各系統(tǒng)運(yùn)營參數(shù)可視化監(jiān)控與實(shí)時(shí)查詢，實(shí)現(xiàn)了完整的能源數(shù)字化管理解決方案，提高了運(yùn)營管理決策的效率。通過電、水、石油、天然氣使用分析，對工廠能源結(jié)構(gòu)優(yōu)化和節(jié)能降耗，實(shí)現(xiàn)降能耗5%左右，預(yù)計(jì)每年為TCL空調(diào)實(shí)現(xiàn)降本收益上千萬元。在使用TDengine的過程中，我們也總結(jié)出一些經(jīng)驗(yàn)。比如，TDengine提供最后一條記錄的緩存，通過last_row函數(shù)可以快速獲取實(shí)時(shí)數(shù)據(jù)。平臺(tái)在使用TDengine之前，用Redis來緩存最新的一筆數(shù)據(jù)，而大量的寫入Redis對性能會(huì)有一定的影響，現(xiàn)在用TDengine cache代替Redis緩存，可以完美解決這個(gè)問題。另外，在使用過程中，TDengine的技術(shù)專家也提供了很多支持。TDengine有自己的技術(shù)交流微信群，非?；钴S，很多技術(shù)問題都有濤思數(shù)據(jù)的專家親自答復(fù)，響應(yīng)非?？焖?。
作者簡介：
許海軍，目前負(fù)責(zé)TCL AIoT平臺(tái)整體技術(shù)架構(gòu)開發(fā)，主要從事工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)系統(tǒng)開發(fā)，曾參與廣東示范級(jí)工業(yè)互聯(lián)網(wǎng)平臺(tái)建設(shè)等工作。
|
