「資料湖倉一體」（Data 資料孤島 Lakehouse）是一個不斷發展的新概念，它在傳統的資料湖泊上增加了資料管理功能。 相比之下，串流處理管道持續執行，但需要較低的運算能力。 資料管道包含一系列循序命令，每個命令都在整個批次資料上執行。
此外某些金融服務機構的IT團隊，光每天的日常營運就已分身乏術，平均大概只有46％的時間用來創新，採用一套彈性的資料基礎架構就能讓他們省下時間來投入一些更有價值的工作。 只要有更多時間，IT團隊就能和業務團隊更密切合作來達成公司更遠大的策略目標。 同時其他部門的員工也能提升自己的資料素養，讓他們更有能力創新，能更快因應不斷改變的企業需求。 總結來說，金融服務機構所面臨的三項創新障礙為清整大數據、資料孤島及複雜的管理工作。 金融服務機構征服創新障礙，首先要改善金融服務機構現有的設施：將老舊的基礎架構現代化，採用進步的資料架構與解決方案來提供彈性與靈活性。
資料孤島: AWS 資料湖的基本支柱
雲端資料湖泊提供所有一般資料湖泊功能，但位於完全受管理的雲端服務中。 例如，資料串流可顯示包含過去一小時測量值的感應器資料。 資料管道的端點可以是資料倉儲、資料湖，或者其他商業智慧或資料分析應用程式。 隨著變更按順序發生，可能存在特定的相依項，從而降低管道中移動資料的速度。 例如，如果管道必須等待中央佇列填滿才能繼續，這就是技術相依項。
清整大數據：邁向創新的第一個障礙 最近在IDC於新加坡舉辦的一場金融服務產業研討會上，我們聽到了一些金融服務機構資深技術長們談到了他們心目中最大的資料挑戰。 資料清整與準確性的維護對於金融服務機構來說，是極重要的資料管理挑戰。 金融服務機構蒐集的多是一些結構化資料，並使用資料倉儲與數值回歸這類常見的分析工具，但資料的清整依然相當費事，這些程序讓專家無法真正從事資料探勘或模型建構的工作，使企業策略和決策少了參考依據。 金融服務機構已開始意識到，長期下來資料清整的工作將耗費更大的成本和資源，因此加快資料清整的程序，採用資料導向的儲存基礎架構來支援龐大的資料與工作負載並提供彈性是非常重要的。 突破資料孤島來提升智慧 Dresner Advisory Services所做的一項研究顯示，亞太地區的企業採用大數據分析的比例約為44％，為全世界最低，這意味著企業存在一些讓他們無法從資料中獲取更多價值的障礙。 資料孤島在企業部門間普遍存在，但亞太地區的地理多樣性也深深影響資料的蒐集、移動與控管方式，區域性金融服務機構很可能有龐大的資料庫卻無法進行跨區域的分享，因此資料的應用只限於預測和報表等立即性的工作。
資料孤島: 資料孤島成多雲管理障礙 Cohesity輕鬆整合保護
我們再舉個例子，通常有一定規模的公司都會有一些數據工程師分散在不同的部門中。 創立於2013年，Cohesity在2020年獲Gartner評選登上資料中心備份和還原解決方案（Data Center Backup and Recovery）魔力象限中的領導象限。 資料管道可抽象化資料轉換功能，以整合不同來源的資料集。 其可交叉檢查多個來源的相同資料的值，並修復不一致之處。 例如，假設同一位客戶透過您的電子商務平台和您的數位服務進行購買。
防止太陽能光電系統孤島效應的基本點和關鍵點是電網斷電的檢測，為了能快速檢測到電網斷電，通常需要採用被動式和主動式兩種「孤島效應」檢測方法，一旦確認電網失電，均需在幾個周期內將逆變器與電網斷開並停止逆變器的運行。 想當然耳，長久以來這種「資料源 — 資料倉儲 — 資料應用」的關係，使得許多人很自然地認為資料倉儲的角色就是數據中台。 鼓勵部門相互交談可以幫助您的公司瞭解可以使用哪些資料集，您可以透過定期會議或使用騰訊會議等聊天軟體來做到這一點。 一些部門還可以將自己視為特定資料集的“看門人”，並且當組織中的其他團隊可以檢視和編輯它們時會感到緊張。 該團隊將員工銀行詳細資訊以及地址和社會保險號等其他敏感資訊保安地存檔此資訊不需要提供給其他人。
資料孤島: 資料管道與 ETL 管道有何不同？
具體舉例來說，在身份驗證方面，一個自然人或企業很有可能會開通各個商業銀行、第三方支付、P2P網路借貸、小額貸款等賬戶。 商業銀行通過央行徵信系統來對客戶在其他銀行的表現進行風險識別和風險定價，對於第三方支付、P2P網路借貸和小額貸款等公司的賬戶資料，商業銀行由於缺乏外部大資料採集能力和意識，並不能及時和輕易地獲取。 因此，客戶除商業銀行之外，在其他信貸渠道引發的信用風險，勢必會疊加到商業銀行的信貸風險中。 採用公有雲建置數據中台，最直接的效益就是以單一平台進行資料重整，並以最少的人力和投資完成更多工作，同時還能擺脫舊架構的包袱，直接以現代化的架構來應對多元化的資料類型、快速成長的資料容量，以及其他相關需求 。 而數據中台所需要的技術方案，幾乎都可以透過 Azure 取得及建置，結合 Power Apps 的低代碼特性及應用效益，將可支援企業走向新型態的服務開發及資料應用需求。 在前台和後台之間創造全新的數據中台，以全方位的資料技術專責處理資料課題，包括異質來源的資料匯集與儲存、資料治理與運算分析，成為打破困局的關鍵。
因為投遞廣告時需要代理商，讓數據搜集時多了一層關卡，形成了多個數據庫間的鴻溝，不僅可能造成了轉換率的下降或是客源的流失，也形成了隱形的圍牆讓企業無法針對廣告預算優化或加強投資對企業特別有利的火熱版位或時段。 透過建築資訊模型 (BIM) 與地理資訊系統 (GIS) 之間的雲端至雲端連線，將專案資訊和地理空間背景資訊彼此整合。 藉助可用於分析的所有資料，組織可加速創新，例如探索節省成本或個人化的新機會。 Google 本周在 Data Cloud 高峰會上宣佈三項資料方案預覽版本，協助企業突破資料來源不互通的限制，進行資料分析和決策。 資料孤島 傳統Excel無法自動更新展示最新的資料，FineReport可以實時對接業務資料庫，只要後端資料發生變化，前端報表即可實時呈現。 同時，行銷專家可以存取資料同一個湖泊，並查看網站及社群媒體與新聞互動的情緒分析、宏觀經濟和銷售歷史資料，以判斷要注重哪些產品以及大幅提升銷售、利潤和/或採用的最佳方式。
資料孤島: 客戶使用心得
相反，如果管道必須暫停，直至另一個業務部門交叉驗證資料，這就是業務相依項。 至於流式運算，常見於製造業，生產線運行時會產生大量的即時資料，例如：電子看板、物聯網、日誌檔，在不中斷生產線的同時，快速取得及分析資料，甚至結合機器學習，提供生產線的優化作法或是潛在問題的告警。 在企業數位轉型的過程裡，科技轉型是極為關鍵的環節，試想，當企業準備以新業務模式在市場大展手腳，卻被舊有的 IT 架構綁手綁腳，錯失的不僅是時機，更是商機。 對此，觀察網路企業的 IT 戰略常能帶來啟發，甚至獲得經過實證的行動指南，阿里巴巴提出的數據中台就是很好的例子。
然後可將此資訊作為零售 ERP 資料孤島 系統的輸入，以推動後續增加或減少的生產計劃。 例如，當需要儲存在資料湖泊中的原始資料以回答企業問題時，便可擷取、清除、轉換資料並將其用於資料倉儲以供進一步分析。 資料湖泊是一個中央資料儲藏庫，有助於解決資料孤立問題。
資料孤島: 探索更多 AWS 服務
再者，掌握著大量真實資訊的網際網路企業、第三方徵信公司和O2O平臺之間也難以達到互聯互通的程度。 電子商務、社交網路、地理位置、信用評估、搜尋引擎、移動網際網路行為等大資料交叉集中於阿里巴巴、騰訊、百度、拉卡拉、九次方等企業。 自IBM公佈首例大資料商業案例以來，大資料技術在世界範圍內得到快速普及。 資料即價值，由此深深地根植於每一個現代企業的發展理念中，這些企業都希望抓住第三次技術浪潮的時代機遇。
您對「數據中台」的想像，是否就是一個超大型的資料倉儲（Data Warehouse）或資料湖（Data Lake）？ 在過往我們服務的客戶裡，時不時會有人提出這樣的疑問。 您需要做的第一件事是檢視您在業務中擁有的所有資訊，誰擁有它，它儲存在哪裡，誰可以訪問它？ 但是，在某些情況下它們可能是有益的，例如，如果部門需要控制機密資訊。 許多資料孤島可以在 Excel 電子表格、Google 文件甚至 U 盤中找到。
資料孤島: 快速連結
但若將數據中台的代理管線和資料節點技術，部分引入來改善既有資料庫系統、應用程式的效能，則是相當容易且沒有太大風險。 我們應該要認識到，企業對資料應用的需求，已經跟過去不一樣，數據也不是只有 BI、分析單位或是很潮的 ML/AI 團隊才有使用的需求，更多的 IT 系統都有使用資料的需求，而且場景還更為複雜和多元。 此外，即使單看數據分析的工作，可能從過去一年、半年統計分析，也進展到一季、一個月甚至一天一次。 對於一些講求效率的企業，甚至需要一小時、一分鐘或是近乎即時的分析，而且針對不同的需要，甚至需要同時處理多種分析和運算。 資料分享：將報表釋出到資料門戶與其他使用者進行共享，適合企業使用，支援資料許可權控制，可對每個使用賬號進行許可權上的控制，還能對每個賬號實現資料隔離，這是解決資料孤島問題的最強利器。
- 您可以使用 AWS Glue，即時或批次匯入任意數量的資料。
- 當資料孤島成為您組織的常態時，適應一種新的資訊共享方式可能具有挑戰性，因為部門可在過去的數年甚至數十年的時間都是這樣單獨訪問資料集的。
- 從詐騙偵測與行動銀行應用程式，到更新的風險模型以及雲端、人工智慧、機器學習等技術，都帶來了更好的成本效益及更棒的客戶體驗。
- 突破資料孤島來提升智慧 Dresner Advisory Services所做的一項研究顯示，亞太地區的企業採用大數據分析的比例約為44％，為全世界最低，這意味著企業存在一些讓他們無法從資料中獲取更多價值的障礙。
- 道路沖毀通訊中斷，處於山嶺包圍中的金雞臺村，雨後雲迷霧鎖，成為與外界失聯的“孤島”。
- 例如，假設同一位客戶透過您的電子商務平台和您的數位服務進行購買。
