資料搬移策略指南
總覽
決定改用新系統從來都不容易。但當您目前的環境不再符合您的需求，無論是由於容量限制、效能限制、授權變更，還是轉移到雲端基礎架構，搬移都無法避免。問題在於如何在不造成問題的情況下處理，而不會比您解決的問題更多。
強大的資料搬移策略為您提供從規劃到停用的結構化路徑。它解決了移動資料的技術機制、涉及的業務風險，以及在整個過渡期間保持資料準確和可存取所需的治理流程。
什麼是資料搬移？
資料搬移是將資料從一個儲存位置移至另一個儲存位置的過程，包括規劃、對應、擷取和格式化步驟，以確保資料在新環境中能夠存取和準確。它涵蓋了在系統之間傳輸資料庫、檔案、應用程式，以及整個工作負載，這些可能格式、結構或平台有所不同。
隨著企業組織在更多樣化的環境中處理呈指數級的資料，能夠有效率地搬移資料變得至關重要。曾經意味著將資料庫從一個伺服器複製到另一個伺服器，通常涉及雲端平台、分散式架構和合規性要求，從而增加了極大的複雜性。
資料搬移如何運作？
大多數資料搬移都遵循一般 ETL 流程，包括擷取、轉換、載入，但具體情況因來源和目標環境而異。搬移的核心包括以下步驟：
- 分析您想要搬移的資料，以找出來源與目標環境之間的相容性問題，包括架構差異、資料類型不符，以及編碼不一致。
- 將來源欄位對應至其目標等同物。良好的資料對應文件對於在生產前發現轉型錯誤至關重要。
- 在開始搬移前備份所有資料。這是無法協商的。沒有經過驗證的備份，資料搬移失敗可能意味著資料永久遺失。
- 在投入之前，對照生產環境的複本測試您的搬移邏輯，以驗證目標系統中的資料準確性。
- 使用資料載入器或 ETL 應用程式從來源系統擷取資料。
- 必要時轉換資料以符合目標系統的格式、架構或資料品質要求。
- 將轉換的資料載入目標環境。
- 驗證傳輸的資料是否完整、準確、可存取，包括列數、總和檢查碼和應用程式層級測試。
映射和測試步驟是大多數搬移都遇到問題的地方。將搬移視為純拷貝作業的組織，跳過嚴格的資料剖析與驗證，往往只會在資料品質問題轉移後才發現，因為這些問題最難修復。
六大資料搬移風險
這些是與資料搬移相關的最常見風險，以及為何每個風險都需要在您的策略中明確解決。
1. 超出預算
根據 Oracle 的資料搬移白皮書顯示，跨資料搬移專案的成本平均超支 30%，時間則平均超支 41%。這些數據超支幾乎總是低估了源資料的複雜性，特別是當實際資料分析開始後，所需的清理和轉換工作量。
預算超支的另一個常見原因是範圍下滑。資料搬移時常發現在初始範圍中看不到的相依性、整合和資料品質問題。每次發現都會增加未編列預算的工作。組織在搬移預算中建立應變性，通常比初始估計高出 20% 到 25%，在不破壞專案的情況下處理這些發現。那些最終不會轉嫁或尋求額外預算核准的人，兩者都會帶來風險。
2. 資料遺失
資料遺失是資料搬移的常見結果，會跳過或加快備份階段。每個搬移計畫都必須包含經過驗證、測試的備份策略，才能進行任何資料移動。這意味著您不僅要建立備份，還要確認您可以從備份還原。
差異性比看起來更重要。許多組織在嘗試還原時發現備份不完整、損壞或與目標環境不相容。從未測試過的備份不是備份，而是假設。還原測試應該是開始搬移執行前的正式簽核要求，而不是在資料轉換後排定考慮時間。
3. 停機時間
無需地理複製或平行運行的基礎架構，資料搬移通常需要使系統離線。這會影響應用程式效能和使用者存取。您選擇的搬移方法，包括大爆炸、哭鬧或零停機時間，大大決定了企業必須吸收多少停機時間。
預估停機時間也是一種樂觀的方式。如果資料量比預期大、轉換邏輯運行速度比測試慢，或驗證步驟需要解決的表面問題，則預計四小時的搬移窗口可以延伸到 12 個。溝通實際的停機時間估計，並在維護窗口建立緩衝區，避免中搬移壓力，導致不慎決定是否繼續或復原。
4. 資料損毀
當非必要、格式錯誤或不相容的資料被傳輸至新系統時，就會發生資料損毀。資料損毀會導致應用程式當機，並產生不準確的輸出，有時比直接資料遺失更難偵測，但資料遺失是顯而易見的，但數值輕微錯誤的記錄在幾週內卻無法被偵測。
常見的貪污來源包括：特徵編碼來源與目標系統之間的不符、資料類型轉換會默默截斷或轉換值，以及轉換邏輯會錯誤地處理邊緣案例。在搬移前進行嚴格的資料清理，並在資料轉換後進行驗證，是主要防禦措施。驗證應包括技術檢查—列數、總和檢查碼、限制驗證—以及應用程式層級測試，以確認資料在實際業務流程的脈絡下能正確運作。
5. 資料引力
資料引力是指資料累積相依性的傾向，包括應用程式、服務，以及其他隨時間而與之連結的資料集。資料集的引力越高，移動就越難，而且不會中斷這些相依性。組織在搬移資料庫時，經常發現資料重力中位移，也需要重新配置數十個連線服務。
這種風險在多年有機成長的環境中尤其明顯。整合建立、API 使用連線字串進行硬式編碼，報告工具則指向特定資料來源，通常不需要集中式文件。在橫向分析期間進行徹底的相依性映射練習，是化解這些連結的最佳方式，以免這些連結變成過時的意外。每個涉及要搬移的資料的應用程式、服務和已排程工作，都必須作為搬移計畫的一部分加以識別、測試和更新。
6. 資料品質不佳
資料品質問題—重複記錄、格式不一致、遺失值和資料過時—在搬移時不會消失。它們到達目標系統，成為您新系統的問題。搬移前的資料治理審查和清理流程，是協助預防這種情況的唯一可靠方法。在搬移前跳過資料剖析的組織，會一直花在搬移後清理上的時間比前期清理還多，而且在更糟的情況下，使用者已經在新的系統和業務營運上，這取決於尚不值得信賴的資料。將搬移視為改善資料品質的機會，而不只是移動資料品質，而是在另一邊產生有意義的更好結果。
資料搬移策略
您的搬移策略定義了資料如何從來源移動到目標：一次移動、分階段移動，或沒有明顯中斷。正確的方法取決於您對停機時間的容忍度、環境的複雜性，以及系統搬移的關鍵性。
1. Big Bang 搬移
Big Bang 搬移可在單一作業中傳輸所有資料，通常在排程的維護期間進行。系統離線，ETL 處理運行，目標系統出現完整的資料集。
優勢在於簡易性與速度，無需維持並行系統或管理資料同步。缺點是風險暴露：如果搬移過程中發生故障，您可能會面臨復原或延長的停機時間。Big Bang 非常適合較小的資料集、具有自然維護視窗的系統，以及可接受短暫停機時間的組織。
2. 棘手的搬移
在複雜的搬移中，資料會分階段移動，而舊系統與新系統則同時運作。來源系統在搬移期間仍維持上線狀態，因此使用者可免去停機時間。資料同步工具能在過渡期間維持兩個環境的一致性。
棘手的搬移更複雜，無法執行。並行系統需要額外的基礎架構、謹慎的同步邏輯，以及新系統成為權威性的定義轉換點。但對於任務關鍵型環境而言，這種增加的複雜性通常是正確的權衡。
3. 零停機時間搬移
零停機時間搬移是複雜方法的延伸，它使用連續複寫和近乎即時的轉換來消除任何服務中斷。當目標系統與來源達到同位時，系統就會發生切換，而非預定的維護窗口。這種方法對於具有24X7可用性要求或 SLA 承諾的組織來說越來越常見，這些承諾禁止任何停機時間。
零停機時間搬移的複雜性是三種方法中最高的，但業務中斷的風險最低。現代化儲存和資料庫平台使這種方法更容易使用，如地理複寫和 active-active 叢集等工具可支援大規模的持續同步。
大多數企業搬移無法完全融入單一類別。常見的模式是針對主動生產資料庫使用慢速或零停機時間方法，同時將 Big Bang 用於可容忍短暫無法使用的歸檔資料。
資料搬移的類型
搬移類型取決於您的移動內容和所涉及的環境。每種類型都有各自的技術考量、故障模式和規劃需求。了解適用於專案的類型或類型組合，是您的搬移策略需要做出的首要決策之一。
資料庫搬移
資料庫搬移可在兩個資料庫系統之間傳輸資料或應用程式，無論是切換供應商或升級資料庫軟體。常見的觸發因素包括資料庫供應商的報廢公告、授權成本變更、目前平台的效能限制，或是改用開源替代方案。
架構差異是複雜性的主要來源。兩個資料庫可能以結構不相容的方式儲存概念相似的資料，例如：
- 不同的資料類型
- 命名慣例
- 限制規則
- 索引方法
儲存在一個資料庫方言中的儲存程序和自訂功能通常需要重新寫入目標系統。
應用程式相依性將挑戰化為複雜。大多數的生產資料庫都被多個讀取和寫入的應用程式使用。每個應用程式都需要在切換前對照目標資料庫進行測試，任何依賴供應商特定行為的查詢都需要識別和重新編寫。缺少此步驟是資料庫搬移失敗驗證的最常見原因之一。
注意事項：
- 隱含的資料類型轉換，跨平台的行為不同
- 字元編碼差異（例如 UDF-8 與 Latin-1）會損壞文字資料
- 順序和自動增加行為無法於廠商之間清楚轉移
- 以廠商專屬的 SQL 方言編寫的觸發和儲存程序
雲端搬移
雲端搬移將資料或應用程式從就地部署環境轉移到雲端基礎架構，或在雲端供應商之間進行搬移。它們通常是範圍最大的，也是組織最複雜的搬移類型，因為它們經常涉及資料庫搬移、儲存搬移，以及並行執行的應用程式搬移。
搬移時若能將工作負載搬移至雲端，修改率最低，執行速度最快，但通常會讓效能和成本問題消失。改寫或重構工作負載，以利用雲端原生服務，提高了搬移的複雜性，但通常能產生更好的長期成果。
合規要求、資料駐留規則和網路延遲，都增加了純粹就地部署的搬移所沒有面對的維度。GDPR、HIPAA 和其他法規可能會限制資料在哪裏可以傳輸或存放，即使是暫時的。對於移動大型資料集的組織而言，網路頻寬可能會成為真正的瓶頸，有些搬移使用實體資料傳輸服務的速度比無線傳輸來得快、更便宜。
隨著組織重新評估廠商關係或整合多重雲端環境，雲端到雲端的搬移（例如在 AWS、Microsoft Azure 和 Google Cloud 之間移動）變得越來越常見。這些搬移需要了解累積在來源雲端的專屬服務相依性、物件式資料儲存 API、託管式資料庫服務、無伺服器功能，並判斷目的地是否有同等服務。
注意事項：
- 大幅增加搬移預算的出口成本
- 目標供應商沒有直接等效性的專屬服務相依性
- 資料居住地與合規要求衝突
- 延遲性影響專為低延遲就地部署存取而設計的應用程式
儲存設備搬移
儲存設備搬移將資料從現有儲存陣列移至新硬體。它們是企業環境中最常見的搬移類型之一，由硬體更新週期、容量擴展需求，以及從旋轉磁碟到全快閃基礎架構的轉變驅動。
與資料庫或應用程式搬移不同，儲存搬移本質上不會涉及資料轉換。資料格式不變；您正在將區塊或檔案從一個實體位置移至另一個實體位置。但營運風險也同樣真實。任何會中斷生產資料存取的儲存陣列搬移，都會影響每個應用程式和使用者，視儲存情況而定。
以主機為基礎的搬移使用在伺服器上執行的軟體，將資料從來源複製到目標儲存。它們具有彈性，不需要專門的硬體，但在搬移過程中會消耗伺服器 CPU 和記憶體資源。以陣列為基礎的搬移使用內建於儲存硬體的複寫功能，通常可產生較少的主機端額外負荷，並支援不中斷的轉換。
對於使用全快閃陣列的組織而言，儲存搬移通常與更廣泛的基礎架構現代化工作同時發生。從混和式或旋轉式磁碟儲存到全快閃儲存都大幅改變了效能特性，而針對更高延遲儲存進行調整的應用程式可能需要重新配置，才能充分利用新的環境。
注意事項：
- 主機多路徑配置，在儲存目標改變時需要更新
- 具有硬式編碼儲存路徑的應用程式在搬移後會中斷
- 影響應用程式行為的來源與目標陣列之間的效能差異
- 容量規劃，可考量新舊硬體之間的不同資料減量比率
應用程式搬移
應用程式搬移將應用程式在環境之間移動，就地部署到雲端，雲端到雲端，或新的 SaaS 平台。它們是最複雜的搬移類型，可以規劃和執行，因為它們幾乎總是將資料庫和儲存設備搬移作為相依項目觸發。
複雜度化合物快速。舉例來說，搬移 ERP 系統可能需要搬移其基礎資料庫、執行的儲存系統、依賴的網路服務，以及與其他應用程式的整合，每個應用程式都有自己的搬移需求和排序限制。
應用程式搬移也具有任何搬移類型最具商業風險，因為它們會直接影響使用者和業務流程。儲存設備搬移出錯，就是基礎架構問題。應用程式搬移出錯，中斷了人們完成工作所需的工作流程。
SaaS 搬移，從自我管理的應用程式搬移到供應商管理的雲端服務，帶來了不同的挑戰。您經常搬入自訂選項有限的多租戶環境，這意味著在任何資料移動之前，評估目標平台是否能夠真正支援您目前的工作流程。
注意事項：
- 透過文件化或文件化 API 連線至應用程式的第三方整合
- 需要複寫或搬移的使用者驗證相依性（LDAP、Active Directory）
- 自訂組態與擴充功能，不得傳輸至目標環境
- 需要納入專案時間表的終端使用者訓練需求
了解這些相依性對排序而言至關重要。儲存搬移通常需要先完成，才能驗證應用程式搬移。資料庫搬移需要在應用程式切換前執行。將這些視為獨立工作流程，而非依賴序列，可能導致資料切換時出現意外問題。
資料品質和資料搬移前評估
資料品質是資料搬移規劃中最被忽略的單一因素。企業組織持續發現資料搬移中段，其原始資料包含重複、格式不一致、孤立的記錄，以及缺少的資料在符合新架構之前無法顯示的值。
搬移前評估應包含三個要素：
- 資料剖析：系統性分析來源資料，以識別品質問題、資料類型分配、無效率和限制違規。分析可讓您準確了解實際搬移的內容，而非您認為搬移的內容。
- 資料清理：在搬移開始之前解決分析過程中發現的問題。這包括重複資料刪除、標準化格式、修正編碼問題，以及移除或歸檔過時的記錄。
- 射源至目標對應驗證：確認每個來源欄位都有有效的目標目的地、資料類型是否相容，以及轉換邏輯是否經過記錄與測試。
此項評估的輸出結果應為資料品質報告，利益關係人可在任何資料移動前簽核。這樣可以建立問責制，並防止常見的情境，即資料搬移後發現的資料品質問題歸咎於搬移本身，而非既有的來源資料問題。
安全性與合規性考量
資料搬移造成風險升高的暫時性窗口。在已知的安全環境中，系統之間傳輸的資料可能比靜態資料更容易受到攻擊。任何處理受監管資料—個人資訊、財務記錄、健康資料—的搬移策略，都需要明確解決合規要求。
搬移的關鍵安全性考量包括：
- 傳輸中加密：確保資料在整個搬移管道都經過加密。這同時適用於網路傳輸和任何中繼預備環境。
- 存取控制：僅限授權人員存取搬移系統。基於搬移目的授予的暫時提升權限應在完成後立即撤銷。
- 稽核記錄：在搬移期間保留所有資料存取和移動的詳細記錄。這些記錄既可作為操作記錄，又可作為合規文件。
- 資料居住地：對於受 GDPR、HIPAA 或其他資料治理法規約束的組織，請確認資料在搬移期間不會通過或暫時停留在不合規的司法管轄區。
- 回復政策：定義您要復原搬移的條件，並確認復原在技術上是可行的。僅存在於紙張上的復原計劃並非復原計劃。
在搬移前規劃階段，應審查並記錄監管合規要求，而非在執行期間發現。及早讓您的資安與法規遵循團隊參與，有助於防止最後一刻的暫停，這將為期兩週的遷搬移變為為期三個月的專案。
如何規劃資料搬移
所有資料搬移都涉及某種形式的 ETL，但確切的搬移計畫形式取決於企業的獨特需求。以上步驟，即資料分析、策略選擇、安全性審查，皆應在任何執行作業開始之前納入正式的搬移計畫。
搬移計畫應指定要移動的資料範圍、選擇的搬移策略及原因、復原政策、驗證的測試標準、利害關係人通訊時間表，以及來源環境的退役計畫。
如何建立資料中心搬移專案計劃
資料中心搬移專案計劃能讓您在預算內準時搬移。以下是從既定搬移方法中提取的逐步框架：
1. 預搬移規劃
執行搬移前影響評估，以驗證搬移的實際成本。檢查成本估算是否基於具體分析或猜測，從供應商估算中得出的預算數字或產業平均值，而不參考您的具體環境，可能不準確。簡要的高階主管和 IT 人員必須參與，包括一般會被低估到逾期的時間承諾。
在任何技術工作開始之前，取得正式的安全管理簽核。確定專案交付結構（靈活 vs. 瀑布），定義角色和決策權，設計訓練計劃，確認您的配置管理政策。這個階段的目標是確保每個人都同意正在做的，以及在任何人接觸系統之前，誰負責。
2. 專案啟動
確保您的後勤辦公室運作正常。建立利害關係人溝通計畫，指明誰能取得更新、頻率，以及透過何種管道取得更新。建立專案協作平台，正式制定第三方供應商協議，並定義後期的硬體和軟體需求。
不要跳過供應商協議。因為廠商合約在需要硬體或授權時未就位，所以搬移經常停擺。及早完成這些程序有助於消除可能的延遲源頭。
3. 橫向分析
橫向分析是搬移規劃最重要的階段，因為它決定了您實際搬移的內容，而不是您假設的搬移內容。這兩件事很少相同。
建立詳細的資料字典、高層級的來源至目標對應規格，以及範圍報告。依據您的發現，決定交易量（資料量、紀錄量、相依性量）、建立資料品質管理流程、建立風險登錄，以及精簡專案預估。橫向分析前產生的估計為預留位置。之後產出的預估是承諾。
4. 解決方案設計
詳細規劃來源至目標的轉型，並製作建置的最終設計。這個階段會產生建置團隊運作的假影：詳細的製圖設計規格、介面設計規格，以及資料品質管理規格。
定義生產硬體需求，並就搬移本身達成服務層級協議協議，而不只是針對資料轉換後的目標環境。搬移有自己的效能和可用性要求，在執行開始前必須加以記錄並達成共識。
5. 建立與測試
實作您的搬移架構，並根據真實環境的鏡像進行測試，而非小樣本。使用一小部分生產資料進行測試時，經常無法浮現效能與可擴充性問題，這些問題只會以完整容量出現。完整記錄搬移邏輯，讓任何團隊成員都能執行或排除搬移問題，而不必仰賴一個人持有的機構知識。
開發驗證引擎，以獨立確認目標系統中的資料準確性。建立持續的資料品質監控，建立退守政策，並完成執行訓練。在切換日執行搬移的團隊應該要排練，不要在壓力下第一次運行。
6. 搬移與驗證
使用您選擇的方法執行搬移：大爆炸、慢速或零停機時間。驗證不是這個階段的正式性，而是決定搬移是否確實完成的標準。在宣告成功前，獨立確認列數、總和檢查碼和應用程式層級測試皆通過。
在這一階段中展現稽核師和業務發起人的合規性，而不是在此之後。如果法遵文件是在事後才被考慮，預計它會在新環境上線時造成延遲。
7. 停用與監控
只有在目標系統經過驗證，並在生產負載下穩定運作後，才能淘汰舊有環境。無限期地運行兩個環境會增加成本並產生同步風險，但在確認穩定性之前過早縮減會造成不同的問題。
將資料品質監控職責轉移給適當的團隊，並明確記錄交接。完成系統淘汰驗證，並記錄除役流程以供稽核。在沒有正式退役階段的情況下，在轉換時終止的搬移往往會讓孤立的系統運作比任何預期的系統更久，通常需要實際的基礎架構成本。
資料搬移的最佳做法
成功執行搬移的組織往往會分享一些常見的做法，而那些掙扎不安的組織往往會跳過這些做法。
- 從資料稽核開始，而不是搬移計畫。了解原始資料的實際狀態—品質問題、相依性、數量—必須優先於任何策略規劃。資料分析前的搬移範圍幾乎總是需要中專案重新定義。
- 永遠不要搬移您不需要的資料。資料搬移是封存或刪除資料的機會，這些資料不再是業務用途。移動不必要的資料會增加成本、時間和風險，而且不會有任何回報。
- 使用生產規模資料進行測試。使用小型樣品進行測試時，經常無法浮現效能和可擴充性問題，這些問題只會以完整生產量出現。如果您的搬移 ETL 需要兩個小時的測試時間，則完整生產資料預計需要 20 小時。
- 在切換前定義成功標準。開始前，請確實了解"成功搬移"的意義：特定列數、完整性檢查、應用程式功能測試。沒有定義標準，就沒有客觀基礎來宣告搬移完成。
- 與受影響的使用者溝通。終端使用者和應用程式擁有者必須知道什麼是改變、何時改變，以及如果他們在切換後遇到問題時該怎麼做。溝通不良將技術成功轉化為組織問題。
- 在您需要之前，做好復原規劃。回復計畫應進行測試，而不只是記錄下來。在技術上，了解您的復原程序能大幅降低切換視窗的壓力。
資料搬移的未來
Everpure 如何簡化資料搬移
資料儲存是每次搬移的基礎要素。如果沒有支援不中斷資料移動的儲存基礎架構，組織就面臨延長停機時間和複雜因應措施之間的困難選擇。
Everpure 訂閱方案以 Evergreen® 架構為基礎，透過消除傳統儲存陣列所需的升級週期與維護視窗，讓資料搬移變得更簡單、更經濟：
- Evergreen//One 降低儲存管理和支援的複雜性和成本，提供財務彈性和操作簡易性，同時降低 IT 風險。
- Evergreen//Flex 可讓您靈活因應需求和使用的變化，提高儲存靈活性，並盡可能提高容量使用的投資報酬率，同時降低前期成本。
- Evergreen//Forever東西提供真正的 IT 靈活性，只需購買一次，即可在不中斷的情況下無限期地擴充。
對於搬移至雲端環境或在雲端環境之間搬移的組織，Everpure 整合式儲存平台支援整個搬移生命週期的資料彈性和永續性。結果是，搬移的破壞性較低、可預測性較高，而且更不可能成為大部分搬移專案的超支成本和排程。
探索 Everpure Evergreen 產品組合，了解專用儲存基礎架構如何簡化您的下一次資料搬移。
