記憶體爆炸？虛擬矩陣來救你！

大家好，貓大又來了！今天貓大要跟大家談的是虛擬矩陣（Virtual Matrix）。每一位程式人在寫程式時（尤其是大程式），一定常常遇到記憶體不足（Out of Memory）的問題。尤其在採礦程式中，我們需要大量的泥土（資料），並從資料內挖掘有利益價值的礦物（有用的資料），但當電腦的記憶體無法容下如此大量的泥土（資料）時，便會跑出記憶體爆炸的錯誤。

程式運作的流程

接下來我們來談談程式運作的方式。最一開始，程式會儲存在硬碟（Hard Disk）或光碟（Compact Disk）等輔助儲存系統中，當我們要求程式運作時，作業系統會將我們的程式由硬碟載入到主記憶體（Memory）內，並作適當的修正，使程式成為可執行的狀態。若程式需要使用資料庫內的資料，則會從資料庫載入需要的資料到主記憶體中供程式運作，接著便由CPU來執行程式內的運算。

記憶體不足的問題在於當「程式過大」或「資料量過大」時，造成載入主記憶體後其無法負荷。而虛擬矩陣的用意，便是為了解決資料量過大造成的記憶體不足，並且讓我們的程式可以使用大量的資料供程式運算分析。

虛擬矩陣運作方式
虛擬矩陣是如何運作的呢？試著把我們的程式想像成是在採礦，那麼資料庫就是我們的礦場，我們需要從大量的資料中，找出有用的資訊。而主記憶體就是我們分析礦石的場所，有可能是你家的後花園，也有可能是車庫。而CPU便是用來分析的工具。因此，當你需要從礦場的泥土中找出貴重金屬時，不可能將整個礦場搬到家裡的後花園。並不是因為家中沒有後花園，而是因為後花園並沒有這麼大，而造成後花園空間不足（Out of Garden）也就是程式中的記憶體不足。
但是，如果我們不要一次將整個礦場搬到家裡的後花園，而是將礦場切成一個N x N的矩陣，每次只搬運矩陣中一點點的泥土跟礦石到後花園中，那麼就不會造成花園空間爆炸，導致沒有辦法分析礦石了。
所以，我們會虛擬化地「將所需要的資料以矩陣的方式切割」，當我們程式需要這些資料時，再每次只從資料庫取一部分的資料供程式分析使用。

稱呼虛擬矩陣的原因
為什麼要叫虛擬矩陣呢？按照前一段落的介紹可以發現，我們可以不以矩陣方式去切割我們的礦場，我們也可分層或利用其他的分割方式為之。
其實會叫做虛擬矩陣式有原因的，在大多數的資料採礦程式（Data Mining Program）的分析方法中，不管是支撐向量機（SVM）或羅吉斯回歸（logistic regression）等，都是需要資料與矩陣的方式儲存。而虛擬矩陣的機制正好是要解決資料採礦程式中，資料量過多造成的記憶體不足問題。因此虛擬矩陣都是以矩陣的方式切割來源資料的。

虛擬矩陣是專門解決記憶體不足的機制，以防止當資料採礦程式的資料量太大時，欲一次將所有資料抓取到記憶體後，造成程式無法運作的解決辦法。藉由一次只從資料庫抓取一部分的資料，並且讓程式中能夠以矩陣方式簡單操作，使程式能夠穩定執行。