TW201812592A - 用於決定雲端儲存設備架構的快取記憶體中的資料之方法及使用該方法的雲端儲存設備系統 - Google Patents
用於決定雲端儲存設備架構的快取記憶體中的資料之方法及使用該方法的雲端儲存設備系統 Download PDFInfo
- Publication number
- TW201812592A TW201812592A TW105128960A TW105128960A TW201812592A TW 201812592 A TW201812592 A TW 201812592A TW 105128960 A TW105128960 A TW 105128960A TW 105128960 A TW105128960 A TW 105128960A TW 201812592 A TW201812592 A TW 201812592A
- Authority
- TW
- Taiwan
- Prior art keywords
- time
- data
- cache
- algorithm
- specific
- Prior art date
Links
- 230000015654 memory Effects 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 60
- 230000036962 time dependent Effects 0.000 claims description 45
- 239000000463 material Substances 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本發明揭露一種用於決定雲端儲存設備架構的快取記憶體中的資料之方法及使用該方法的雲端儲存設備系統。該方法包含步驟:A.紀錄一雲端儲存設備系統的快取記憶體於過去一段時間內的處理內容;B.指定於未來的一特定時間;C.基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度;D.排序該些與時間相關的置信度;及E.提供具有較高與時間相關的置信度的快取資料於該快取記憶體中,並當該快取記憶體於未來的該特定時間前耗盡時,移除該快取記憶體中具有較低與時間相關的置信度之快取資料。
Description
本發明關於一種用於決定雲端儲存設備架構快取資料的方法及一種用該方法的雲端儲存設備系統,特別是關於一種用於決定雲端儲存設備架構的快取記憶體中的資料之方法及使用該方法的雲端儲存設備系統。
對雲端服務系統而言,通常會嘗試盡可能快速地提供其服務給客戶,以回應客戶的請求。當客戶數量不大時,這標的很容易達到。然而,如果客戶數量大增,受制於雲端服務系統的硬體架構以及網路流量,回應時間必然會有快慢之分,但應在合理範圍之內。另一方面,如果一雲端服務在商業上與其它雲端服務競爭,無論其受限於何種事物,該雲端服務系統應技術性地以有限的資源在最短的時間內回應客戶的請求。這是個常見的眾多雲端系統開發者面對的議題,大家都在期盼能夠有合適的解決方案。
在傳統的工作環境中,請見第1圖,有許多客戶端電腦1通過網際網路3連接到一伺服器4。伺服器4是主要處理客戶請求的設備,可能會進行複雜的計算或僅執行儲存資料的存取。對後者而言,儲存的資料可以保留在一快取5或一輔助記憶體6中。快取5或輔助記憶體6的數量可以不限於1個,而是該雲端服務所需的任何的數量。伺服器4、快取5及輔助記憶體6形成雲端服務系統的架構。快取5可能指的是動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)或靜態隨機存取記憶體(Static Random-Access Memory,SRAM)。輔助記憶體6可能是固態硬碟(Solid State Drive,SSD)、硬碟(Hard Disk Drive,HDD),可寫式數位多功能影音光碟(Digital Versatile Disc,DVD),甚或是磁帶。快取5與輔助記憶體6的物理性差異在於斷電時的資料儲存性。對快取5而言,資料在需要使用時暫時性地儲存而當斷電時消失。然而,無論是否通電,輔助記憶體6均能夠長久地儲存資料。快取5具有快速存取資料的優點,但是卻有揮發性(易失性)、高價格及較小儲存空間的缺點。
如上所述,很明顯,為了達到多數請求所需的熱資料(較多存取)能快速地被存取,並以可忍受的較慢速度提供冷資料(較少存取),決定合適的資料儲存於快取5當中是很重要的,且能改善雲端服務效能。平均而言,回應所有來自客戶端電腦請求的時間會落在可接受的範圍內。近來,有 許多傳統演算法可用於決定何種資料應被快取儲存(儲存於快取5中)。舉例而言,Least Recently Used(LRU)演算法、Most Recently Used(MRU)演算法、Pseudo-LRU(PLRU)演算法、Segmented LRU(SLRU)演算法、2-way set associative演算法、Least-Frequently Used(LFU)演算法、Low Inter-reference Recent Set(LIRS)演算法等等。這些演算法由被分析資料本身的近因與頻率之特性而執行,其結果與其它資料無關(不具有與資料相關之特性)。還有許多的習知技術,諸如中國第CN101777081A號專利與DOI:10.1109/SKG.2005.136論文,揭露了其它型態的快取演算法。它們被歸類為“與資料相關演算法”,以原始的快取資料(來自前述傳統快取演算法的結果)當作標的資料以獲得“與資料相關”的資料並進行快取儲存。這意味著新的快取資料與原始快取資料有某種程度上的關聯(新的快取資料有較高的機會與原始快取資料一同出現)。上述該些演算法被察覺到在某些模式的工作負載上有效。然而,因為它們都計算出現於相對時段的資料,而不是絕對時段的資料,這導致了一個現象:被所有演算法選出快取儲存於一第一時段(例如首8個小時)的資料,可能不盡然會在一第二時段(例如首8個小時後的8個小時)中被存取。這很容易理解,因為幾乎所有資料存取都是絕對時間相關或頻率相關的,舉例而言,於每天早晨8:55AM到9:05AM間開機、於每周三2:00PM開的會議、兩周結 算一次的工資、每月最後一天進行的盤點等等。因此,時間戳本身就是考慮快取資料的一個重要且獨立因子。然而,目前尚未看到有提出以此為考量的解決方案。
本段文字提取和編譯本發明的某些特點。其它特點將被揭露於後續段落中。其目的在涵蓋附加的申請專利範圍之精神和範圍中,各式的修改和類似的排列。
本發明的目的在提供一種用於決定雲端儲存設備架構的快取記憶體中的資料之方法及使用該方法的雲端儲存設備系統,該方法以於過去一段時間內被存取的與時間相關的資料來分析那些資料應被快取儲存。該方法包含步驟:A.紀錄一雲端儲存設備系統的快取記憶體於過去一段時間內的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料;B.指定於未來的一特定時間;C.基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度;D.排序該些與時間相關的置信度;及E.提供具有較高與時間相關的置信度的快取資料於該快取記憶體中,並當該快取記憶體於未來的該特定時間前耗盡時,移除該快取記憶體中具有較低與時間相關的置信度之快取資料。步驟E可以步驟E’所取代:E’提供具有較高與時間相關的置信度的快取資料與從至少一種其它快取演算法計算得到的資料到快取記憶體中,以在未來的該特定時間前 耗盡快取記憶體的使用,其中在具有較高與時間相關的置信度之快取資料及從其它快取演算法計算得到的資料間存在一固定比率。
依照本發明,該固定比率可基於資料數量或資料佔據空間而計算。該特定時間可為一小時中的一特定分鐘、一天中的一特定小時、一周中的一特定日、一月中的一特定日、一季中的一特定日、一年中的一特定日、一月中的一特定周、一季中的一特定周、一年中的一特定周,或一年中的一特定月。以二連續紀錄的處理內容間隔一時間跨度的方式定期地記錄該些處理內容。該參考時段可為於一小時中的特定分鐘內、於一日中的特定小時內,或於一年中的特定日內。
該與時間相關的置信度可由下列步驟計算得到:C1.計算一第一數量,該第一數量為參考時段於過去該段時間內出現的數量;C2.計算一第二數量,該第二數量為當一標的快取資料存取時,該參考時段的數量;及C3.將該第二數量除以該第一數量。
最好,該快取演算法可以是Least Recently Used(LRU)演算法、Most Recently Used(MRU)演算法、Pseudo-LRU(PLRU)演算法、Random Replacement(RR)演算法、Segmented LRU(SLRU)演算法、2-way set associative演算法、Least-Frequently Used(LFU)演算法、Low Inter-reference Recent Set(LIRS)演算法、Adaptive Replacement Cache(ARC) 演算法、Clock with Adaptive Replacement(CAR)演算法、Multi Queue(MQ)演算法,或以來自步驟D的結果作為標的資料的與資料相關演算法。該資料的型態可為物件、區塊,或檔案。
本發明也揭露一種雲端儲存設備系統。該雲端儲存設備系統包含:一主機,用以存取資料;一快取記憶體,連接至該主機,用以暫時儲存快取資料供快速存取;一處理內容紀錄器,配置到或安裝於該快取記憶體,連接至該主機以紀錄於過去一段時間內快取記憶體的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料、接收主機指定於未來的一特定時間、基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度、排序該些與時間相關的置信度,及提供具有較高與時間相關的置信度的快取資料於該快取記憶體中,並當該快取記憶體於未來的該特定時間前耗盡時,移除該快取記憶體中具有較低與時間相關的置信度之快取資料;及複數個輔助記憶體,連接至該主機,用以分散儲存資料供存取。
該雲端儲存設備系統也可包含:一主機,用以存取資料;一快取記憶體,連接至該主機,用以暫時儲存快取資料供快速存取;一處理內容紀錄器,配置到或安裝於該快取記憶體,連接至該主機以紀錄於過去一段時間內快取記憶體的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時 間與過去該段時間內被存取的快取資料、接收主機指定於未來的一特定時間、基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度、排序該些與時間相關的置信度,及提供具有較高與時間相關的置信度的快取資料與從至少一種其它快取演算法計算得到的資料到快取記憶體中,以在未來的該特定時間前耗盡快取記憶體的使用,其中在具有較高與時間相關的置信度之快取資料及從其它快取演算法計算得到的資料間存在一固定比率;及複數個輔助記憶體,連接至該主機,用以分散儲存資料供存取。該固定比率可基於資料數量或資料佔據空間而計算。
依照本發明,未來的該特定時間可為一小時中的一特定分鐘、一天中的一特定小時、一周中的一特定日、一月中的一特定日、一季中的一特定日、一年中的一特定日、一月中的一特定周、一季中的一特定周、一年中的一特定周,或一年中的一特定月。以二連續紀錄的處理內容間隔一時間跨度的方式定期地記錄該些處理內容。該參考時段可為於一小時中的特定分鐘內、於一日中的特定小時內,或於一年中的特定日內。
該與時間相關的置信度可由下列步驟計算得到:C1.計算一第一數量,該第一數量為參考時段於過去該段時間內出現的數量;C2.計算一第二數量,該第二數量為當一標的快 取資料存取時,該參考時段的數量;及C3.將該第二數量除以該第一數量。
最好,該快取演算法可以是LRU演算法、MRU演算法、PLRU演算法、RR演算法、SLRU演算法、2-way set associative演算法、LFU演算法、LIRS演算法、ARC演算法、CAR演算法、MQ演算法,或以處理內容紀錄器產生之資料當成標的資料的與資料相關演算法。該資料的型態可為物件、區塊,或檔案。
快取儲存的資料是與時間相關的。因而,當下一個相關的時間來臨時,這些資料是最有可能被存取的。在該相關的時間之前,這些資料可儲存到快取記憶體中,以改進雲端儲存設備系統的性能。這是傳統快取演算法無法企及的。
1‧‧‧客戶端電腦
3‧‧‧網際網路
4‧‧‧伺服器
5‧‧‧快取
6‧‧‧輔助記憶體
10‧‧‧雲端儲存設備系統
100‧‧‧伺服器
101‧‧‧主機
102‧‧‧快取記憶體
103‧‧‧處理內容紀錄器
104‧‧‧輔助記憶體
200‧‧‧網際網路
301‧‧‧個人電腦
302‧‧‧平板電腦
303‧‧‧智慧型手機
第1圖為傳統資料存取架構的示意圖。
第2圖為依照本發明一雲端儲存設備系統的示意圖。
第3圖為處理內容記錄的表單。
第4圖為本發明提出方法的流程圖。
第5圖與第6圖表列對所有快取資料計算的與時間相關的置信度。
本發明將藉由參照下列的實施方式而更具體地描述。
第2圖顯示實踐本發明的一個理想架構。一種雲端儲存設備系統10包括了一主機101、一快取記憶體102、一處理內容紀錄器103,及數個輔助記憶體104。雲端儲存設備系統10支援雲端服務的資料儲存,它可能部分安裝於一個伺服器100中,如第2圖所示。伺服器100是用來接收來自客戶端設備請求的硬體,這些客戶端設備比如一個人電腦301、一平板電腦302,及一智慧型手機303,或其它經由網際網路200連接的遠端設備。在運行該些請求之後,伺服器100將反向傳送對應的回應給客戶端設備。每一元件將詳細說明如下。
主機101的工作職能主要是回應來自客戶端設備的請求執行資料存取。事實上,主機101可能是伺服器100中的控制器。在其它的實施例中,如果伺服器100的中央處理器具有上述控制器相同的功能的話,主機101指的就是該中央處理器,甚或伺服器100本身。主機100的定義並非是由其形態,而是其功能來決定。此外,主機101可能具有其它的功能,例如取得用熱資料快取儲存到快取記憶體102中,但這並不在本發明的範圍內。
快取記憶體102連接至主機101,可以暫時儲存快取資料供快速存取。實作上,快取記憶體102可以是提供資料高速存取的任何硬體。舉例而言,快取記憶體102可以是SRAM。快取記憶體102可以是一個用於大型雲端儲存設備系統的獨立模組,某些架構可以嵌設該獨立模組到主機101(CPU)中。 如同其它雲端儲存設備系統中的快取,都有一種預設的快取演算法來決定哪些資料應該快取儲存於快取記憶體102中。本發明提供一種平行機制與現有的快取演算法一起運作,用於一種特定的目的或時機。事實上,也能使該快取機制主宰,取代由原先快取演算法決定的快取資料。
處理內容紀錄器103是雲端儲存設備系統10中的要件,在本實施例中,它是一個硬體模組並配置到快取記憶體102中。在其它實施例中,處理內容紀錄器103可以是軟體,安裝於快取記憶體102或主機101的控制器中。在本實施例中,處理內容紀錄器103連接到主機101,它的許多功能是本發明的特徵:紀錄於過去一段時間內快取記憶體102的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料、接收主機101指定於未來的一特定時間、基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度、排序該些與時間相關的置信度,及提供具有較高與時間相關的置信度的快取資料於該快取記憶體102中,並當該快取記憶體102於未來的該特定時間前耗盡時,移除該快取記憶體102中具有較低與時間相關的置信度之快取資料(或提供具有較高與時間相關的置信度的快取資料與從至少一種其它快取演算法計算得到的資料到快取記憶體102中,以在未來的該特定時間前耗盡快取記憶體102的使用),這些功能將與本發明提出的方法於稍後說明。要強 調的是本發明使用的“與時間相關的置信度”用詞,相似於關聯式規則中定義的置信度。該與時間相關的置信度進一步延伸到置信度值,該值由取一個特定時間或時段作為標的以獲得一個或多個資料曾在過去歷史中被存取的機率而計算得到。
輔助記憶體104也連接至主機101,它們能分散儲存資料,供客戶需求進行存取。不同於快取記憶體102,輔助記憶體104的輸出/輸入速度較慢,以致任何儲存其中的資料,回應存取請求的存取速度較慢。輔助記憶體104中經常存取的資料將被複製並儲存到快取記憶體102中以供快取。實作上,輔助記憶體104可以是SSD、HDD、可寫式DVD,甚或是磁帶。輔助記憶體104的配置依照雲端儲存設備系統10或其上運行的工作負載的目的而決定。在本例中,有3個輔助記憶體104。事實上,在一個雲端儲存設備系統中,輔助記憶體的數量可能是幾百到幾千個,甚至更多。
在進一步說明前,本發明使用的某些定義要先行闡述。請見第3圖,第3圖為處理內容記錄的表單,用來監視快取記憶體102中的資料於過去是如何被存取的。該表單有TID(處理內容ID,由0001到0024)列、快取資料(由D01到D18)欄、參考時段(由H00到H08)欄,以及紀錄時間。H00指的是紀錄時間落於00:00到01:00間、H01指的是紀錄時間落於01:00到02:00間,以此類推。TID與快取資料欄位中的“1”意 味對應的快取資料已在“目前”紀錄時間及“最後”紀錄時間前被存取。TID與參考時段欄位中的“1”意味於對處理內容量化不同時段中的紀錄時間。處理內容是於過去該段時間內快取資料被存取的紀錄。在本例中,過去8小時中的紀錄(處理內容)拿來進行分析。為了有較佳的說明,每一處理內容具有一個對應的TID以辨認。處理內容紀錄器103以二連續紀錄的處理內容間隔一時間跨度的方式定期地記錄該些處理內容。在本例中,每一處理內容在前一次處理內容紀錄後的20分鐘進行記錄,時間跨度為20分鐘。實作上,紀錄時間不一定需要準確落在預定時間表上。舉例而言,紀錄時間可能落在00:30:18、00:50:17等時間點上,不是準確落於第15秒上而是有一段範圍。這是因為可能有某些大的資料在進行存取或處理內容紀錄器103正在等待遠端連線的快取記憶體102的回應。可以接受的更積極的方式是該時間跨度為隨機挑選的,這也是本發明的範疇。
應注意的是實作上,處理內容的數量很大,可能是上千筆或更多,舉例而言,以10分鐘為時間跨度進行三個月的紀錄,24筆處理內容僅用於說明的例子。處理內容紀錄器103有較多的處理內容,於未來的一特定時間內資料的需求就能更精準地被預測。當然,並非所有快取儲存於快取記憶體102中的資料都會於一段時間內被存取。如第3圖所示,處理 內容0015沒有被存取資料的紀錄,它僅有紀錄時間,04:50:05。
在快取記憶體102中的資料被本發明方法藉雲端儲存設備系統10決定的細節揭露前,先看一下快取資料。雖然有18筆快取資料,依照快取記憶體102的容量,快取資料的數目可能大於18。該18筆快取資料在07:50:05由本發明的方法及/或其它雲端儲存設備系統10使用的快取演算法獲得。因為如果某些資料太經常被存取,處理內容紀錄器103可從輔助記憶體104之一增加新的資料到快取記憶體102中,用於分析的快取資料也可能會因此改變。可能有其它資料於03:50:05前被快取儲存但後來被移除,是因為它沒被請求或“預期被存取”。
由第3圖,可看出快取資料的特性。快取資料D01在前3小時及最後一小時中常被存取。快取資料D02在每隔一個20分鐘內平均被存取。快取資料D03在每隔兩個20分鐘內平均被存取。快取資料D04於00:10:05至00:30:05、02:50:05至03:10:05,及05:30:05至05:50:05內平均被存取。快取資料D05在00:30:05至00:50:05及06:10:05至06:30:05被存取。快取資料D06僅於05:30:05至05:50:05內被存取。快取資料D07在00:30:05至01:10:05、03:10:05至03:50:05,及06:10:05至06:50:05平均被存取。快取資料D08僅於07:10:05至07:30:05被存取,它可能是在07:10:05後因預期性需求而加入的最新資料。 幾乎除了04:30:05至04:50:05外的每一時段,快取資料D09最常被存取。快取資料D10是隨機地被存取。快取資料D11沒有被存取的紀錄。快取資料D12在每隔一個20分鐘的40分鐘內平均被存取。快取資料D13隨機地被存取。快取資料D14在00:50:05至04:30:05間密集地被存取。快取資料D15在02:50:05至06:50:05間,除了04:30:05至04:50:05外,密集地被存取。快取資料D16和快取資料D01有相似的存取需求。快取資料D17與D18都平均地被存取,但快取資料D17於03:50:05與04:30:05間有較多的請求,快取資料D18於01:50:05與03:10:05間有較多的請求。
本發明的主要目的在依照歷史資訊,預測於未來一特定時間所請求的資料,並在未來的該特定時間到來前,提供對應資料到快取記憶體102中。一種用來決定在雲端儲存設備系統10的快取記憶體102中的資料之方法有幾個步驟。請見第4圖,該圖為本發明提出方法的流程圖。如上所述,該方法由處理內容紀錄器103所執行。首先,紀錄雲端儲存設備系統10的快取記憶體102於過去一段時間內的處理內容(S01)。每一處理內容包含一紀錄時間(處理內容ID 0015),或一紀錄時間與過去該段時間(例子中的8小時)內被存取的快取資料。接著,指定於未來的一特定時間(S02)。快取記憶體102接收來自主機101的未來的該特定時間。依照本發明,未來的該特定時間可以是未來的任何時間或時段。舉例而言,它可以是 一小時中的一特定分鐘(對每一小時而言)、一天中的一特定小時(對每一天而言)、一周中的一特定日(對每一周而言)、一月中的一特定日(對每一個月而言)、一季中的一特定日(對每一季而言)、一年中的一特定日(對每一年而言)、一月中的一特定周(對每一個月而言)、一季中的一特定周(對每一季而言)、(對每一年而言),或一年中的一特定月(對每一年而言)。在本例中,處理內容用來決定哪些資料應該於其它天的00:00:00(H00)前被快取儲存。
第三步驟是基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度(S03)。參考時段指的是“於一小時中的特定分鐘內”(H00,每天第一個小時的每一個20分鐘)的時間。在其它例子中,參考時段可以是“於一日中的特定小時內”或“於一年中的特定日內”,隨時間跨度記錄數量的不同而不同。在特定的例子中,參考時段可以是“於一主時間單元中的特定子時間單元內”。舉例而言,於一天中的24小時內。該與時間相關的置信度可由下列步驟計算得到:A.計算一第一數量,該第一數量為參考時段於過去該段時間內出現的數量;B.計算一第二數量,該第二數量為當一標的快取資料存取時,該參考時段的數量;及C.將該第二數量除以該第一數量。在本例中,對所有資料來說,計算所得的與時間相關的置信度表列於第5圖中。如果未來的該特定時間是8:00AM的第一分鐘,且參考時段指的是過 去8小時內所有的20分鐘,其結果顯示於第6圖中。由第5圖與第6圖,基於不同情況,相對於其它快取資料,每一快取資料具有不同的計算得到的與時間相關的置信度。
接著,排序該些與時間相關的置信度(S04)。例子中的結果也各自顯示於第5圖與第6圖中。最後,提供具有較高與時間相關的置信度的快取資料於該快取記憶體102中,並當該快取記憶體102於未來的該特定時間前耗盡時,移除該快取記憶體102中具有較低與時間相關的置信度之快取資料(S05)。以第6圖做為例子說明。在其它天的00:00前,也許在12:59:59 PM,除了D11,所有的資料都做為新的快取資料儲存到快取記憶體102中,供00:00以後存取請求所需。D11移除的原因是快取記憶體102的空間不夠18筆資料儲存且D11具有的與時間相關的置信度低於其它的資料。18筆快取儲存檔案用來分析的原因是因低命中率或其它因素以及新的資料(D08)加入,有一筆或多筆快取資料已被雲端儲存設備系統10移除。所有使用的快取資料數量為18。快取記憶體102中新被快取的資料是在08:00後最有可能收到請求的資料,它們都是基於與時間相關的置信度而計算出的。要注意的是以上所說的資料或快取資料型態可以是物件、區塊,或檔案。
在其它實施例中,最後一個步驟(S05)可能不同,這意味處理內容紀錄器103具有的功能與前一個實施例中的不同。改變的步驟內容為提供具有較高與時間相關的置信度 的快取資料與從至少一種其它快取演算法計算得到的資料到快取記憶體102中,以在未來的該特定時間前耗盡快取記憶體102的使用。在具有較高與時間相關的置信度之快取資料及從其它快取演算法計算得到的資料間存在一固定比率,該固定比率是基於資料數量或資料佔據空間而計算。再回到第6圖。如果快取記憶體102設定為快取20筆資料,當本發明所提及的用於快取資料的比率為60%,而剩餘由其它快取演算法計算得到的資料佔40%,則本方法所得的快取資料為D01、D02、D03、D07、D09、D10、D12、D13、D14、D15、D16,及D18,總共12筆資料,其餘的資料由前述快取演算法所提出。如果有某些相同的快取資料是由兩造共同提出,則由本發明或其它快取演算法所算出具有較低優先次序的資料可遞補使用,本發明並未限定之。當然,在多數情況下,快取記憶體102設計依照其容量來快取資料,而不是以資料數量決定。由上面的例子來看,60%快取記憶體102的容量應留給由本發明所決定的資料,而其餘的40%則給至少一種現有快取演算法所提出的資料。前述的快取演算法包含,但不限於Least Recently Used(LRU)演算法、Most Recently Used(MRU)演算法、Pseudo-LRU(PLRU)演算法、Random Replacement(RR)演算法、Segmented LRU(SLRU)演算法、2-way set associative演算法、Least-Frequently Used(LFU)演算法、Low Inter-reference Recent Set(LIRS)演算法、Adaptive Replacement Cache(ARC)演算法、Clock with Adaptive Replacement(CAR)演算法、Multi Queue(MQ)演算法,或是定義於發明背景中的與資料相關演算法。應注意的是如果應用與資料相關演算法,標的資料應使用本發明運算的結果,這意味由步驟S04獲得具有較高排序的快取資料再輸入到與資料相關演算法中當作標的資料,以得到該與資料相關演算法的結果。在雲端儲存設備系統10中,這是由處理內容紀錄器103產生標的資料來供與資料相關演算法使用。與資料相關演算法也可利用處理內容紀錄器103來執行。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
Claims (18)
- 一種用於決定雲端儲存設備架構的快取記憶體中的資料之方法,包含步驟:A. 紀錄一雲端儲存設備系統的快取記憶體於過去一段時間內的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料;B. 指定於未來的一特定時間;C. 基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度;D. 排序該些與時間相關的置信度;及E. 提供具有較高與時間相關的置信度的快取資料於該快取記憶體中,並當該快取記憶體於未來的該特定時間前耗盡時,移除該快取記憶體中具有較低與時間相關的置信度之快取資料。
- 如申請專利範圍第1項所述的方法,其中該特定時間為一小時中的一特定分鐘、一天中的一特定小時、一周中的一特定日、一月中的一特定日、一季中的一特定日、一年中的一特定日、一月中的一特定周、一季中的一特定周、一年中的一特定周,或一年中的一特定月。
- 如申請專利範圍第1項所述的方法,其中以二連續紀錄的處理內容間隔一時間跨度的方式定期地記錄該些處理內容。
- 如申請專利範圍第1項所述的方法,其中該參考時段為於一小時中的特定分鐘內、於一日中的特定小時內,或於一年中的特定日內。
- 如申請專利範圍第1項所述的方法,其中該與時間相關的置信度由下列步驟計算得到:C1. 計算一第一數量,該第一數量為參考時段於過去該段時間內出現的數量;C2. 計算一第二數量,該第二數量為當一標的快取資料存取時,該參考時段的數量;及C3. 將該第二數量除以該第一數量。
- 如申請專利範圍第1項所述的方法,其中該資料的型態為物件、區塊,或檔案。
- 一種用於決定雲端儲存設備架構的快取記憶體中的資料之方法,包含步驟:A. 紀錄一雲端儲存設備系統的快取記憶體於過去一段時間內的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料;B. 指定於未來的一特定時間;C. 基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度;D. 排序該些與時間相關的置信度;及E. 提供具有較高與時間相關的置信度的快取資料與從至 少一種其它快取演算法計算得到的資料到快取記憶體中,以在未來的該特定時間前耗盡快取記憶體的使用,其中在具有較高與時間相關的置信度之快取資料及從其它快取演算法計算得到的資料間存在一固定比率。
- 如申請專利範圍第7項所述的方法,其中該固定比率是基於資料數量或資料佔據空間而計算。
- 如申請專利範圍第7項所述的方法,其中該快取演算法為Least Recently Used(LRU)演算法、Most Recently Used(MRU)演算法、Pseudo-LRU(PLRU)演算法、Random Replacement(RR)演算法、Segmented LRU(SLRU)演算法、2-way set associative演算法、Least-Frequently Used(LFU)演算法、Low Inter-reference Recent Set(LIRS)演算法、Adaptive Replacement Cache(ARC)演算法、Clock with Adaptive Replacement(CAR)演算法、Multi Queue(MQ)演算法,或以來自步驟D的結果作為標的資料的與資料相關演算法。
- 一種雲端儲存設備系統,包含:一主機,用以存取資料;一快取記憶體,連接至該主機,用以暫時儲存快取資料供快速存取;一處理內容紀錄器,配置到或安裝於該快取記憶體,連接至該主機以紀錄於過去一段時間內快取記憶體的處理 丙容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料、接收主機指定於未來的一特定時間、基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度、排序該些與時間相關的置信度,及提供具有較高與時間相關的置信度的快取資料於該快取記憶體中,並當該快取記憶體於未來的該特定時間前耗盡時,移除該快取記憶體中具有較低與時間相關的置信度之快取資料;及複數個輔助記憶體,連接至該主機,用以分散儲存資料供存取。
- 如申請專利範圍第10項所述之雲端儲存設備系統,其中該固定比率是基於資料數量或資料佔據空間而計算。
- 如申請專利範圍第10項所述之雲端儲存設備系統,其中該特定時間為一小時中的一特定分鐘、一天中的一特定小時、一周中的一特定日、一月中的一特定日、一季中的一特定日、一年中的一特定日、一月中的一特定周、一季中的一特定周、一年中的一特定周,或一年中的一特定月。
- 如申請專利範圍第10項所述之雲端儲存設備系統,其中以二連續紀錄的處理內容間隔一時間跨度的方式定期地記錄該些處理內容。
- 如申請專利範圍第10項所述之雲端儲存設備系統,其中該 參考時段為於一小時中的特定分鐘內、於一日中的特定小時內,或於一年中的特定日內。
- 如申請專利範圍第10項所述之雲端儲存設備系統,其中該與時間相關的置信度由下列步驟計算得到:C1. 計算一第一數量,該第一數量為參考時段於過去該段時間內出現的數量;C2. 計算一第二數量,該第二數量為當一標的快取資料存取時,該參考時段的數量;及C3. 將該第二數量除以該第一數量。
- 一種雲端儲存設備系統,包含:一主機,用以存取資料;一快取記憶體,連接至該主機,用以暫時儲存快取資料供快速存取;一處理內容紀錄器,配置到或安裝於該快取記憶體,連接至該主機以紀錄於過去一段時間內快取記憶體的處理內容,其中每一處理內容包含一紀錄時間,或一紀錄時間與過去該段時間內被存取的快取資料、接收主機指定於未來的一特定時間、基於一參考時段,對每一來自處理內容的快取資料計算出一與時間相關的置信度、排序該些與時間相關的置信度,及提供具有較高與時間相關的置信度的快取資料與從至少一種其它快取演算法計算得到的資料到快取記憶體中,以在未來 的該特定時間前耗盡快取記憶體的使用,其中在具有較高與時間相關的置信度之快取資料及從其它快取演算法計算得到的資料間存在一固定比率;及複數個輔助記憶體,連接至該主機,用以分散儲存資料供存取。
- 如申請專利範圍第16項所述之雲端儲存設備系統,其中該快取演算法為LRU演算法、MRU演算法、PLRU演算法、RR演算法、SLRU演算法、2-way set associative演算法、LFU演算法、LIRS演算法、ARC演算法、CAR演算法、MQ演算法,或以處理內容紀錄器產生之資料當成標的資料的與資料相關演算法。
- 如申請專利範圍第16項所述之雲端儲存設備系統,其中該資料的型態為物件、區塊,或檔案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105128960A TWI629593B (zh) | 2016-09-07 | 2016-09-07 | 用於決定雲端儲存系統的快取記憶體中的資料之方法及使用該方法的雲端儲存系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105128960A TWI629593B (zh) | 2016-09-07 | 2016-09-07 | 用於決定雲端儲存系統的快取記憶體中的資料之方法及使用該方法的雲端儲存系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201812592A true TW201812592A (zh) | 2018-04-01 |
| TWI629593B TWI629593B (zh) | 2018-07-11 |
Family
ID=62639074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105128960A TWI629593B (zh) | 2016-09-07 | 2016-09-07 | 用於決定雲端儲存系統的快取記憶體中的資料之方法及使用該方法的雲端儲存系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI629593B (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI426393B (zh) * | 2010-02-12 | 2014-02-11 | 精英電腦股份有限公司 | 雲端計算資源排程方法與應用之系統 |
| US9086937B2 (en) * | 2012-05-16 | 2015-07-21 | Apple Inc. | Cloud-based application resource files |
-
2016
- 2016-09-07 TW TW105128960A patent/TWI629593B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI629593B (zh) | 2018-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9703500B2 (en) | Reducing power consumption by migration of data within a tiered storage system | |
| JP6304406B2 (ja) | ストレージ装置、プログラム、情報処理方法 | |
| US7822712B1 (en) | Incremental data warehouse updating | |
| US8380929B2 (en) | Hierarchical storage management for database systems | |
| US9779027B2 (en) | Apparatus, system and method for managing a level-two cache of a storage appliance | |
| US8909614B2 (en) | Data access location selecting system, method, and program | |
| US11537584B2 (en) | Pre-caching of relational database management system based on data retrieval patterns | |
| US20180225350A1 (en) | Query dispatching system and method | |
| CN104978362B (zh) | 分布式文件系统的数据迁移方法、装置及元数据服务器 | |
| US10140034B2 (en) | Solid-state drive assignment based on solid-state drive write endurance | |
| Puttaswamy et al. | Frugal storage for cloud file systems | |
| US10061702B2 (en) | Predictive analytics for storage tiering and caching | |
| CN110727406B (zh) | 一种数据存储调度方法及装置 | |
| US10503608B2 (en) | Efficient management of reference blocks used in data deduplication | |
| CN113946552B (zh) | 数据处理方法及电子装置 | |
| WO2020135737A1 (zh) | 分区管理、数据存储和查询方法及装置、设备、介质 | |
| US12026377B2 (en) | Method to implement and enforce a cost-based quota for cloud operations in backup servers based on allowed cloud budget | |
| US10282127B2 (en) | Managing data in a storage system | |
| US11132128B2 (en) | Systems and methods for data placement in container-based storage systems | |
| CN107819804B (zh) | 云端储存设备系统及决定其架构的高速缓存中数据的方法 | |
| TWI629593B (zh) | 用於決定雲端儲存系統的快取記憶體中的資料之方法及使用該方法的雲端儲存系統 | |
| JP2018041455A (ja) | クラウドストレージ構造のキャッシュメモリ内のデータ決定方法及びそれを利用したクラウドストレージシステム | |
| HK1251377A1 (zh) | 云端储存设备系统及决定其架构的高速缓存中数据的方法 | |
| HK1251377B (zh) | 云端储存设备系统及决定其架构的高速缓存中数据的方法 | |
| US11561934B2 (en) | Data storage method and method for executing an application with reduced access time to the stored data |