Skip to main content

Hotmail獲得了一個新的存儲系統 - 使其更快!

Hotmail獲得了一個新的存儲系統 - 使其更快!

Geoffrey Carr

Hotmail每天收到數十億封電子郵件,這些郵件必須安全存儲,並且必須能夠高效地提供。 Hotmail的基於雲的存儲系統支持超過10億個郵箱和數百PB的數據(1 PB是100萬千兆字節)。並且以這種規模有效地處理數十萬個同時交易是一項工程挑戰。存儲系統使用Microsoft技術構建,包括Windows Server和Microsoft SQL Server。

Microsoft一直致力於對此存儲系統進行重大升級。從今年年初開始,基於Hotmail開發的技術的新系統已經在使用Microsoft員工的個人帳戶的試驗集群上運行。經過嚴格測試,新系統已通過認證,以更低的價格提供更好的可靠性。

讓我們看看Hotmail使用的一些新技術。

實施JBOD取代RAID:

“RAID(廉價磁盤冗餘陣列)是一種允許將多個硬盤驅動器連接到單個控制器板的技術,這使得它們看起來像一個更大,更可靠的硬盤驅動器(有時稱為”邏輯單元“)運行存儲系統的軟件。“

Hotmail已經使用RAID很長一段時間了。電子郵件保存在多個RAID組中,因此即使整個RAID出現故障,也可以恢復郵件。 Hotmail研究了大於1TB的容量驅動器的可靠性觀點,發現從可靠性的角度來看,這不是金錢的價值。由於RAID系統可以輕鬆處理影響單個系統的問題,但在整個機器或RAID控制器遇到問題時則不會。 Hotmail發現,在不共享控制器的其他計算機上擁有副本不僅更可靠,而且成本也比RAID配置便宜。

因此,他們開發了JBOD(Just a Bunch Of Disks),其中數據副本駐留在獨立的硬盤驅動器,控制器和機器上。從而使硬盤驅動器控制器幾乎完全脫離並將其交給軟件來控制。這個JBOD系統軟件是由Hotmail開發的。

該JBOD軟件持續監控故障並在發現時發出警報,從而觸發修復過程。此修復過程可以是重新啟動計算機或重新啟動進程,修復數據損壞,甚至可能需要人工干預。使用軟件的主要優點是,如果找到較少的副本,它可以維護郵件的優秀副本,優先考慮修復操作。使用該軟件,簡化了複製本身

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

實施固態硬盤(SSD)而不是硬盤。

我們知道SSD比硬盤驅動器快得多。雖然更大,更便宜的硬盤在處理請求率方面很慢。

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

雖然這個速度是有代價的,因為與硬盤驅動器相比它們非常昂貴/千兆字節。

SSD可有效處理不斷變化的負載。這可以解釋為Hotmail不僅存儲電子郵件消息,還記錄各種不斷變化的元數據,例如收件箱中的消息列表,消息的讀/未讀狀態,會話線程等。此元數據佔用存儲空間的一小部分由於性質不斷變化,硬盤上的最大負載。因此,使用SSD存儲元數據和硬盤消息可以實現更好,更有效的組合。

除了這些改進之外,Hotmail還將在未來的帖子中展示更多內容。新存儲系統的推出已經開始,新的集群將基於JBOD。已有3000萬用戶使用JBOD,而另外1億用戶將隨時移動。

如果您注意到,Hotmail變得非常快。如果你還沒有 - 現在就試試吧。

Link
Plus
Send
Send
Pin