這篇文章主要介紹了新浪SAE及背后的云計算發(fā)展理念,講到了新浪對paas模式云服務(wù)的一些發(fā)展經(jīng)驗,需要的朋友可以參考下
新浪SAE究竟是什么呢?
從產(chǎn)品的概念和發(fā)展歷程方面來講,Sina App Engine簡稱為SAE,是新浪研發(fā)中心于2009年8月開始內(nèi)部開發(fā),并在2009年11月3日正式推出第一個Alpha版本的國內(nèi)首個公有云計算平臺,SAE是新浪云計算戰(zhàn)略的核心組成部分。具有以下幾個特點:
1、SAE作為國內(nèi)的公有云計算,從開發(fā)伊始借鑒吸納Google、Amazon等國外公司的公有云計算的成功技術(shù)經(jīng)驗,并很快推出不同于他們的具有自身特色的云計算平臺。
2、SAE選擇在國內(nèi)流行最廣的Web開發(fā)語言PHP作為首選的支持語言,Web開發(fā)者可以在Linux/Mac/Windows上通過SVN、SDK或者Web版在線代碼編輯器進行開發(fā)、部署、調(diào)試,團隊開發(fā)時還可以進行成員協(xié)作,不同的角色將對代碼、項目擁有不同的權(quán)限;
3、SAE提供了一系列分布式計算、存儲服務(wù)供開發(fā)者使用,包括分布式文件存儲、分布式數(shù)據(jù)庫集群、分布式緩存、分布式定時服務(wù)等,這些服務(wù)將大大降低開發(fā)者的開發(fā)成本。同時又由于SAE整體架構(gòu)的高可靠性和新浪的品牌保證,大大降低了開發(fā)者的運營風(fēng)險。
4、作為典型的云計算,SAE采用“所付即所用,所付僅所用”的計費理念,通過日志和統(tǒng)計中心精確的計算每個應(yīng)用的資源消耗(包括CPU、內(nèi)存、磁盤等)。
總之,SAE就是簡單高效的分布式Web服務(wù)開發(fā)、運行平臺。
SAE的核心優(yōu)勢
首先來講,確定發(fā)展目標(biāo)是一個平臺成長的關(guān)鍵,SAE的基本目標(biāo)用戶有兩種:一種是Web開發(fā)者,另一種是普通互聯(lián)網(wǎng)上網(wǎng)人群。
對于Web開發(fā)者,SAE帶來的好處主要有以下四個方面:
1、硬件成本更低,無需預(yù)先購買設(shè)備,承擔(dān)更大的投入風(fēng)險。
2、開發(fā)成本更低,SAE提供許多服務(wù)供開發(fā)者使用,開發(fā)者無需重復(fù)開發(fā),包括隊列、數(shù)據(jù)庫、緩存、定時、驗證碼、計數(shù)器,幾乎覆蓋了Web開發(fā)的所有領(lǐng)域。另外對于特定開放平臺的開發(fā)者,比如新浪微博開發(fā)者,SAE已經(jīng)集成了完整的OpenAPI的封裝,將開發(fā)者的開發(fā)成本降到最低。值得一提的是,SAE的開發(fā)者目前已經(jīng)形成了良好的交流氛圍,在意見反饋中心、SAE官方群,SAE官方微群可以看到很多熱情的開發(fā)者在一起共同提高。
3、運維成本更低,在SAE上的應(yīng)用無需關(guān)心硬件維護、服務(wù)監(jiān)控、數(shù)據(jù)容災(zāi)等操作,SAE會通過其高可靠的架構(gòu)和方便的監(jiān)控頁面為用戶將運維成本降到最低擴展性更強,在SAE上的服務(wù)無需關(guān)心服務(wù)壓力猛增時帶來的擴容等操作,SAE自動支持服務(wù)擴展
4、更加安全可靠,SAE自動提供SQL語句性能分析、前端防攻擊、代碼檢查等功能,在SAE上的所有應(yīng)用均為多機房容災(zāi)部署,比傳統(tǒng)的部署模式更加安全可靠,并且SAE提供服務(wù)的SLA來實現(xiàn)對用戶服務(wù)質(zhì)量的承諾
對于普通上網(wǎng)人群,使用SAE可以:
使用推薦應(yīng)用一鍵安裝Web應(yīng)用,普通用戶無需會編碼,也可以在瞬間擁有自己的團購、博客、微博、Wiki等。
SAE整體架構(gòu)介紹
SAE從架構(gòu)上采用分層設(shè)計,從上往下分別為反向代理層、路由邏輯層、Web計算服務(wù)池。而從Web計算服務(wù)層延伸出SAE附屬的分布式計算型服務(wù)和分布式存儲型服務(wù),具體又分成同步計算型服務(wù)、異步計算型服務(wù)、持久化存儲服務(wù)、非持久化存儲服務(wù)。各種服務(wù)統(tǒng)一向日志和統(tǒng)計中心匯報,參考下圖:
7層反向代理層:HTTP反向代理,在最外層,負(fù)責(zé)響應(yīng)用戶的HTTP請求,分析請求,并轉(zhuǎn)發(fā)到后端的Web服務(wù)池上,并提供負(fù)載均衡、健康檢查等功能。
服務(wù)路由層:邏輯層,負(fù)責(zé)根據(jù)請求的唯一標(biāo)識,快速的映射(O(1)時間復(fù)雜度)到相應(yīng)的Web服務(wù)池,并映射到相應(yīng)的硬件路徑。如果發(fā)現(xiàn)映射關(guān)系不存在或者錯誤,則給出相應(yīng)的錯誤提示。該層對用戶隱藏了很多具體地址信息,使開發(fā)者無需關(guān)心服務(wù)的內(nèi)部實際分配情況。
Web服務(wù)池:由一些不同特性的Web服務(wù)池組成。每個Web服務(wù)池實際是由一組Apache(PHP)組成的,這些池按照不同的SLA提供不同級別的服務(wù)。每個Web服務(wù)進程實際處理用戶的HTTP請求,進程運行在HTTP服務(wù)沙盒內(nèi),同時還內(nèi)嵌同樣運行在SAE沙盒內(nèi)的PHP解析引擎。用戶的代碼最終通過接口調(diào)用各種服務(wù)。
日志和統(tǒng)計中心:負(fù)責(zé)對用戶所使用的所有服務(wù)進行統(tǒng)計和資源計費,并設(shè)定的分鐘配額,來判定是否有非正常的使用。分鐘配額描述了資源消耗的速度,當(dāng)資源消耗的速度到達(dá)一個預(yù)警閾值時,SAE通知系統(tǒng)會提前向用戶發(fā)出一個警告,提醒用戶應(yīng)用在某個服務(wù)上的使用可能存在問題,需要介入關(guān)注或處理,配額系統(tǒng)是SAE用來保證整個平臺穩(wěn)定的措施之一;日志中心負(fù)責(zé)將用戶所有服務(wù)的日志匯總并備份,并提供檢索查詢服務(wù)。
各種分布式服務(wù):SAE提供幾乎可以覆蓋Web應(yīng)用開發(fā)所有方面的多種服務(wù),用戶可以通過StdLib(可以理解為SAE PHP版的STL)很方便的調(diào)用它們。
SAE和虛擬主機的區(qū)別
提到云平臺,新浪很自然的想到和以往虛擬化技術(shù)的區(qū)別。兩者的主要區(qū)別表現(xiàn)在以下幾個方面:
1、傳統(tǒng)服務(wù)托管面向的是硬件軟件設(shè)備,使用者得到的也是設(shè)備的使用權(quán);而SAE面向的服務(wù),使用者得到的是服務(wù)的使用權(quán)。
2、傳統(tǒng)服務(wù)托管不面向開發(fā)者,開發(fā)者無法在其上享受到開發(fā)的樂趣;而SAE的一個重要用戶就是web developer,開發(fā)者可以在其上通過在線調(diào)試、日志分析、協(xié)作共享等功能進行web開發(fā)。
3、傳統(tǒng)服務(wù)托管不提供分布式系統(tǒng)解決方案;而SAE提供的完整的分布式web服務(wù)的解決方案,其中不僅僅包括分布式數(shù)據(jù)庫、分布式文件系統(tǒng),更包括分布式定時器系統(tǒng)、網(wǎng)頁抓取服務(wù)、圖像處理服務(wù)等。
4、傳統(tǒng)服務(wù)托管不解決域名問題,用戶往往煩惱于域名申請;而SAE的用戶將自動得到在sinaapp下的二級域名,同時SAE還支持域名cname。
5、傳統(tǒng)服務(wù)托管無法保證SLA(Service Level Agreement),硬件故障的成本基本由使用者承擔(dān);而SAE保證用戶的SLA,用戶的web服務(wù)自動享有高冗余的前端服務(wù)器、享有自動負(fù)載均衡系統(tǒng)、服務(wù)自動擴展、服務(wù)自動收縮等功能。
6、傳統(tǒng)的服務(wù)托管采用預(yù)付費的方式,費用固定且和實際使用情況無直接關(guān)系;而SAE采用預(yù)充值方式,“所付即所用,所付僅所用”,web服務(wù)的一切損耗均提供報表查詢和賬單匯總,讓用戶一目了然。如果你注冊SAE后通過實名認(rèn)證,如果你前一天流量用完,第二天將會送你1000云豆,就是相當(dāng)于4G的流量,大概能支持5萬PV,這些都是免費的。
新浪為什么要做SAE?
Sina App Engine項目始于2009年8月,目標(biāo)為云計算時代的分布式web服務(wù)提供一整套解決方案。開發(fā)SAE主要是出于對內(nèi)、對外兩方面考慮:
對內(nèi):新浪很早以前就開始了關(guān)于私有云的開發(fā)和實踐,所以為了進一步提高公司資源的利用率,更加提高web開發(fā)的效率,降低web運營的成本,決定了新浪要開發(fā)SAE。
對外:亞馬遜、Google都是國外的成功的提供公有云計算服務(wù)的公司,SAE也想借助云計算這樣一個趨勢,為國內(nèi)廣大用戶提供云計算的分布式web服務(wù)的開發(fā)、運行平臺。
新浪的paas服務(wù)支持
整個云計算各個層面的增長趨勢,saas在前面增長非常高,新浪看到整個的趨勢里面,saas和paas的占比越來越高。整個IT效率提升是第一需求,并不是所有的企業(yè),都有非常強的能力,可以自己建設(shè),自己運維,自己管理。就導(dǎo)致IT企業(yè)在選擇我用什么樣的設(shè)施基礎(chǔ)架構(gòu)的時候,會考慮怎么樣最高效。首先saas是最好的解決方案,它基本上不需要運維,對于IT的管理者來說是很高效的解決方案。paas的集成度也非常高,可以降低很多的開發(fā)投入和資源。
新浪的應(yīng)用越來越向移動轉(zhuǎn)型,企業(yè)越來越向移動轉(zhuǎn)型,隨著現(xiàn)在整個行業(yè)的變化,信息的快速交換,智能終端、移動終端的出現(xiàn),都要向移動轉(zhuǎn)型,這方面就需要一個平臺。同時企業(yè)內(nèi)部的IT系統(tǒng),也是一樣的。在企業(yè)內(nèi)部,隨著企業(yè)的移動辦公,企業(yè)內(nèi)部的IT系統(tǒng),也需要優(yōu)化,需要向移動轉(zhuǎn)型,這些都是作為paas和saas更加適應(yīng)的解決方案。
這個趨勢從國內(nèi)來看,越來越多的企業(yè)、創(chuàng)業(yè)團隊,開始考慮使用云計算服務(wù)。下面是工信部的調(diào)查。在2014年新浪發(fā)現(xiàn)云計算水平有所提升,國內(nèi)的企業(yè)對云計算開始接受。新浪SAE的業(yè)務(wù)量,和收入來看,最近兩年,都得到了顯著的提升,說明大家越來越認(rèn)可。
新浪整個的SAE是國內(nèi)最早的公有云計算平臺,發(fā)布于2009年11月發(fā)布,在2011年的11月份,新浪開放了java的平臺的運營環(huán)境,在2013年6月份開始,開始研發(fā)企業(yè)級技術(shù)解決方案。在今年新浪SAE已經(jīng)開始小范圍的進行內(nèi)測了。
SAE目前有35萬的用戶,為什么新浪的用戶這么多?一方面是新浪的口碑,一方面新浪認(rèn)為它是非常高效,非常能夠幫助開發(fā)者節(jié)省資源的。基于paas本身的軟件, 一個開發(fā)者在使用新浪SAE的時候,完全不需要付費,一個開發(fā)者在申請一個SAE的環(huán)境的時候,他在開發(fā)測試、調(diào)試的過程中,是不需要付任何的費用。新浪是按需付費的門檻。
很多的開發(fā)者其實在平臺上需要做大量的調(diào)研的工作,需要做大量的初期的開發(fā)工作。新浪現(xiàn)在的流量,是每天超過10億。最上面是業(yè)界最有名的paas平臺,新浪在后面。整個的SAEpaas平臺,是屬于底層的。
像Mysqlrdc,kvdb 、tripps和storger.新浪的應(yīng)用不是上面的API,所有的都新浪自己來做,是不可能實現(xiàn)的,新浪本身是一個開放的平臺,第三方的開放商業(yè),能夠豐富整個平臺的服務(wù),和平臺的功能,能夠讓真正的云計算的用戶,他們能夠高效的低成本的使用,建立他們APP的應(yīng)用。
新浪有22種各類服務(wù),包括短信、地理信息服務(wù)、郵件服務(wù)、推送服務(wù)、人工智能服務(wù)、安全檢查服務(wù)、搜索服務(wù)。來自360、高德、有道,對服務(wù)商的選擇非常的嚴(yán)格。新浪不會非常關(guān)心你的API,都會找到平臺的本身,新浪如果要承擔(dān)起給用戶提供最好服務(wù)的同時,必須是可靠可用的。
這部分是說新浪針對大數(shù)據(jù)方面的趨勢,新浪也在去年年底推出了superQuery的功能。用簡單的方法就是讓所有的SAE的用戶,可以實時的對SAE應(yīng)用的請求、日志、行為做分析,同時可以把他們一些特定的數(shù)據(jù),傳到這個平臺上來,幫助他們做定向的分析。
在企業(yè)幫助移動化轉(zhuǎn)型方面,新浪提供了APP工廠,包括這個應(yīng)用快速的生成。新浪也提供了BaaS,可以把很多遠(yuǎn)端的服務(wù),可以解決計算能力不足的問題。也會對接一些更豐富的API服務(wù),幫助這些開發(fā)者順利的向移動轉(zhuǎn)型。
針對開發(fā)本身,新浪非常的強調(diào)平臺使用的易用性,新浪推出了手機的掌上SAE,方便用戶隨時隨地掌握應(yīng)用運行情況,分析應(yīng)用的數(shù)據(jù)。在下面新浪還推出了能夠在手機上直接的續(xù)費,避免出現(xiàn)異常的狀況,這時候都可以進行快速的恢復(fù),這是移動版SAE主要的考慮。
在安全的方面,就像這次可信云更大的一方面講的,新浪在SAE本身做了很多的工作。這是一個簡單的考慮,最下一層是SAE的平臺層,這一層主要是做一些基礎(chǔ)性。新浪整個的SAE是DDOS的服務(wù)方案,在外面會有一些安全的掃描和安全的檢測,新浪也會提供第三方的安全檢查,避免出現(xiàn)重大的安全性的事故。在平臺之上新浪會分兩層,一個是帳戶的安全,一個是應(yīng)用的安全。用戶在寫操作的時候,新浪會要求他輸入第二層的密碼,這個密碼可能會跟手機綁定。再它之上新浪有管理安全,管理安全新浪是想在開發(fā)者來講,在管理的時候,開發(fā)者會引進不同的開發(fā)人員,對開發(fā)人員進行控制,有一套比較負(fù)責(zé)的項目權(quán)限對應(yīng)人的安全機制。
新浪對于整個計算資源的消費,是有一個很清晰的審核和進入機制。而且新浪對于整個的消費,對于性能,對于云計算的資源,能夠有一個運算管理的機制。一旦用戶出現(xiàn)特殊的情況,比如說出現(xiàn)泄露,或者是代碼本身的質(zhì)量。
一個是數(shù)據(jù)安全,一個是代碼的安全,數(shù)據(jù)的安全,對整個的用戶數(shù)據(jù),有個很好的保護機制,保證這個數(shù)據(jù)不會出現(xiàn)重大的丟失的問題。另外一方面,新浪對數(shù)據(jù)的使用,有一個安全的考核機制。
代碼安全,新浪提供了代碼的加密機制。新浪會提供自己研發(fā)的解決方案,可以進行隔離。
對于現(xiàn)在很多的企業(yè)和行業(yè),很多的企業(yè)是需要私有云的解決方案,新浪也希望在企業(yè)內(nèi)部使用的更加方便。從去年開始研發(fā),在今年也推出了私有云的MAE,明天會著重的介紹。MAE介紹了SAE成熟的經(jīng)驗和解決方案。另外它是一鍵部署的,非常方便企業(yè)使用。
在可信云項目中,新浪新浪去年8月份開始就全程的參與,參與了整個可信云的制定討論,而且作為國內(nèi)最大的paas服務(wù)商,新浪提供了很多的意見和幫助。在整個的上面各項中,新浪很順利的通過了,這個項目本身,對新浪的平臺而言,也是非常好的提升和挑戰(zhàn)。
像持久性、遷移性、另外一方面也讓新浪自身去提升新浪的服務(wù)質(zhì)量。在整個的過程中,云引擎,運輸局庫、云存儲,這三項新浪一次性的通過,新浪目前為政府部門、銀行、大學(xué)、報社提供了服務(wù)。
這方面可以提升新浪的服務(wù)質(zhì)量,這是一個嚴(yán)格的服務(wù)的要求,另外新浪會更加的遵守新浪的服務(wù)承諾,新浪希望讓整個的行業(yè)服務(wù)更加標(biāo)準(zhǔn),讓用戶更放心。
對于行業(yè)而言,我覺得做可信云,更多的是真正讓國內(nèi)的云服務(wù)企業(yè)有一個標(biāo)準(zhǔn),讓他們真正的重視他們這個所謂的服務(wù)質(zhì)量和他們之間的關(guān)系,讓他們真正的按照一個要求去實現(xiàn)。對于想使用,或者是愿意使用的云計算的行業(yè)用戶而言,他們有一個選擇的標(biāo)準(zhǔn),他們能夠看哪些標(biāo)準(zhǔn)是真正的符合標(biāo)準(zhǔn),是站在行業(yè)標(biāo)準(zhǔn)之內(nèi)的,新浪可以進行考量,而不是像以前瞎做。未來新浪希望給政府,給企業(yè)提供更多的云服務(wù)。
從新浪整個SAE未來的考慮,是兩個方面。對外是走一些細(xì)分的垂直行業(yè),因為從整個互聯(lián)網(wǎng)來看,十年前大家對門戶是這個類型,近兩年垂直門戶迅速的崛起,而且垂直門戶的影響力、市值來看,不亞于傳統(tǒng)的門戶。只有做細(xì)分,做垂直的,才有可能真正的貼近用戶的需求,才能讓用戶認(rèn)可。所以新浪也在努力的探討,也去調(diào)研,去嘗試一些垂直行業(yè)。媒體和自媒體本身面臨著轉(zhuǎn)型,隨著整個建設(shè),整個用戶接觸信息的渠道,隨著整個信息交換的頻度,面臨很大的轉(zhuǎn)折。在其中新浪是有機會的。另外在社交、游戲、電商,包括傳統(tǒng)的企業(yè),和線上、線下企業(yè)溝通的結(jié)合,都需要IT的變革。再教育上更是這樣的,金融云本身一方面是改變金融自身的變革,另一方面金融需要跟互聯(lián)網(wǎng)快速的結(jié)合,能夠推向市場。
希望借助新浪集團的傳統(tǒng)優(yōu)勢,打造生態(tài)體系。新浪本身主要是微博、現(xiàn)在是開放平臺,新浪希望把新浪集團的媒體咨詢,包括社交,這些相關(guān)的資源,通過某種開放模式開放出來,能夠真正實現(xiàn)信息的產(chǎn)生、信息的交換、信息的獲取,信息的消費,能夠快速的建立起來。在這其中新浪希望SAE可以作為新浪整個生態(tài)過程中重要的環(huán)境,新浪希望大量的托管,需要承接第三 方的業(yè)務(wù)。在整個的新浪體系里面,SAE是非常大的,非常好的支撐工具。從目前來看,在整個的新浪集團里面,在這次世界杯期間有很多的競猜。