|
標(biāo)簽：
TPC-C基準(zhǔn)程序用來衡量整個(gè)IT系統(tǒng)的性能，而不是評價(jià)服務(wù)器或某種硬件系統(tǒng)的標(biāo)準(zhǔn)，其中性能由tpmC衡量。TPC-H所報(bào)告的性能計(jì)量單位被稱為“TPC-H復(fù)合式每小時(shí)查詢性能單位（QphH）”，反映出了系統(tǒng)處理查詢的多方面能力。
TPC體系是影響最大的評測基準(zhǔn)之一。
TPC(TransactionProcessing Performance Council，事務(wù)處理性能委員會)是由數(shù)十家會員公司創(chuàng)建的非贏利組織，總部設(shè)在美國。
TPC不給出基準(zhǔn)程序的代碼，而只給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范。任何廠家或其他測試者都可以根據(jù)規(guī)范，最優(yōu)地構(gòu)造出自己的測試系統(tǒng)(測
試平臺和測試程序)。為保證測試結(jié)果的完整性，被測試者(通常是廠家)必須提交給TPC一套完整的報(bào)告，包括被測系統(tǒng)的詳細(xì)配置、分類價(jià)格和包含5年維護(hù) 費(fèi)用在內(nèi)的總價(jià)格。該報(bào)告必須由TPC授權(quán)的審核員核實(shí)(TPC本身并不做審計(jì))。TPC在全球只有不到10名審核員，而且全部在美國。
TPC推出過11套基準(zhǔn)程序，分別是正在使用的TPC-App、TPC- H、TPC-C、TPC-W，過時(shí)的TPC-A、TPC-B、TPC-D和TPC-R，以及因?yàn)椴槐粯I(yè)界接受而放棄的TPC-S（Server專門測試基 準(zhǔn)程序）、TPC-E（大型企業(yè)信息服務(wù)測試基準(zhǔn)程序）和TPC-Client/Server。目前最為“流行”的TPC-C是聯(lián)機(jī)事務(wù)處理(OLTP) 的基準(zhǔn)程序，于1992年7月完成，后被業(yè)界逐漸接受。
TPCC 標(biāo)準(zhǔn)
作為一家非盈利性機(jī)構(gòu)，事務(wù)處理性能委員會（TPC）負(fù)責(zé)定義諸如TPC-C、TPC-H和TPC-W 基準(zhǔn)測試之類的事務(wù)處理與數(shù)據(jù)庫性能基準(zhǔn)測試，并依據(jù)這些基準(zhǔn)測試項(xiàng)目發(fā)布客觀性能數(shù)據(jù)。TPC基準(zhǔn)測試采用極為嚴(yán)格的運(yùn)行環(huán)境，并且必須在獨(dú)立審計(jì)機(jī)構(gòu) 監(jiān)督下進(jìn)行。委員會成員包括大多數(shù)主要數(shù)據(jù)庫產(chǎn)品廠商以及服務(wù)器硬件系統(tǒng)供應(yīng)商。
相關(guān)企業(yè)參與TPC基準(zhǔn)測試以期在規(guī)定運(yùn)行環(huán)境中獲得客觀性能驗(yàn)證，并通過應(yīng)用測試過程中所使用的技術(shù)開發(fā)出更加強(qiáng)健且更具伸縮性的軟件產(chǎn)品及硬件設(shè)備。
TPC-C是一種旨在衡量聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)性能與可伸縮性的行業(yè)標(biāo)準(zhǔn)基準(zhǔn)測試項(xiàng)目。這種基準(zhǔn)測試項(xiàng)目將對包括查詢、更新及隊(duì)列式小批量事務(wù)在內(nèi)的廣泛數(shù)據(jù)庫功能進(jìn)行測試。許多IT專業(yè)人員將TPC-C視為衡量“真實(shí)”OLTP系統(tǒng)性能的有效指示器。
TPC- C基準(zhǔn)測試針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務(wù)（tpmC）吞吐量。特別值得一提的是，它將專門測量系統(tǒng)在同時(shí)執(zhí)行其它四種事務(wù)類型（如支
付、訂單狀態(tài)更新、交付及證券級變更）時(shí)每分鐘所生成的新增訂單事務(wù)數(shù)量。獨(dú)立審計(jì)機(jī)構(gòu)將負(fù)責(zé)對基準(zhǔn)測試結(jié)果進(jìn)行公證，同時(shí)，TPC將出據(jù)一份全面徹底的 測試報(bào)告。這份測試報(bào)告可以從TPC
Web站點(diǎn)上獲得。
TPC-E——OLTP聯(lián)機(jī)事務(wù)處理測試新模型
20年前，美國的TPC(事務(wù)處理性能委員會，Transaction Processing Performance Council)成立之時(shí)，或許并沒有想到其TPC系列測試標(biāo)準(zhǔn)會如此受業(yè)界關(guān)注。作為國際上權(quán)威的服務(wù)器性能測試組織。目前在國際上幾乎所有IT界的知 名廠商(如IBM、HP、SUN、英特爾等)都是TPC的會員。
OLTP測試模型一直是TPC組織的重點(diǎn)測試標(biāo)準(zhǔn)，TPC-C的前身TPC-A就是TPC組織發(fā)布的第一個(gè)測試標(biāo)準(zhǔn)。由于TPC-C逼真地 模擬了OLTP應(yīng)用，在發(fā)布后逐漸得到廣大用戶的認(rèn)可，使用tpmC作為其計(jì)算機(jī)系統(tǒng)性能評價(jià)體系基礎(chǔ)的用戶數(shù)量逐年上升。不過，隨著信息產(chǎn)業(yè)的不斷發(fā) 展，TPC-C的一些問題也慢慢暴露出來。首先，隨著B2B、B2C等新型應(yīng)用逐漸興起，TPC-C現(xiàn)有的倉庫管理系統(tǒng)測試模型已經(jīng)距離目前的OLTP用 戶應(yīng)用模式越來越遠(yuǎn)，5種作業(yè)需求也不足以覆蓋用戶現(xiàn)有的典型操作;其次，眾多的測試設(shè)備投入使得TPC-C測試給廠商帶來了較大的壓力，這并不是TPC 組織愿意看到的，因此TPC組織于2007年3月推出了全新的OLTP測試標(biāo)準(zhǔn)——TPC-E，意在用這個(gè)測試標(biāo)準(zhǔn)取代TPC-C測試，從而對上述問題起 到解決作用。
TPC-E在測試模型上進(jìn)行了巨大的革新與改進(jìn)。TPC-E是以美國紐約證券交易所為模型，該測試模擬了一系列后端處理數(shù)據(jù)以及證券公司前端客戶在股票交易市場的典型行為——賬戶查詢、在線交易和市場調(diào)研。
與TPC-C測試模型相比，TPC-E更加強(qiáng)調(diào)模型的高仿真性，其模型微縮模擬了全球最大電子股票交易市場——美國納斯達(dá)克股市的日常業(yè)務(wù) 流程，模型架構(gòu)完成了從C/S架構(gòu)到B/S架構(gòu)的過渡，是典型的互聯(lián)網(wǎng)時(shí)代OLTP性能測試基準(zhǔn)。同時(shí)，數(shù)據(jù)類型更加豐富，由3類擴(kuò)展為10類，模擬的交 易條件更復(fù)雜。
TPC-H關(guān)注查詢能力
TPC-H是一種決策支持基準(zhǔn)。它包含一整套面向商業(yè)的特殊查詢和并發(fā)數(shù)據(jù)修改內(nèi)容。該基準(zhǔn)中選擇的查詢和數(shù)據(jù)庫中的數(shù)據(jù)都具有廣泛的全行業(yè)關(guān)聯(lián)性。這種測試基準(zhǔn)所描述的決策支持系統(tǒng)可檢查大量的數(shù)據(jù)，所執(zhí)行的查詢也具有很高的復(fù)雜度。
TPC-H所報(bào)告的性能計(jì)量單位被稱為“TPC-H復(fù)合式每小時(shí)查詢性能單 位”（TPC-H Composite Query-per-Hour Performance Metric -
QphH@Size），反映的是系統(tǒng)處理查詢的多方面能力，包括查詢執(zhí)行時(shí)選定的數(shù)據(jù)庫大小、單個(gè)流提交查詢時(shí)的查詢處理能力，以及多個(gè)并發(fā)用戶提交查詢 時(shí)的查詢吞吐量。TPC-H的價(jià)格/性能比計(jì)量單位的表達(dá)方式為$/QphH@Size。
應(yīng)用性能參考SPEC
SPEC是標(biāo)準(zhǔn)性能評估公司（Standard Performance Evaluation Corporation）的簡稱。SPEC是由計(jì)算機(jī)廠商、系統(tǒng)集成商、大學(xué)、研究機(jī)構(gòu)、咨詢等多家公司組成的非營利性組織，這個(gè)組織的目標(biāo)是建立、維護(hù) 一套用于評估計(jì)算機(jī)系統(tǒng)的標(biāo)準(zhǔn)。
與TPC體系注重在線處理能力和數(shù)據(jù)庫查詢能力不同，SPEC體系中最廣為人知的兩個(gè)子項(xiàng)，是衡量CPU、內(nèi)存性能的CPU2000和Web服務(wù)器性能的web2005。另外還有一個(gè)衡量Java服務(wù)器性能的jbb2005，近年來也逐漸受到關(guān)注。
除了TPC家族，SPEC家族也是廣為人知的一大體系。SPEC指標(biāo)體系由 Standard Performance Evaluation Corp.制定，目前主要包括針對CPU性能的SPEC CPU2000（已有CPU2006，但尚無數(shù)據(jù)）、針對Web服務(wù)器的SPECweb2005、針對高性能計(jì)算的SPEC HPC2002與SPEC MPI2006、針對Java應(yīng)用的jAppServer2004與JBB2005，以及對圖形系統(tǒng)、網(wǎng)絡(luò)和郵件服務(wù)器的測試指標(biāo)。
SPEC CPU 2006
SPEC CPU 2006是SPEC組織推出的CPU子系統(tǒng)評估軟件最新版，在早些年，業(yè)界使用的是其上一個(gè)版本SPEC CPU 2000。和SPEC CPU 2000一樣，SPEC CPU 2006包括了CINT2006和C FP2006兩個(gè)子項(xiàng)目，前者用于測量和對比整數(shù)性能，而后者則用于測量和對比浮點(diǎn)性能，SPEC CPU 2006中對SPEC CPU 2000中的一些測試進(jìn)行了升級，并拋棄/加入了一些測試，因此兩個(gè)版本測試得分并沒有可比較性。
SPEC CPU測試中，測試系統(tǒng)的處理器、內(nèi)存子系統(tǒng)和使用到的編譯器（SPEC CPU提供的是源代碼，并且允許測試用戶進(jìn)行一定的編譯優(yōu)化）都會影響最終的測試性能，而I/O（磁盤）、網(wǎng)絡(luò)、操作系統(tǒng)和圖形子系統(tǒng)對于SPEC CPU2006的影響非常的小。
An ounce of honest data is worth a pound of
marketing hype（一盎司誠實(shí)的數(shù)據(jù)值得一磅的市場宣傳）是SPEC組織成立的座右銘，為了保持?jǐn)?shù)據(jù)的公平、可信度以及有效，SPEC CPU測試使用了現(xiàn)實(shí)世界的應(yīng)用程序，而不是用循環(huán)的算術(shù)操作來進(jìn)行基準(zhǔn)測試。SPEC CPU 2006包括了12項(xiàng)整數(shù)運(yùn)算和17項(xiàng)浮點(diǎn)運(yùn)算，除此之外，還有兩個(gè)隨機(jī)數(shù)產(chǎn)生測試程序998.sperand（整數(shù)）和999.specrand（浮
點(diǎn)），它們雖然也包含在套件中并得到運(yùn)行，但是它們并不進(jìn)行計(jì)時(shí)以獲得得分。這兩個(gè)測試主要是用來驗(yàn)證一些其他組件中會用到的PRNG隨機(jī)數(shù)生成功能的正 確性。各個(gè)測試組件基本上由C和Fortran語言編寫，有7個(gè)測試項(xiàng)目使用了C++語言，而Fortran語言均用來編寫浮點(diǎn)部分。
CINT2006包括C編譯程序、量子計(jì)算機(jī)仿真、下象棋程序等，CFP2006包括有限元模 型結(jié)構(gòu)化網(wǎng)格法、分子動力學(xué)質(zhì)點(diǎn)法、流體動力學(xué)稀疏線性代數(shù)法等。為了簡化測試結(jié)果，SPEC決定使用單一的數(shù)字來歸納所有12種整數(shù)基準(zhǔn)程序。具體方法 是將被測計(jì)算機(jī)的執(zhí)行時(shí)間標(biāo)準(zhǔn)化，即將被測計(jì)算機(jī)的執(zhí)行時(shí)間除以一個(gè)參考處理器的執(zhí)行時(shí)間，結(jié)果稱為SPECratio。SPECratio值越大，表示 性能越快（因?yàn)镾PECratio是執(zhí)行時(shí)間的倒數(shù)）。CINT2006或CFP2006的綜合測試結(jié)果是取SPECratio的幾何平均值。
JAVA應(yīng)用性能測試——SPEC jbb2005
SPECjbb2005是由Standard Performance Evaluation Corp(標(biāo)準(zhǔn)性能評估組織)提供的、專供檢測服務(wù)器 JAVA應(yīng)用性能的測試軟件，SPEC是由著名計(jì)算機(jī)廠商、系統(tǒng)集成商、大學(xué)、研究所、出版商等組成的非贏利性組織。目前，SPEC得到了包括IBM、 HP、Intel、Compaq等主要服務(wù)器廠商的認(rèn)可。
SPECjbb2005(Java服務(wù)器基準(zhǔn))是評估服務(wù)器端JAVA性能的SPEC測試工具。和以前的SPECjbb2000一
樣，SPECjbb2005通過模擬三層C/S系統(tǒng)(主要是中間層)來評估服務(wù)器端JAVA的性能。該測試軟件運(yùn)行JVM(Java虛擬機(jī))、JIT (Just-In-Time)編譯器、碎片收集、線程以及操作系統(tǒng)的其他任務(wù)。它也測量CPU、Cache、內(nèi)存和 SMP的性能。SPECjbb2005通過提供面向?qū)ο蠓绞竭\(yùn)行的、新的增強(qiáng)的工作負(fù)載，來反映真實(shí)應(yīng)用系統(tǒng)的情況。另外，SPECjbb2005也引入 了一些新的特性，如XML處理和BigDecimal計(jì)算，以保證測試結(jié)果能更確切地反映當(dāng)前的實(shí)際應(yīng)用。
SPECjbb2005是一種被廣泛使用的工業(yè)標(biāo)準(zhǔn)基準(zhǔn)測試。概括來講，每個(gè)"warehouse"會產(chǎn)生一個(gè)獨(dú)立的線程，從而決定測試線程的并發(fā)數(shù)。
SPEC Web2005
Web服務(wù)參考Web2005
作為SPECweb99和SPECweb99_SSL的繼承者，SPECweb2005延續(xù)了SPEC的傳統(tǒng)，為Web用戶提供客觀的Web服務(wù)器系統(tǒng)性能測試基準(zhǔn)。
SPEC
Web2005測試的原理，是通過多臺客戶機(jī)向服務(wù)器發(fā)出Http Get請求，請求調(diào)用Web服務(wù)器上的網(wǎng)頁文件，這些文件從數(shù)千字節(jié)到數(shù)兆字節(jié)不等。在相同的時(shí)間里，服務(wù)器回答的請求越多，就表明服務(wù)器對客戶端的處理能力越強(qiáng)，系統(tǒng)的Web性能就越好。
基于快速發(fā)展的Web技術(shù)，與上一代測試基準(zhǔn)相比，SPECweb2005基準(zhǔn)包括許多新增強(qiáng)特性，其中包括：
● 測量并發(fā)用戶會話。
● 相關(guān)動態(tài)內(nèi)容：包括PHP和JSP實(shí)施。
● 使用兩個(gè)并行HTTP連接請求頁面鏡像。
● 多種標(biāo)準(zhǔn)化的工作負(fù)載：銀行業(yè)（HTTPS）、電子商務(wù)（HTTP and HTTPS）和支持（HTTP）。
● 使用If-Modified-Since請求模擬模擬器緩存效果。
● 文件訪問與今天的真實(shí)Web服務(wù)器訪問模式匹配度更高。
|
