Re: [問題] CTS測試雜問

看板AndroidDev作者 (say)時間13年前 (2013/01/30 19:24), 編輯推噓5(5012)
留言17則, 4人參與, 最新討論串2/2 (看更多)
※ 引述《onlywig (環島旅行ing)》之銘言: : 請教各位前輩 : 因小弟我最近被分配研究CTS測試 : 我的平台是用4.0.4版 CTS是用4.0.3 R3版 : 這兩週測下來 有些問題想釐清: : 1. run CTS 全部一次跑完 fail數遠大於個別跑完 : 那如果我要過GOOGLE認證 他採用的標準是如何? : 有全過就好 不care分別跑完還是一次跑完? 最近聽到的消息都是一次跑完,早期我就不確定了。 : 2. 有些測項我GOOGLE的結果似乎是CTS source code : 本身的問題,那我該怎辦? 抓source code修正bug後自己 : build完再測? 如果真的可這樣 那不就有很多地方可以 : "偷吃步"? 全過的定義是,所有的測項必須 passed 或是 waiver, 如果你能說明這個測項的問題,並且確實如此,Google 就會同意 waiver。 對了,XML report 裡頭有 hash, 我沒仔細研究過,不過要是改了測項,大概會有不同的 hash 吧。 除了送 report 之外,還要送測實機, 所以想在這方面動手腳應該是遲早會被抓包。 : 3. 有的測項不是每次測都會過..這是正常現象嗎? : 那不就要狂測 測到有一次all pass 再用那一次去認證即可? 沒錯 : 初探此領域 感覺問題都還蠻淺的 很不好意思 : 還請前輩們指教 謝謝了 處理 CTS 一陣子了,不過我只有接觸到技術的部份, 和 Google 交涉的那塊我就完全不清楚了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.114.78.231

01/30 20:36, , 1F
一次跑完..但就我所知有的測項是測3G跟WIFI 他們兩者的網
01/30 20:36, 1F

01/30 20:36, , 2F
路同時間只能有一個存在 這不會造成另一個裝置的測項fail?
01/30 20:36, 2F
不知道你說的是哪一項, 我印象比較深的是 testStartUsingNetworkFeature_enableHipri(), 看 source code 會發現裡面甚至有開關 wifi 的動作, 所以我想你不太需要擔心這部份。 我的習慣是,開始測之前兩項都打開。

01/30 20:37, , 3F
還有時間有的要測old time:1999之前 有的要測time now
01/30 20:37, 3F

01/30 20:37, , 4F
勢必會造成其中一個fail 遇到這種情況前輩您都怎麼做呢?
01/30 20:37, 4F
還是不知道你指哪項,給我名稱我可以幫你看看。

01/30 20:41, , 5F
另外我發現有的測項有bug 相機沒裝時 hardware測項全過
01/30 20:41, 5F

01/30 20:41, , 6F
'裝上去之後才真的有去測相機功能 就會有很多錯誤...
01/30 20:41, 6F
我也沒測過沒相機的, 不過我猜測 CTS 會根據他偵測到的機器規格決定所需執行的測項, 像是不支援 3G 的平板,就不會去測傳簡訊和 3G 網路,我不認為這是錯誤的行為。 report 的最上方會有 device 的 feature 列表, 即使不裝相機時可以 pass,除非送測與出貨時也都不裝相機, 否則我想這樣的 report,google 也不會接受的。 ※ 編輯: tkcn 來自: 140.114.78.231 (01/30 23:20)

01/31 09:27, , 7F
謝謝您 android.core.tests.libcore.package.libcore下的
01/31 09:27, 7F

01/31 09:28, , 8F
libcore.java.util.OldTimeZoneTest 我都需要重設原廠設定
01/31 09:28, 8F

01/31 09:29, , 9F
才會PASS 但時間變成1999年 後面一些測項會顯示時間錯誤
01/31 09:29, 9F
還沒看過測項細節,不過倒是搜到這兩篇: http://code.google.com/p/android/issues/detail?id=41751 http://blog.csdn.net/dnfchan/article/details/8558325 先看看是否與你遭遇的情況相同吧。

01/31 09:30, , 10F
若還有其他問題可寄站內信請教嗎?雖然我比較想在板上討論
01/31 09:30, 10F

01/31 09:30, , 11F
也可以讓後面加入此領域的人有個參考
01/31 09:30, 11F
皆可。 不過除非是我剛好有涉獵的測項,否則我也只會初步看過, 不見得真能解決你的問題,畢竟怎麼說我們也算是競爭對手嘛 Orz

01/31 09:54, , 12F
以前測試都用script自動跑,有fail就自動break重跑
01/31 09:54, 12F

01/31 09:55, , 13F
CTS測的項目很細,甚至有一些function在什麼情況下該回什
01/31 09:55, 13F

01/31 09:56, , 14F
麼值都很要求,所以機器有分wifi跟3G的話是有不同規則的
01/31 09:56, 14F

02/02 17:04, , 15F
如果公司沒有高手....應該是趕快開104的時候了
02/02 17:04, 15F
※ 編輯: tkcn 來自: 140.114.78.231 (02/04 00:01)

02/04 12:34, , 16F
我才剛來啊wendly大 哈
02/04 12:34, 16F

02/10 12:16, , 17F
相機很難搞...連Google自家的機器都fail一堆
02/10 12:16, 17F
文章代碼(AID): #1H2GBmyi (AndroidDev)
討論串 (同標題文章)
本文引述了以下文章的的內容:
完整討論串 (本文為第 2 之 2 篇):
文章代碼(AID): #1H2GBmyi (AndroidDev)