[討論] 分享 test-suite 建置方法與問題發問
最近自己寫了優化演算法，
不過是針對特定情況的 pattern 才會進行優化。
然而我知道 compiler 會有 Phase Ordering Problem，
我想測定應用了我的優化演算法的 O1、O2、O3 與原本的 O1、O2、O3 跑在一個公信的
benchmark 上會不會有問題
（理論上不會，除非 benchmark 的 cases 有符合我的 pattern）
目前是鎖定使用 LLVM 的 test-suite 這個專案，
不過我研究半天，他有幾個問題似乎不太符合我的需求：
1. Build 很久
2. 跑很久：大多數的 cases 應該都不會符合我的 pattern，也就是說與原本的 O1、O2、O3 無異，
但卻還是要跑一次，我在想有沒有辦法能夠去 diff LLVM IR
3. 我每一次修正我的優化器似乎都要 Build 一次：
這部分不知道是不是我有誤會，我認為他是用 llvm 去編譯 cases，再去運行跑分，
所以只要我優化器有做變動，是不是就要整個重新build？
打到這邊我突然想到
他似乎是利用 llvm-lit 去做 testing 的，所以理論上我優化器重新 build 後，
不用重新build test-suite 直接用 llvm-lit 跑就可以得到重新編譯後的優化器效能？
我對 llvm-lit 這塊沒有研究很透徹，還請大家多多解答、討論
另外，這邊在編譯 test-suite 的時候有遇到問題，這邊跟大家分享一下解法
照著官方文件（https://llvm.org/docs/TestSuiteGuide.html）去 cmake 時，
會有某個程式碼片段 for (auto _:status）會出錯，原因是他居然沒有用 -std=c++11 這個 flag 去編譯
分享一下我 cmake 法：
首先，先創建要 build 的資料夾
mkdir test-suite-build
之後參考文件+版主說的 Ninja（真的快很多）
cd test-suite-build # 先到 build 的資料夾
cmake -G Ninja \
-DCMAKE_C_COMPILER=<llvm-project-path>/build/bin/clang \
-DCMAKE_CXX_COMPILER=<llvm-project-path>/build/bin/clang++ \
-DCMAKE_CXX_FLAG="-std=c++11" \
-C../test-suite/cmake/caches/O3.cmake \
../test-suite
快速使用就直接
cd test-suite-build
llvm-lit -v -j 1 -o results.json .
開始進行 benchmark，太久的話可以去挑選資料夾，如
llvm-lit -v -j 1 -o result.json MicroBenchmarks
若我要比較兩個優化器的優缺與否，應該會是這樣做（？）：
<path-to-old-llvm-project>/build/bin/llvm-lit -v -j 1 -o original.json .
得到原本優化器的跑分
接下來
<path-to-new-llvm-project>/build/bin/llvm-lit -v -j 1 -o new.josn .
得到兩份 json 檔，再利用 compare.py 去比較跑分
test-suite/utils/compare.py original.json new.json
應該會是這樣做，不確定正確與否，歡迎討論！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.141.111.59 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/CompilerDev/M.1647277863.A.285.html
推
03/16 08:44,
3年前
, 1F
03/16 08:44, 1F
可是要去測試，不是應該開一個 thread 嗎？
否則，開越多好像只是測到平行化程度（？
我其實不太知道如果要測試 compiler compile 出來的程式碼品質如何
要開幾個 core 才好
※ 編輯: shane87123 (118.160.253.115 臺灣), 03/20/2022 12:29:26
推
03/20 17:05,
3年前
, 2F
03/20 17:05, 2F
→
03/20 17:05,
3年前
, 3F
03/20 17:05, 3F
→
03/22 12:48,
3年前
, 4F
03/22 12:48, 4F