標籤: flaky

對付時好時壞的測試案例:還沒痊癒,就先隔離

參考網址:

這裡面提到說 對付時好時壞的測試案例,第一件要做的事應該是把病人(有問題的測試案例)給關在負壓隔離病房。
所以我們應該要先把不穩定的測試案例隔離起來,然後之後研究到底是因為什麼樣的原因才造成我們的 test case fail,所謂隔離起來。

作者提到,所謂隔離,是新增一個隔離管線 (quarantined pipeline),將不穩定的 test case 移過去

這種做法的大原則是,在 main deployment pipeline 上的測試案例全部都要通過,而在 quarantined pipeline 的測試案例如果不通過則可以暫時忽略。

但是作者也提到,不是只要是 fail 的 testcase 都移過去,而是那些不清楚為什麼,時好時壞的 test case 才移過去。