程式交易≠Holy Grail

今天講一個容易判斷的最佳化崩解例子，這個例子在逆勢交易中可能會比較常見，因為剛好看到有人寫出來類似的程式，在這裡提出供大家參考。

下列是兩個相似策略的參數最佳化報告，每個策略都有2個不同的參數(分別是para1及para2)，報告中列出回測績效Net profit對應到不同組合的參數。

首先我將策略1的回測資料畫成Contour plot (高層圖)，可以簡單看出隨著兩個不同的參數調整，績效變化相對緩慢，更重要的是在參數變動範圍內，績效Net profit都是正值，而且變異不大。

同樣地，我將策略2的回測資料繪製出來如下圖所示，可以看到雖然大部分的時間績效表現都不錯，但是當para1參數從33變動到35，績效突然形成一個斷崖(cliff)，這種策略可能就有過度最佳化的風險。

測試程式有沒有過度最佳化有很多種方式，除了上述這種簡單的方式之外，還可以使用多商品、不同週期、不同獨立區間等方式進行測試，而最好的測試方式就是花時間去下模擬單，只是很多人認為時間比金錢保貴，而不願意花時間去測試。