Merge pull request 'feat: support multiple API keys for LLM providers, allowing automatic key rotation on failure' (#84) from feat/refactor/mulit_api_key into feat/refactor/main

Reviewed-on: jiantw83/code-review#84

.gitea/ai-review/exclusions.json

@@ -133,5 +133,30 @@
     "role": "Maya",
     "location": "app/llm.test.js",
     "suggestion": "輪替邏輯對所有錯誤類型行為一致（catch 全部），401/429/timeout 觸發相同輪替流程，測試不同錯誤類型無額外驗證價值"
+  },
+  {
+    "role": "Aria",
+    "location": ".gitea/workflows/master.yaml",
+    "suggestion": "master.yaml 檔案結尾已有換行符號（0x0a），符合 POSIX 慣例，無需修改"
+  },
+  {
+    "role": "Leo",
+    "location": "app/llm.test.js",
+    "suggestion": "console.log/error 為診斷用途，不是業務邏輯，TODO.md 驗收標準為人工驗收描述，不需要在單元測試中斷言 console 輸出"
+  },
+  {
+    "role": "Leo",
+    "location": "app/llm.test.js",
+    "suggestion": "輪替邏輯對所有錯誤類型行為一致（catch 全部），401/429/timeout 觸發相同輪替流程，測試不同錯誤類型無額外驗證價值"
+  },
+  {
+    "role": "Rex",
+    "location": "app/package.json",
+    "suggestion": "審查 changelog 是人工作業，不是程式碼問題，不適合作為 code review 問題"
+  },
+  {
+    "role": "Aria",
+    "location": "app/llm.js",
+    "suggestion": "此 action 為 CLI 工具，process.exit(1) 是設計意圖讓 CI/CD workflow 失敗。改拋錯會被 chatJSON 的 catch 吞掉回傳 []，破壞現有行為"
   }
 ]

.gitea/ai-review/findings.json

@@ -1,72 +1,9 @@
 [
   {
-    "level": "critical",
+    "level": "info",
     "role": "Leo",
-    "location": "app/llm.js:22",
+    "location": "app/package.json",
-    "suggestion": "在 `chat` 函式中，`Authorization` 標頭是無條件地被加入到所有 LLM 請求中。這對於不需要 API Key 的服務（如 Ollama）是不必要的，且可能導致錯誤。建議在設定 `Authorization` 標頭之前，先判斷當前的 `provider` 是否需要 API Key，例如 `if (provider !== 'ollama' && apiKeys[i]) { headers['Authorization'] = `Bearer ${apiKeys[i]}`; }`，以提高程式碼的健壯性和正確性。",
+    "suggestion": "在 `app/package.json` 中，`axios` 和 `openai` 等函式庫進行了版本更新，特別是 `openai` 從 `4.28.0` 升級到 `4.104.0`。為了確保長期維護的穩定性和安全性，建議審查這些函式庫的發行說明（changelog），以了解是否有任何重大變更、安全修補或已知漏洞，並確認這些更新不會引入不預期的行為或技術債。",
-    "is_new": false
-  },
-  {
-    "level": "critical",
-    "role": "Zara",
-    "location": "app/llm.js:20",
-    "suggestion": "當啟用 API Key 輪替機制時，單一 API 請求的 `timeout` 設定為 120 秒過長。若有多個 Key 且每個 Key 都因逾時而失敗，可能導致整個流程耗時過久（例如 10 個 Key 可能耗時 20 分鐘）。建議將單次請求的逾時時間縮短（例如 10-30 秒），以加速 Key 的輪替，避免 CI/CD 流程長時間阻塞。",
-    "is_new": false
-  },
-  {
-    "level": "critical",
-    "role": "Rex",
-    "location": "app/llm.js:6",
-    "suggestion": "程式碼中 `https.Agent({ rejectUnauthorized: false })` 停用了 SSL/TLS 憑證驗證。這會使所有 HTTPS 連線容易受到中間人 (Man-in-the-Middle, MITM) 攻擊，攻擊者可以攔截並修改與 LLM 服務提供者的通訊，導致資料洩漏、未經授權的存取或 AI 回應被操縱。請移除 `const httpsAgent = new https.Agent({ rejectUnauthorized: false });` 這一行，並確保 `axios.post` 呼叫中不再使用 `httpsAgent` 選項。預設情況下，Node.js 和 Axios 會執行嚴格的 SSL 憑證驗證，這是確保通訊安全的最佳實踐。如果遇到憑證問題，應調查並解決底層的憑證信任鏈問題，而非禁用驗證。",
-    "is_new": false
-  },
-  {
-    "level": "critical",
-    "role": "Maya",
-    "location": "app/llm.js:10-31",
-    "suggestion": "`app/llm.js` 中實現的 API Key 輪替功能是本次改動的核心，但目前缺少對應的單元測試。請務必在 `app/llm.test.js` 中新增全面的測試案例，以驗證 `TODO.md` 中「階段八：API Key 輪替」的所有驗收標準：\n*   **單一 Key 成功**：傳入單一有效 Key 時，確保行為與原本相同。\n*   **多個 Key 輪替成功**：驗證當前 N-1 個 Key 失敗，第 N 個 Key 成功時，系統能依序嘗試並最終成功。\n*   **所有 Key 失敗**：驗證當所有傳入的 Key 都失敗時，系統能正確記錄每次失敗，並最終呼叫 `process.exit(1)` 終止流程（測試時需模擬 `process.exit` 以捕獲其調用）。\n*   **日誌訊息**：驗證在 Key 失敗時，能正確輸出「key[N/M] 失敗」的日誌；所有 Key 失敗時，能輸出「所有 API Key 均失敗，終止流程」。\n*   **錯誤處理**：模擬不同類型的 API 錯誤（例如 401 Unauthorized, 429 Too Many Requests, 網路超時等），確保 Key 輪替機制能穩健處理。",
-    "is_new": false
-  },
-  {
-    "level": "warning",
-    "role": "Zara",
-    "location": "app/comments.js:24",
-    "suggestion": "在 `saveFindings` 函數中，`fs.writeFileSync` 是一個同步操作。如果 `findings` 陣列可能非常大，或者此函數會被頻繁呼叫，同步寫入檔案可能會阻塞 Node.js 事件迴圈，導致應用程式響應變慢。建議改用 `fs.writeFile` (非同步) 以避免阻塞主執行緒，提升應用程式的響應能力。",
-    "is_new": false
-  },
-  {
-    "level": "warning",
-    "role": "Aria",
-    "location": ".gitea/workflows/master.yaml",
-    "suggestion": "檔案結尾應包含一個換行符號 (newline at EOF)，這是 POSIX 系統的慣例，有助於版本控制系統的正確處理。",
-    "is_new": false
-  },
-  {
-    "level": "warning",
-    "role": "Leo",
-    "location": ".gitea/workflows/review.yaml:36",
-    "suggestion": "GEMINI_API_KEY 的值過長，影響可讀性。雖然這是為了傳遞多個 Secret，但建議考慮是否有其他方式可以讓設定檔更簡潔，例如將多個 Secret 組合為一個，或在 Action 內部處理多個獨立的 Secret 變數（如果 Action 支援）。如果沒有其他方式，請考慮將其分行以提高可讀性（雖然 YAML 可能會將其視為單行）。",
-    "is_new": false
-  },
-  {
-    "level": "warning",
-    "role": "Maya",
-    "location": "app/llm.test.js",
-    "suggestion": "在 `llm.test.js` 中，`TODO.md` 驗收標準明確要求驗證「key[N/M] 失敗」和「所有 API Key 均失敗，終止流程」的日誌訊息。目前的測試雖然驗證了 `process.exit(1)` 的調用，但並未對 `console.log` 和 `console.error` 的輸出進行模擬和斷言。建議使用 `mock.method(console, 'log', ...)` 和 `mock.method(console, 'error', ...)` 來捕獲並驗證這些重要的日誌訊息，確保系統在 API Key 輪替失敗時能提供清晰的診斷資訊。",
-    "is_new": true
-  },
-  {
-    "level": "warning",
-    "role": "Maya",
-    "location": "app/llm.test.js",
-    "suggestion": "針對 API Key 輪替的錯誤處理，`TODO.md` 驗收標準中提到「模擬不同類型的 API 錯誤（例如 401 Unauthorized, 429 Too Many Requests, 網路超時等）」。目前的測試僅使用 `new Error('fail')` 進行通用錯誤模擬。建議擴展測試案例，模擬 `axios` 拋出帶有特定 HTTP 狀態碼（如 401, 429）的錯誤，以及模擬網路超時（例如 `axios.isAxiosError` 且 `e.code === 'ECONNABORTED'`），以確保 API Key 輪替機制在面對不同類型的 API 錯誤時都能穩健運作。",
-    "is_new": true
-  },
-  {
-    "level": "warning",
-    "role": "Maya",
-    "location": "app/llm.js",
-    "suggestion": "`app/llm.js` 中的 `chatJSON` 函數依賴於 `chat` 函數的 API Key 輪替邏輯。雖然 `chat` 函數已新增測試，但 `chatJSON` 函數本身並未有專屬的測試案例。建議在 `app/llm.test.js` 中新增針對 `chatJSON` 的測試，特別是驗證在 API Key 輪替成功和失敗時，`chatJSON` 能正確處理 JSON 格式的回應，並在所有 Key 失敗時也能正確終止流程。",
     "is_new": true
   }
 ]

.gitea/workflows/review.yaml

@@ -33,7 +33,7 @@ jobs:
     - name: AI Code Review
       uses: https://gitea.jsc.idv.tw/jiantw83/code-review@v${{ needs.version.outputs.version }}
       with:
-        GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }},${{ secrets.GEMINI_API_KEY_1 }},${{ secrets.GEMINI_API_KEY_2 }},${{ secrets.GEMINI_API_KEY_3 }},${{ secrets.GEMINI_API_KEY_4 }},${{ secrets.GEMINI_API_KEY_5 }},${{ secrets.GEMINI_API_KEY_6 }},${{ secrets.GEMINI_API_KEY_7 }},${{ secrets.GEMINI_API_KEY_8 }},${{ secrets.GEMINI_API_KEY_9 }}
+        GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }},${{ secrets.GEMINI_API_KEY_1 }},${{ secrets.GEMINI_API_KEY_2 }},${{ secrets.GEMINI_API_KEY_3 }},${{ secrets.GEMINI_API_KEY_4 }},${{ secrets.GEMINI_API_KEY_5 }},${{ secrets.GEMINI_API_KEY_6 }},${{ secrets.GEMINI_API_KEY_7 }},${{ secrets.GEMINI_API_KEY_8 }},${{ secrets.GEMINI_API_KEY_9 }},${{ secrets.GEMINI_API_KEY_10 }},${{ secrets.GEMINI_API_KEY_11 }},${{ secrets.GEMINI_API_KEY_12 }},${{ secrets.GEMINI_API_KEY_13 }},${{ secrets.GEMINI_API_KEY_14 }},${{ secrets.GEMINI_API_KEY_15 }},${{ secrets.GEMINI_API_KEY_16 }},${{ secrets.GEMINI_API_KEY_17 }},${{ secrets.GEMINI_API_KEY_18 }},${{ secrets.GEMINI_API_KEY_19 }}
         GEMINI_BASE_URL: https://generativelanguage.googleapis.com/v1beta
         GEMINI_MODEL: ${{ vars.GEMINI_MODEL }}
     permissions:

README.md

@@ -111,7 +111,7 @@ jobs:
     - name: AI Code Review
       uses: https://gitea.jsc.idv.tw/jiantw83/code-review@${{ vars.ACTION_CODE_REVIEW_VERSION }}
       with:
-        GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }},${{ secrets.GEMINI_API_KEY_1 }},${{ secrets.GEMINI_API_KEY_2 }},${{ secrets.GEMINI_API_KEY_3 }},${{ secrets.GEMINI_API_KEY_4 }},${{ secrets.GEMINI_API_KEY_5 }},${{ secrets.GEMINI_API_KEY_6 }},${{ secrets.GEMINI_API_KEY_7 }},${{ secrets.GEMINI_API_KEY_8 }},${{ secrets.GEMINI_API_KEY_9 }}
+        GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }},${{ secrets.GEMINI_API_KEY_1 }},${{ secrets.GEMINI_API_KEY_2 }},${{ secrets.GEMINI_API_KEY_3 }},${{ secrets.GEMINI_API_KEY_4 }},${{ secrets.GEMINI_API_KEY_5 }},${{ secrets.GEMINI_API_KEY_6 }},${{ secrets.GEMINI_API_KEY_7 }},${{ secrets.GEMINI_API_KEY_8 }},${{ secrets.GEMINI_API_KEY_9 }},${{ secrets.GEMINI_API_KEY_10 }},${{ secrets.GEMINI_API_KEY_11 }},${{ secrets.GEMINI_API_KEY_12 }},${{ secrets.GEMINI_API_KEY_13 }},${{ secrets.GEMINI_API_KEY_14 }},${{ secrets.GEMINI_API_KEY_15 }},${{ secrets.GEMINI_API_KEY_16 }},${{ secrets.GEMINI_API_KEY_17 }},${{ secrets.GEMINI_API_KEY_18 }},${{ secrets.GEMINI_API_KEY_19 }}
         GEMINI_BASE_URL: https://generativelanguage.googleapis.com/v1beta
         GEMINI_MODEL: ${{ vars.GEMINI_MODEL }}
     permissions:

app/config.test.js

@@ -105,4 +105,11 @@ describe('getLLMConfig', () => {
     assert.equal(cfg.provider, 'ollama');
     assert.equal(cfg.model, 'llama3');
   });
+
+  it('comma-only api key is treated as not set', () => {
+    process.env.OPENAI_API_KEY = ',,,';
+    const cfg = getLLMConfig();
+    assert.equal(cfg.provider, null);
+    assert.deepEqual(cfg.apiKeys, []);
+  });
 });

app/llm.js

@@ -11,7 +11,6 @@ export async function chat(systemPrompt, userContent) {
   if (provider === 'claude') headers['anthropic-version'] = '2023-06-01';
 
   const shuffled = [...apiKeys].sort(() => Math.random() - 0.5);
-  let lastError;
   for (let i = 0; i < shuffled.length; i++) {
     if (provider !== 'ollama') headers['Authorization'] = `Bearer ${shuffled[i]}`;
     try {
@@ -22,7 +21,6 @@ export async function chat(systemPrompt, userContent) {
       );
       return resp.data.choices[0].message.content;
     } catch (e) {
-      lastError = e;
       console.log(`  [LLM] key[${i + 1}/${shuffled.length}] 失敗: ${e.message}`);
     }
   }