利用 Large Language Model (LLM) 審閱 iThome 鐵人賽投稿 – (5: End) AI x Human 混合雙打
我很榮幸可以擔任 2023 iThome 鐵人賽的評審，這是我嘗試使用 LLM 審閱投稿的過程紀錄。這篇文章說明我的替代方案：AI 技術編輯與人類的混合雙打。
這是系列的第五篇，也是最後一篇。如果你還沒有閱讀過之前的文章的話：
在上一篇文章中，我們發現 AI 的評分與評語雖能判斷主題和結構，但對於內容和表達的鑒別度卻顯得不足。因為暫時想不到更好的做法，我不得不回歸到繁瑣的人工審閱過程。
真・鐵人賽（誤）
結合 AI 和人工審閱
與其說是人工審閱，更像是 AI x Human 混合雙打。新的作法是：
- 首先，我會先看過系列文章的 AI 評分和評語，並快速瀏覽每篇文章的摘要，以獲得一個整體的結構綜覽。
- 我在審閱文章時，同時會使用 ChatGPT (with GPT-4) 作為技術編輯，協助我識別出潛在的技術問題。此外，我還利用 “YouTube Summary with ChatGPT & Claude” 這個瀏覽器外掛，透過自訂 prompt 和快速鍵，將文章內容直接傳入 ChatGPT 進行分析。
- 我也使用瀏覽器外掛來快速翻頁，方便我在系列文章之間切換。
Arc 瀏覽器左右對開的審閱模式
下面這張截圖是我用瀏覽器外掛，讓 ChatGPT 技術編輯審查我的第一篇文章的範例。你會注意到換行都被合併在一起，但是基本上不影響 ChatGPT 閱讀。我的 ChatGPT 完整對話紀錄。
謝謝技術編輯幫我檢查文章 🙇
完成了
我就這樣審閱完驚人的 5,400 篇文章！其中有一篇在講量子運算，我靠著 ChatGPT 才能略懂整個系列文章。我也趁機初探了各種語言跟軟體工具，收穫很多。此外，因為 Notion AI 可以查詢整個 Notion 空間的資料，我獲得了一個看過很多 iThome 鐵人賽文章的 AI 助理……
有些文章比較灌水，缺乏實質內容，這些我只會快速瀏覽。有些文章品質不錯，但是某些概念或資訊有小錯誤，我會仔細核對 ChatGPT 提供的資訊，提供給作者參考。在這過程中，我大概對 30 篇文章留了評論。
看完 5,400 篇的我，就像小孤獨一樣
用 ChatGPT 寫評語
我在審閱文章的時候，寫在筆記上的評語都很直白，例如：
- 章節規劃清楚，搭配心智圖讓讀者更容易暸解。
- 讀者定位清楚，但是內容略淺。
- Day X 寫得非常好。
- Day X 的 XXX 的計算方式，以及 OOO 的解釋有問題。
- Day XX - Day XX 沒有做好章節規劃，內容雜亂。
- 題目選得很好，但是文字表達能力需要大幅加強。
- 部分程式碼範例有小瑕疵，但是有提供一個 GitHub repo 很棒。
- Day X 內容深入太快，讀者難以跟上。
- 讀者設定不明確，像是自言自語。
- 組織結構不清楚。
- 文字可讀性低。
這些評語對我在評分時有幫助，但是全都是主觀意見。如果要給作者評語，需要客觀、具體，有建設性，並且提供改進建議，才會對作者有幫助。
所以，我寫了一個 prompt 幫我改善評語：
我是 iThome 鐵人賽的稿件評審。 iThome 鐵人賽是一項由台灣的 IT 專業媒體 iThome 所舉辦的技術文章撰寫挑戰賽事。這項賽事的主要目的是鼓勵參賽者連續寫作技術相關的文章，分享知識和經驗。iThome 鐵人賽已經舉辦多屆，每年都吸引了大量的技術愛好者和專家參與。這項賽事在台灣的技術社群中具有很高的知名度和影響力。 我會給你我對一個作品的分數（1~10 分）跟評語，請詳細閱讀後，協助我用三明治反饋法，改寫成對方容易接受與理解，能夠幫助對方的語句，但是要完整保留我原本的所有建議。 評語用我的第一人稱角度撰寫，請精簡、減少不必要的冗余，避免口語上會出現的 “首先”、“總之” 等詞彙。如果你可以做到的話，回答 OK 就好。
讚美的力量。「多誇我一點」 – 後藤一里，孤獨搖滾
總結
我自己很喜歡「利用 LLM 把『利用 Large Language Model (LLM) 審閱 iThome 鐵人賽投稿』的過程寫成一個鐵人賽文章」這種很 meta 的題目。是的，就連這整個系列的大綱跟草稿都是搭配 ChatGPT 撰寫完成的。Prompt 如下：
我是本屆 iThome 鐵人賽的評審。我想要寫一篇「如何用 Large Language Model 協助我審閱 5000 篇 iThome 鐵人賽投稿」的系列文章。請幫我撰寫大綱。
經歷這次審閱的過程，我體會到 AI x Human 相結合的價值。這種混合模式節省我大量時間，而且提供了評審的全面性跟準確性。系列文章的 AI 評分和評語，以及每篇文章的摘要，協助我快速掌握概要。我體感上至少有節省我一半的時間。
然而，AI 在評估文章的品質上有其局限性，特別是在創意、深度和表達能力方面。相比之下，人類在理解文章的創意、情感和風格上有著更深刻的洞察力，能從多角度欣賞和解讀文章內容，甚至對幽默和諷刺的把握也更為精準。
展望未來，我期待這種協作模式能在更廣泛的領域中得到應用，帶來創新和效率的雙重提升。此外，使用 LLM 進行文章評分是一個有趣又有幫助的研究主題，我會持續探索其潛力，以豐富我們對於技術與人類協作之間的理解。
如果你對於使用 AI 加速自動化有興趣，也歡迎找我討論合作。