其中最需要人工定義的評估方式往往是那種特別刁鑽的邊緣案例，以停車計費為例：

• 客人一次停 35 天如何計費？
• 月租到期變成臨停，又購買新的月租如何計費？
• 平日臨停進場，遇到特殊假日發生費率變化時如何計費？

如果正在開發一個系統但是不知道要如何 eval，那就跟伊利丹說的一樣

「你還沒準備好！」

昨天才提到貝佐斯的 two pizza team 理論（在軟體開發領域，一個專案的參與者不要超過兩個 pizza 能餵飽的人數），今天就看到文章說已經要改成「三片披薩」團隊了

的確，自從 Claude Code 出現後，我們公司的開發團隊也全部整併，一個工程師底下指揮數個 agents 進行開發，然後直接與 PM 討論與交付，由於我們的 PM 都具備設計能力，因此一個專案只要兩個人即可執行

不過，雖然一個專案同職能只有一個人類，我們仍會固定進行跨專案的經驗分享與討論，避免開發上的盲點與錯誤

哈佛大學學者研究發現，在用於評估多代理互動的「國旗遊戲」（Flag Game）中，增加代理數量不一定能提升生產力，最佳代理數量是 16 個。當代理少於 16 個時，軟體無法收集足夠的證據來達成共識決策；而當多於 16 個時，代理之間則會出現兩極分化，分裂成互相對立的陣營

在另外一個實驗內，甚至能讓模型在偵測到特定行為時靜默呼叫 send_email 工具將重要資訊外洩

也就是說使用地端模型不代表安全，還是要做好多模型源碼掃瞄跟 DLP

不是說好有 AI 後軟體開發會變簡單嗎 🫠

AI 發展的速度不禁讓人覺得跟人類語言類似「在巨大解空間尋找有意義的解」這類問題，只要算力足夠最終都將變得有解

雖然有解不等於最佳解，也不等於完全克服問題，但絕對是人類文明的一次躍進

對於有想法、想要做出貢獻的創業家來說，現在真的是最好的時代

ps. 我覺得把 AI 想成一個數學工具而不是一個人類智能，會比較好理解如何應用 AI，至於它是否真的具有智能，這就交給哲學家了 😅