你是特務還是Agent

Even Pan
Jan 15, 2025

--

2025 註定是AI持續爆發的一年,各式各樣的工具橫空出世.打亂你的工作流,用幾乎毀天滅地的方式正在革命著你的工作

擔心工作被取代的,需要好好學才能在人力資源優化大浪下,成為那個褲子穿得最好的人.

希望精益求精的人,也需要好好的學,在各種火箭一飛沖天的情況,幫自己留個保留席.

也就是在這樣大家都得學的背景下,我們來講講Agent這個topic吧.

參考資料:google agents白皮書, datacamp agent

Photo by Marija Zaric on Unsplash

說到我們今天要講的特務Agent,我覺得特務是一個非常適合的類比。 在特務電影中,我們常看到怪博士從冒著蒸氣的桌子取出各種神秘工具,並向特務解釋如何用它們對付反派。當工具逐一介紹完畢,特務悄悄的潛進反派的建築.

特務剛進去便遭遇槍林彈雨。特務想起博士的話,將像 disco 彩球的裝置丟向反派,使他們短暫失去視力,趁機溜走。

特務的故事說到這.我們先中斷一下.特務展現一個很特殊的能力.也是我們希望AI具備的.在博士介紹的各種工具中.他知道應該在應對什麼場景的時候選擇對的工具來突圍.

回過頭來說.我們的LLM 模型現在有哪些限制以至於我們需要agent 選擇工具的能力呢?

我們可以讓 LLM 模型學到怎麼把一個報告做到非常完美,我們可以在prompt 中定義一個期待的格式讓它 follow,但最終我們仍舊期待它有跟現實世界互動的能力.

我們不希望 AI 訓練於2021他就真的只能回答2021以前的事實,也不希望它對不確定的事實進入創作模式(亂掰) 。

所以我們有幾個方法可以處理.我們通過 RAG 的方式,讓它可以調用我們新放進去的資料,但對於有些我們沒有搜集的資料 。

比如,我希望知道今天出門需不需要帶傘、該怎麼穿衣。當溫度 20℃、濕度 60% 時,我通常穿薄長袖;而溫度 24℃、濕度 50% 時,則穿薄短袖。

這個資料可以放進RAG資料庫中。

但是我應該怎麼知道今天幾度呢?工程師也許會很快的反應 API 我們讓模型可以調用氣象 API,就能立即得知天氣,且無需自行維護氣象資料庫。

現在我幫agent裝了兩個工具了

  1. 調用氣象API
  2. 查詢穿著資料庫

最終agent 可以根據這兩個資訊給一個根據今天天氣的綜合性穿著建議.

跟我有關的這個生活管家agent,可以幫他開發更多tool拓展相應的能力。假如我的熱水器可以通過API調整溫度,我可以將調整的邏輯也寫成一個tool, 當氣象報告有寒流來的時候,agent可以想到同步幫我把熱水器調整+2度讓我晚上的熱水澡更舒服.

隨著一個個的工具放進agent.並讓它根據你問的問題判斷需要去採集哪些資訊以及需要進行哪些行動來因應.

就是現在很紅的ReAct架構 (Reasoning and Acting )。

這是一個系列文 ,下一篇我們就通過langchain 來實作ReAct架構的agent吧!

後記:故事是這樣的,有朋友在快速變遷的時代感慨怎麼學不完,好像每天都有新的資料冒出來,也飛快地過時. 但我仔細一想其實不盡然.我跟他說大部分我用到的AI資料都是2023的時候學llm開始提及.當時就有 Memory、RAG,甚至 Agent 的概念。只是那些概念還沒有那麼完整.大部分發明都像身為一個開發者會想主動優化的.

比如:我們可以prompt engineering 出一個考慮各種情境以及回答方式的prompt模板.讓我們問每一個問題AI都回答得生龍活虎.然而明明簡單的問題也套用複雜的模板就讓我們呼叫模型的cost吃不消了. 我們學會分拆模板.當時我就想到了可以用便宜的模型來檢查討論話題是哪個.而再調用比較完整的prompt 模板於較大的模型.

現在常見的memory機制有三種,當時也都逐步有實作出雛形.從記憶全部的full history 到rolling buffer 只留最後幾個對話,以及通過llm進行對話總結與壓縮來確保長期記憶依舊存在.這些機制也都是為了省錢.

只要讓一個客家工程師在沒有 Funding 的情況下研究 LLM,他一定會創造出更多工具。(笑)

去年下半年研究的RAG用於memory也是一個很棒的嘗試.將句子向量化後,當提到相關話題時,調出歷史記錄一起輸入模型。這做法優雅地解決長期記憶遺失或不精確的問題.

在解釋這串的過程.我意識到工程的推進,往往都是服務於很實際的限制.這些限制轉換成需求.實現出來了就變成一個好用的功能.

把手弄髒弄熱.感受實際的限制.也就感受了科技的進程

--

--

Even Pan
Even Pan

Written by Even Pan

Technical blogger who like to held hands-on ml workshops. Fast-paced learner and highly interested in the latest technologies.

No responses yet