最近在折騰一些自動(dòng)化腳本時(shí)我遇到了一個(gè)挺有意思的場景想把一個(gè)網(wǎng)頁上的操作流程固化下來比如定時(shí)抓取某個(gè)頁面的數(shù)據(jù)或者自動(dòng)填寫一些表單。傳統(tǒng)的做法是寫個(gè)Python腳本用Selenium或者Playwright去控制瀏覽器但這意味著我得維護(hù)一套獨(dú)立的運(yùn)行環(huán)境、處理瀏覽器驅(qū)動(dòng)版本、還得應(yīng)對網(wǎng)頁結(jié)構(gòu)變化帶來的腳本失效問題。就在我琢磨有沒有更輕量、更“嵌入式”的方案時(shí)注意到了Codex這個(gè)工具。它原本給我的印象是一個(gè)能通過自然語言生成代碼的AI助手但這次的變化有點(diǎn)不同——它開始支持在Edge瀏覽器里直接“使用計(jì)算機(jī)”。這聽起來有點(diǎn)抽象但簡單來說它可能允許Codex直接與瀏覽器交互執(zhí)行點(diǎn)擊、輸入、導(dǎo)航等操作而無需你離開瀏覽器去寫一個(gè)完整的自動(dòng)化項(xiàng)目。這個(gè)變化讓我停下來想了很久。我們過去談瀏覽器自動(dòng)化談RPA機(jī)器人流程自動(dòng)化往往默認(rèn)那是一個(gè)獨(dú)立的、需要專門學(xué)習(xí)和部署的“工程”。但如果一個(gè)你每天都在用的AI編碼助手突然能直接在你瀏覽網(wǎng)頁時(shí)幫你完成一些重復(fù)性操作這意味著什么是噱頭還是一個(gè)真正能改變我們與瀏覽器交互方式的起點(diǎn)1. 先別急著找安裝包理解“計(jì)算機(jī)使用”到底指什么看到“Computer Use”這個(gè)功能很多人的第一反應(yīng)可能是去搜索“codex安裝教程”或者“codex桌面版下載”。但在此之前我們得先搞清楚這個(gè)功能的核心價(jià)值點(diǎn)在哪里以及它和我們熟知的那些自動(dòng)化工具比如瀏覽器插件、油猴腳本、或是獨(dú)立的RPA軟件到底有什么不同。1.1 從“代碼生成”到“動(dòng)作執(zhí)行”的跨越Codex最初為人熟知的能力是將自然語言描述轉(zhuǎn)化為可執(zhí)行的代碼片段。比如你描述“用Python讀取CSV文件并計(jì)算某列的平均值”它能生成對應(yīng)的代碼。這解決的是“寫代碼”的問題。而“計(jì)算機(jī)使用”Computer Use則試圖解決“執(zhí)行任務(wù)”的問題。它的目標(biāo)不是給你一段待運(yùn)行的代碼而是理解你的意圖后直接操控計(jì)算機(jī)在當(dāng)前語境下特指瀏覽器去完成這個(gè)意圖。例如你告訴它“幫我在這個(gè)電商網(wǎng)站搜索‘無線鼠標(biāo)’并按價(jià)格排序”它可能會(huì)嘗試自動(dòng)在搜索框輸入、點(diǎn)擊按鈕、解析頁面元素并執(zhí)行排序操作。這背后的邏輯是很多重復(fù)性的網(wǎng)頁操作其最終目的并不是為了得到一段代碼而是為了得到一個(gè)結(jié)果。如果AI能跳過“生成代碼-用戶復(fù)制-用戶運(yùn)行”這個(gè)中間環(huán)節(jié)直接產(chǎn)出結(jié)果效率的提升是顯而易見的。1.2 在Edge瀏覽器中實(shí)現(xiàn)輕量化與場景化的嘗試為什么是Edge瀏覽器而不是一個(gè)獨(dú)立的桌面應(yīng)用這其實(shí)體現(xiàn)了兩種不同的產(chǎn)品思路。獨(dú)立的自動(dòng)化軟件如一些RPA工具功能強(qiáng)大但通常較重需要安裝、配置學(xué)習(xí)成本不低。而集成在瀏覽器中則有以下幾個(gè)潛在優(yōu)勢環(huán)境統(tǒng)一操作直接發(fā)生在瀏覽器沙盒內(nèi)無需處理跨應(yīng)用、跨窗口的復(fù)雜交互。對于純網(wǎng)頁操作場景路徑最短。權(quán)限清晰它的操作范圍理論上被限制在瀏覽器標(biāo)簽頁內(nèi)這比一個(gè)擁有系統(tǒng)級權(quán)限的獨(dú)立應(yīng)用在安全感知上更讓人放心當(dāng)然具體實(shí)現(xiàn)決定了實(shí)際的安全邊界。即開即用無需單獨(dú)啟動(dòng)一個(gè)軟件在瀏覽網(wǎng)頁時(shí)隨時(shí)可以喚起處理臨時(shí)性的、輕量級的自動(dòng)化需求。與現(xiàn)有生態(tài)結(jié)合可以更容易地與瀏覽器插件、開發(fā)者工具、甚至其他AI功能如Copilot進(jìn)行聯(lián)動(dòng)。所以這個(gè)功能的目標(biāo)用戶可能不是需要構(gòu)建企業(yè)級復(fù)雜流程的RPA工程師而是廣大的普通用戶、運(yùn)營人員、數(shù)據(jù)分析師或者開發(fā)者他們面對的是大量重復(fù)、規(guī)則明確但又不值得專門開發(fā)一個(gè)系統(tǒng)的網(wǎng)頁操作。1.3 與常見方案的模糊邊界理解一個(gè)新功能把它和已知的東西做對比會(huì)更清晰。我們可以看一個(gè)簡單的對比表格特性瀏覽器插件/油猴腳本獨(dú)立自動(dòng)化工具 (如 Selenium, Playwright)Codex 的 “Computer Use” (概念推測)核心能力通過注入JS腳本修改或增強(qiáng)頁面功能通過API編程控制瀏覽器實(shí)現(xiàn)復(fù)雜流程通過自然語言指令讓AI理解并執(zhí)行操作使用門檻需要會(huì)JavaScript了解DOM需要會(huì)編程處理環(huán)境、驅(qū)動(dòng)、反爬等理論上最低只需用語言描述靈活性高可深度定制頁面行為極高可跨頁面、跨應(yīng)用、處理復(fù)雜邏輯未知可能受限于AI的理解能力和安全邊界維護(hù)成本中需隨網(wǎng)頁結(jié)構(gòu)變化更新腳本高需維護(hù)代碼和運(yùn)行環(huán)境理論上低由AI適應(yīng)變化(存疑)適用場景固定頁面的功能增強(qiáng)、數(shù)據(jù)提取測試、數(shù)據(jù)采集、復(fù)雜的業(yè)務(wù)流程自動(dòng)化臨時(shí)的、簡單的、描述清晰的重復(fù)操作從這個(gè)對比可以看出Codex的“計(jì)算機(jī)使用”試圖在“使用門檻”和“靈活性”之間找到一個(gè)新平衡點(diǎn)用極高的易用性自然語言來覆蓋那些不夠靈活但非常高頻的簡單場景。注意目前關(guān)于該功能的具體實(shí)現(xiàn)細(xì)節(jié)、能力邊界和穩(wěn)定性信息非常有限。上述分析是基于其概念描述和常見技術(shù)路徑的合理推測。在嘗試前務(wù)必將其視為一個(gè)探索性功能而非成熟的生產(chǎn)力工具。2. 從概念到實(shí)操如何開始嘗試與核心邏輯推演由于沒有官方的詳細(xì)文檔和明確的公開入口我們無法給出一步步的點(diǎn)擊教程。但是我們可以根據(jù)這類功能通常的落地方式推演出一個(gè)合理的探索路徑和需要關(guān)注的核心邏輯。這比盲目尋找安裝包更有價(jià)值。2.1 探索入口與前置條件通常這類與AI深度結(jié)合的新功能可能會(huì)通過以下幾種方式提供Edge瀏覽器內(nèi)置側(cè)邊欄類似Copilot的側(cè)邊欄在瀏覽網(wǎng)頁時(shí)側(cè)邊欄的AI助手可能新增“執(zhí)行任務(wù)”或“自動(dòng)化”相關(guān)的選項(xiàng)。特定網(wǎng)站或服務(wù)集成可能需要訪問特定的實(shí)驗(yàn)室頁面或啟用特定的瀏覽器標(biāo)志edge://flags。作為ChatGPT Plus或企業(yè)版功能通過ChatGPT的“高級數(shù)據(jù)分析”或“自定義GPT”類似的路徑獲得瀏覽器交互權(quán)限。獨(dú)立的瀏覽器擴(kuò)展開發(fā)一個(gè)專門的擴(kuò)展申請必要的瀏覽器權(quán)限如activeTab,scripting,webNavigation等來實(shí)現(xiàn)。對于普通用戶最可能的入口是第一種或第二種。因此如果你的Edge瀏覽器已經(jīng)更新到最新版本可以留意側(cè)邊欄Copilot區(qū)域是否有新按鈕或描述詞的變化。同時(shí)在地址欄輸入edge://flags并搜索 “Codex” 或 “Computer Use” 之類的關(guān)鍵詞看看是否有實(shí)驗(yàn)性開關(guān)。關(guān)鍵前置條件猜想一個(gè)有效的、支持該功能的AI服務(wù)賬號(hào)如OpenAI的ChatGPT Plus。最新版本的Microsoft Edge瀏覽器。可能需要明確授權(quán)該功能訪問當(dāng)前標(biāo)簽頁。2.2 理解其可能的工作流程即使無法立即上手理解它“可能怎么工作”也能幫助我們判斷其適用性。一個(gè)合理的工作流程推演如下意圖捕獲你在AI聊天界面或?yàn)g覽器側(cè)邊欄輸入自然語言指令如“把本頁面所有產(chǎn)品標(biāo)題和價(jià)格提取到一個(gè)表格里”。意圖解析與規(guī)劃AI模型如GPT-4會(huì)解析你的指令將其分解為一系列可執(zhí)行的原子操作步驟。例如步驟1識(shí)別頁面中所有可能是“產(chǎn)品”的容器。步驟2在每個(gè)容器中定位“標(biāo)題”和“價(jià)格”文本元素。步驟3提取文本內(nèi)容。步驟4將數(shù)據(jù)組織成表格格式。動(dòng)作執(zhí)行Codex或背后的執(zhí)行引擎將這些原子操作轉(zhuǎn)化為對瀏覽器DOM文檔對象模型的實(shí)際操作。這可能通過以下幾種技術(shù)之一實(shí)現(xiàn)瀏覽器擴(kuò)展API使用chrome.scripting.executeScript向頁面注入JavaScript代碼來執(zhí)行操作。無頭瀏覽器驅(qū)動(dòng)在后臺(tái)啟動(dòng)一個(gè)輕量級的瀏覽器實(shí)例來執(zhí)行操作對用戶透明。模擬用戶輸入通過系統(tǒng)級的自動(dòng)化工具模擬點(diǎn)擊和鍵盤輸入權(quán)限要求高可能性較低。結(jié)果反饋與確認(rèn)執(zhí)行過程中可能會(huì)需要你的確認(rèn)尤其是涉及輸入個(gè)人信息或執(zhí)行刪除等危險(xiǎn)操作時(shí)。最終將提取的數(shù)據(jù)以文本、表格或文件的形式返回給你。2.3 實(shí)操中必須關(guān)注的“安全邊界”與“權(quán)限控制”這是此類功能最核心、也最需要用戶警惕的部分。讓AI直接操作你的瀏覽器相當(dāng)于賦予了它“代你行事”的能力。因此以下幾個(gè)問題必須在嘗試前想清楚它能訪問哪些數(shù)據(jù)是僅限當(dāng)前打開的標(biāo)簽頁還是能訪問你的瀏覽器歷史、書簽、保存的密碼它能執(zhí)行哪些操作僅限于讀取和點(diǎn)擊還是可以輸入文本、下載文件、甚至進(jìn)行支付是否需要逐項(xiàng)確認(rèn)對于敏感操作如提交表單、下載文件是自動(dòng)執(zhí)行還是每次都需要你點(diǎn)擊“允許”操作記錄是否可審計(jì)你能否查看AI具體執(zhí)行了哪些步驟以便在出錯(cuò)時(shí)進(jìn)行追溯一個(gè)負(fù)責(zé)任的功能設(shè)計(jì)應(yīng)該遵循“最小權(quán)限原則”和“透明性原則”。作為用戶在首次啟用時(shí)務(wù)必仔細(xì)閱讀權(quán)限申請列表并盡量在測試環(huán)境如無重要信息的測試網(wǎng)站中先行驗(yàn)證。注意在任何情況下都不要授權(quán)此類功能訪問銀行、支付、郵箱主賬號(hào)或存有敏感信息的公司內(nèi)部網(wǎng)站。先從公開的、信息不敏感的新聞或電商網(wǎng)站開始測試。3. 能力邊界與當(dāng)前局限性別指望它是“萬能自動(dòng)化機(jī)器人”基于現(xiàn)有信息和類似技術(shù)的普遍發(fā)展階段我們可以對Codex的“計(jì)算機(jī)使用”功能做出一些合理的預(yù)期管理。過早的夸大或貶低都無助于我們真正利用它。3.1 它可能擅長什么理想場景信息提取與匯總從結(jié)構(gòu)相對規(guī)整的列表頁如產(chǎn)品列表、新聞列表、搜索結(jié)果頁中提取特定字段名稱、價(jià)格、日期、鏈接并整理成表格。這是自然語言描述清晰、頁面元素有規(guī)律的任務(wù)。簡單的表單填寫在已知字段名稱和內(nèi)容的條件下幫你快速填充一些重復(fù)性的表單例如注冊測試賬號(hào)、批量錄入數(shù)據(jù)需確保數(shù)據(jù)安全。頁面導(dǎo)航與點(diǎn)擊操作執(zhí)行“點(diǎn)擊下一頁”、“展開所有評論”、“切換到表格視圖”等明確的導(dǎo)航和交互指令。基于頁面內(nèi)容的簡單決策例如“找到價(jià)格最低的那個(gè)選項(xiàng)并點(diǎn)擊‘加入購物車’”。這需要AI能理解“價(jià)格最低”的比較邏輯。這些場景的共同點(diǎn)是目標(biāo)明確、頁面結(jié)構(gòu)可預(yù)測、操作步驟線性且簡單。3.2 它很可能不擅長什么當(dāng)前挑戰(zhàn)處理高度動(dòng)態(tài)或復(fù)雜交互的頁面對于大量使用JavaScript動(dòng)態(tài)加載內(nèi)容、元素ID隨機(jī)生成、或有復(fù)雜驗(yàn)證碼的頁面AI可能無法穩(wěn)定定位元素。需要復(fù)雜邏輯判斷或跨多步驟狀態(tài)維護(hù)的任務(wù)例如“監(jiān)控這個(gè)拍賣網(wǎng)站在最后5分鐘如果我的出價(jià)不是最高且價(jià)格低于100元?jiǎng)t自動(dòng)加價(jià)10元”。這涉及狀態(tài)監(jiān)控、條件判斷和循環(huán)超出了當(dāng)前AI執(zhí)行任務(wù)的典型設(shè)計(jì)范圍。理解模糊或主觀的指令“幫我找一款好看又便宜的藍(lán)牙耳機(jī)”。什么是“好看”“便宜”的標(biāo)準(zhǔn)是什么這種需要主觀審美和復(fù)雜權(quán)衡的任務(wù)AI很難直接轉(zhuǎn)化為瀏覽器操作。繞過反自動(dòng)化機(jī)制網(wǎng)站如果有反爬蟲或反自動(dòng)化措施依賴固定模式的自動(dòng)化操作很容易被識(shí)別和封鎖。AI驅(qū)動(dòng)的操作模式是否更隱蔽目前未知但原則上仍可能被檢測到。保證100%的準(zhǔn)確率和穩(wěn)定性網(wǎng)頁布局隨時(shí)可能改變AI的理解也可能出現(xiàn)偏差。它不適合用于處理金融交易、關(guān)鍵業(yè)務(wù)操作等不容有錯(cuò)的場景。3.3 與“ChatGPT完成Windows設(shè)置”的聯(lián)想與區(qū)分搜索詞中出現(xiàn)了“chatgpt 完成windows 設(shè)置”這反映了用戶一種普遍的期待AI能否直接操作整個(gè)操作系統(tǒng)Codex的“計(jì)算機(jī)使用”目前明確限定在瀏覽器內(nèi)這是一個(gè)重要的安全和技術(shù)邊界。操作瀏覽器一個(gè)相對標(biāo)準(zhǔn)化的應(yīng)用和操作整個(gè)Windows系統(tǒng)擁有無限可能性和極高風(fēng)險(xiǎn)是截然不同的兩件事。后者需要系統(tǒng)級權(quán)限面臨無限復(fù)雜的環(huán)境變量安全風(fēng)險(xiǎn)呈指數(shù)級增長。因此短期內(nèi)看到AI全面接管操作系統(tǒng)設(shè)置的可能性極低。瀏覽器的沙盒環(huán)境是一個(gè)更可行、更安全的起點(diǎn)。4. 給開發(fā)者和進(jìn)階用戶的思考這背后是什么在驅(qū)動(dòng)對于不滿足于只是使用的技術(shù)愛好者來說這個(gè)功能背后透露的技術(shù)趨勢和可能性更值得玩味。4.1 技術(shù)棧猜想LLM 瀏覽器自動(dòng)化API要實(shí)現(xiàn)這個(gè)功能一個(gè)經(jīng)典的技術(shù)組合可能是大型語言模型 (LLM)如GPT-4負(fù)責(zé)理解用戶自然語言指令并將其分解、規(guī)劃成具體的操作步驟Action Plan。這一步的關(guān)鍵是“思維鏈”Chain-of-Thought和“工具調(diào)用”Function Calling能力。瀏覽器自動(dòng)化框架/API如Puppeteer或Playwright的核心庫或者直接使用Chrome DevTools Protocol (CDP)。這部分負(fù)責(zé)接收LLM規(guī)劃出的具體操作如click(selector),typeText(selector, text)并將其轉(zhuǎn)化為真實(shí)的瀏覽器交互命令。中間協(xié)調(diào)層一個(gè)關(guān)鍵的“翻譯器”或“執(zhí)行器”。它需要將LLM輸出的抽象計(jì)劃映射到當(dāng)前具體網(wǎng)頁的實(shí)際元素上。這可能是最復(fù)雜的一環(huán)因?yàn)長LM需要“看到”網(wǎng)頁的結(jié)構(gòu)。實(shí)現(xiàn)方式可能是DOM樹簡化與描述將頁面的DOM結(jié)構(gòu)簡化并轉(zhuǎn)換成文本描述送給LLM分析。計(jì)算機(jī)視覺輔助對頁面進(jìn)行截圖使用多模態(tài)模型如GPT-4V來“看”頁面并定位元素。混合模式結(jié)合DOM信息和視覺信息提高元素定位的魯棒性。4.2 對現(xiàn)有工作流的潛在影響如果這類技術(shù)成熟它不會(huì)完全取代傳統(tǒng)的自動(dòng)化開發(fā)但會(huì)重塑工作流的起點(diǎn)原型速度極大加快當(dāng)你需要為一個(gè)新的網(wǎng)頁操作寫自動(dòng)化腳本時(shí)可以先讓AI嘗試執(zhí)行。即使它不能100%完成其生成的“操作意圖”和可能定位到的元素選擇器也能為你提供寶貴的起點(diǎn)和參考節(jié)省大量探查頁面結(jié)構(gòu)的時(shí)間。降低自動(dòng)化需求的門檻很多“值不值得自動(dòng)化”的邊界會(huì)發(fā)生變化。以前覺得寫腳本太麻煩的一次性任務(wù)現(xiàn)在用幾句話描述就能解決這會(huì)讓自動(dòng)化滲透到更細(xì)微的工作環(huán)節(jié)中。人機(jī)協(xié)作模式變化從“人編寫完整程序 - 機(jī)器執(zhí)行”變?yōu)椤叭嗣枋鲆鈭D - AI嘗試執(zhí)行 - 人糾正與精調(diào)”的交互循環(huán)。人的角色更像是一個(gè)“監(jiān)工”和“糾正者”負(fù)責(zé)處理邊界情況和復(fù)雜邏輯。4.3 面臨的挑戰(zhàn)與未來方向這項(xiàng)技術(shù)要走向?qū)嵱没仨毥鉀Q幾個(gè)核心挑戰(zhàn)可靠性問題如何保證AI對頁面元素的理解和操作是穩(wěn)定、準(zhǔn)確的如何應(yīng)對網(wǎng)頁的A/B測試、動(dòng)態(tài)加載和改版可泛化性在一個(gè)網(wǎng)站上學(xué)會(huì)的操作能否遷移到結(jié)構(gòu)類似的其他網(wǎng)站還是每次都需要重新學(xué)習(xí)安全與倫理如何防止被惡意利用進(jìn)行點(diǎn)擊欺詐、數(shù)據(jù)爬取、或誘導(dǎo)用戶授權(quán)危險(xiǎn)操作如何確保操作過程透明、可審計(jì)成本問題每次操作都調(diào)用大模型成本是否可接受能否有小模型或本地模型來分擔(dān)部分任務(wù)未來的演進(jìn)方向可能會(huì)是“AI智能體”AI Agent在特定領(lǐng)域如瀏覽器的垂直化、工具化落地。它不會(huì)是一個(gè)全知全能的通用人工智能而是一個(gè)配備了“瀏覽器操作工具箱”的專用助手。5. 理性看待當(dāng)前階段你應(yīng)該如何嘗試與定位它綜合以上分析我們可以為這個(gè)尚在迷霧中的功能畫一個(gè)相對清晰的用戶畫像和行動(dòng)指南。5.1 誰應(yīng)該去嘗試熱衷于體驗(yàn)前沿技術(shù)的探索者你樂于嘗試新事物能接受功能不穩(wěn)定、效果不完美并愿意提供反饋。被大量簡單重復(fù)網(wǎng)頁操作困擾的普通用戶比如經(jīng)常需要從多個(gè)網(wǎng)頁收集數(shù)據(jù)做對比或定期執(zhí)行固定流程的填報(bào)工作。開發(fā)者與測試人員你可以通過觀察AI如何操作頁面來獲得UI元素定位的新思路或者用它來快速生成一些測試用例的初始步驟。5.2 誰可以暫時(shí)觀望尋求穩(wěn)定、可靠生產(chǎn)級解決方案的用戶如果你需要每天處理成千上萬次操作要求100%準(zhǔn)確率和穩(wěn)定性那么成熟的RPA工具或自研腳本仍然是更靠譜的選擇。處理高度敏感數(shù)據(jù)的用戶在安全機(jī)制完全明確之前謹(jǐn)慎總是對的。對自動(dòng)化完全陌生的用戶如果連瀏覽器開發(fā)者工具都沒打開過直接上手這種AI驅(qū)動(dòng)的高級自動(dòng)化可能在遇到問題時(shí)更難排查。5.3 如果找到入口你的“嘗鮮三步法”假設(shè)你已經(jīng)在Edge中找到了這個(gè)功能的入口我建議按以下順序進(jìn)行這能幫你最快地理解其能力和局限第一步從最簡單的“讀取”開始找一個(gè)結(jié)構(gòu)清晰的頁面比如一篇維基百科文章或一個(gè)產(chǎn)品列表頁。給出最簡單的指令“列出本頁的所有標(biāo)題H1 H2”。觀察它能否正確識(shí)別并提取文本。這一步驗(yàn)證其基本的頁面理解和信息提取能力。第二步嘗試基礎(chǔ)的“點(diǎn)擊”與“導(dǎo)航”在同一個(gè)網(wǎng)站內(nèi)給出指令“點(diǎn)擊‘下一頁’按鈕”或“點(diǎn)擊第一個(gè)產(chǎn)品的鏈接”。觀察它能否正確識(shí)別交互元素并完成導(dǎo)航。這一步驗(yàn)證其執(zhí)行基礎(chǔ)交互的能力。第三步挑戰(zhàn)組合任務(wù)與模糊指令嘗試一個(gè)需要多個(gè)步驟的任務(wù)“在這個(gè)電商網(wǎng)站搜索‘筆記本’按價(jià)格從低到高排序然后把第一頁的產(chǎn)品名稱和價(jià)格給我”。或者給出一個(gè)模糊指令“幫我找找關(guān)于這個(gè)主題的更詳細(xì)信息”。這一步將暴露其在復(fù)雜規(guī)劃、元素定位和意圖理解上的邊界。在整個(gè)過程中請務(wù)必打開瀏覽器的開發(fā)者工具F12切換到“控制臺(tái)”(Console)或“網(wǎng)絡(luò)”(Network)標(biāo)簽頁。你可以觀察是否有額外的腳本被注入以及執(zhí)行過程中是否有錯(cuò)誤信息輸出。這是理解其工作原理和排查問題的最直接方式。5.4 一個(gè)務(wù)實(shí)的定位輔助者而非替代者至少在可預(yù)見的未來我們應(yīng)該將此類AI驅(qū)動(dòng)的“計(jì)算機(jī)使用”功能定位為一個(gè)強(qiáng)大的輔助者和效率倍增器而非完全替代人類判斷和專業(yè)自動(dòng)化工具的替代者。它的價(jià)值在于快速原型幫你把想法瞬間變成可操作的嘗試。處理瑣事接手那些規(guī)則明確、枯燥乏味的重復(fù)性點(diǎn)擊和收集工作。激發(fā)思路當(dāng)你不知道如何用代碼實(shí)現(xiàn)某個(gè)頁面操作時(shí)它的嘗試可以給你提供線索。而復(fù)雜的邏輯判斷、關(guān)鍵的業(yè)務(wù)流程、對穩(wěn)定性和安全性要求極高的任務(wù)仍然需要經(jīng)過設(shè)計(jì)、編碼、測試和評審的傳統(tǒng)自動(dòng)化流程來保障。回到開頭我自己的那個(gè)場景如果Codex的“計(jì)算機(jī)使用”功能可用我可能會(huì)先讓它嘗試幫我抓取數(shù)據(jù)。如果成功了皆大歡喜如果失敗了它嘗試的過程和遇到的錯(cuò)誤很可能已經(jīng)幫我摸清了頁面的大部分結(jié)構(gòu)我再去寫Python腳本時(shí)會(huì)順暢得多。這本身就是一種有價(jià)值的進(jìn)步。技術(shù)的演進(jìn)往往不是突然替換掉舊工具而是先在某些環(huán)節(jié)上打開一個(gè)新的、更便捷的可能性讓我們重新思考整個(gè)工作流的優(yōu)化方式。