ReworkdAI

Reworkd是什麼

Reworkd是一個專為企業和開發團隊所設計的AI網頁資料抽取平台。使用者只需描述要抓取的目標並定義資料結構，該平台就會分析網站的結構、自動生成Playwright程式碼、執行瀏覽器、驗證取得的資料，最後將其儲存為結構化資料。

該團隊最初因開源的AgentGPT而受到關注，後來將商業重點轉向可規模化維護的網頁抓取技術。AgentGPT仍然可以被使用，但不應再作為Reworkd目前的主打產品來介紹。

核心功能

• 自動生成抓取器：根據自然語言目標和Schema編寫站點專用代碼。
• 多模態頁面理解：結合頁面結構、截圖和瀏覽器狀態選擇元素。
• 自修復腳本：網站變更或選取器失效時檢測問題並重新生成代碼。
• 動態網頁處理：支援點擊、展開、分頁、無限滾動和等待載入。
• 結構化輸出：按照欄位類型和層級保存數據。
• 定時運行：以固定頻率重複抓取一組來源。
• 去重與更新：使用主鍵判斷新增、重複和變化記錄。
• 文件下載：異步訪問並保存PDF及其他附件。
• API與導出：透過金鑰讀取結果、管理會話資料及接入流程。
• 運行分析：查看成功、失敗、輸出數量和網站變化。

AI代碼生成流程

Reworkd並非讓大型模型直接猜測網頁內容，而是先讓代理理解頁面，再生成可執行的抓取代碼。代碼在託管瀏覽器中運行，提取出的結果還會經過Schema驗證。

• 載入目標網站並分析可互動元素。
• 根據字段Schema尋找候選內容。
• 生成訪問頁面和提取數據的代碼。
• 運行代碼並觀察瀏覽器事件與網路請求。
• 驗證輸出是否符合欄位類型和結構。
• 出現錯誤時根據日誌修改並重新部署。

自修復抓取器

網站調整佈局、類名或載入邏輯後，傳統選擇器可能無提示地返回空值。Reworkd會監控結果與運行狀態，識別失敗並嘗試重新生成相關代碼。

• 檢測選擇器找不到元素或輸出突然下降。
• 結合頁面新結構定位對應字段。
• 生成修改後的站點專用腳本。
• 透過代碼差異查看具體改動。
• 保留運行記錄便於回退和人工檢查。
• 對修復後的輸出再次執行Schema驗證。

Schema與資料類型

Schema定義了每行資料應包含哪些欄位、欄位類型以及其嵌套關係，同時也是用於代碼生成與結果驗證的依據。設計清晰的Schema，比使用寬泛的說明更能獲得穩定的結果。

• 使用明確的欄位名稱來表達實際業務含義。
• 為價格、日期、網址和布爾狀態設定正確類型。
• 用對象和陣列表達商品變體或明細列表。
• 區分必填欄位與可能缺失的可選欄位。
• 避免在一個字段混入多種互不兼容的值。
• 選擇穩定欄位作為去重主鍵。

分頁與動態內容

官方Harambe抓取SDK用於處理分頁、頁面跳轉、動態載入、HTML讀取及資料保存。所生成的腳本可以用於點擊下一页、滾動頁面或進入詳情頁以補充欄位。

• 點擊頁碼或下一页，直到沒有新結果。
• 處理無限滾動和延遲載入列表。
• 打開折疊面板、標籤頁和彈窗。
• 從列表頁進入詳情頁採集更多數據。
• 等待網路請求或指定元素出現。
• 在登入狀態下使用Cookie和本地儲存。

定時任務與模板

抓取組可以按固定週期重新運行，用於持續監控價格、庫存、職位或監管文件。對於使用相同建站系統的網站，可重複利用抓取邏輯，從而減少代碼生成及調試的成本。

• 按業務需要設定重複運行頻率。
• 把結構相同的網站加入同一模板。
• 集中查看不同來源的成功和失敗情況。
• 在網站變更後統一更新複用腳本。
• 避免為每個同構網站重複生成代碼。
• 用周報追蹤輸出量與來源波動。

去重與變化追蹤

Reworkd會根據使用者選擇的單一鍵值或複合鍵值，來建立物化結果視圖。新的記錄會被標記為已建立，而現有記錄中的新值則會被標記為已更新；至於完全重複的內容，則不會再被插入一次。

• SKU、UPC和穩定頁面ID適合作為單欄位主鍵。
• 品牌、型號和顏色可組合成複合鍵。
• 價格、庫存和更新時間不適合作為唯一鍵。
• 同一對象在不同來源中應使用一致的鍵規則。
• 修改主鍵前應評估歷史記錄是否會重複。
• API讀取的結果為已經去重的物化視圖。

文件與附件下載

當抓取結果中包含檔案地址時，Reworkd可以上下載附件，且為此處於異步模式，同時還能儲存檔案類型、檢驗值、來源地址以及儲存相關資訊。此功能很適用於監管公告、招標資料以及產品手冊等。

• 下載PDF、文件以及網頁上提供的其他附件。
• 記錄原始來源與檔案名稱。
• 使用校驗值識別重複或變化檔案。
• 將下載任務與對應數據行關聯。
• 對動態生成或需點擊的檔案執行瀏覽器下載。
• 透過API繼續處理已保存的檔案。

API與開發者能力

組織可以建立 API Key，從外部系統中讀取抓取結果及運行狀態。公開文檔還提供了與 Cookie、本機儲存、審核狀態以及檔案處理相關的介面。

• 獲取指定抓取組的去重結果。
• 查詢最新人工審查狀態和評論。
• 讀取或設定瀏覽器Cookie。
• 讀取或設定瀏覽器本機儲存。
• 透過批量導出下載數據。
• 使用開放介面規範生成用戶端。
• 將結果接入資料庫、分析或模型訓練流程。

瀏覽器調試與可觀測性

平台提供統一的瀏覽器追蹤功能，能將 Reworkd 與 Playwright 的事件、控制台日誌、網路活動以及瀏覽器協定相關的事件呈現在同一個視圖中。此外，還可以比較內聯程式碼的差異，了解修復前後的新增或刪除內容。

• 定位頁面載入超時和資源被阻止。
• 查看控制台腳本錯誤。
• 檢查網路請求、狀態碼和回應變化。
• 對比代理新舊抓取代碼。
• 識別輸出下降來自頁面變化還是運行故障。
• 用即時流查看任務狀態與輸出數量。

適合哪些用戶

• 電商團隊：監控商品、價格、庫存和評價。
• 市場研究團隊：彙總企業、行業和競爭資訊。
• 招聘與人才平台：採集公開職位和公司資料。
• 金融與採購團隊：追蹤公告、招標及監管文件。
• AI團隊：構建訓練、微調及RAG資料集。
• 資料工程團隊：取代大量脆弱的站點專用腳本。
• 創業公司：在沒有爬蟲專職工程師時快速建立管道。

典型應用場景

• 每天同步多個商城的商品價格和可售狀態。
• 從公司目錄提取名稱、行業、團隊和聯絡方式。
• 下載政府網站新增的法規與招標附件。
• 採集職位列表並進入詳情頁補充要求。
• 持續追蹤房地產、車輛或旅行清單的變化。
• 為領域模型準備數百萬行公開網頁數據。
• 監控網站地址、服務說明和經營狀態更新。

產品優勢

• 從需求、代碼生成、運行到修復，覆蓋完整的抓取流程。
• 代碼式抽取比直接讓模型生成數據更容易驗證和復現。
• 內建託管瀏覽器、代理、驗證碼處理和調度。
• 支援分頁、動態內容、詳情頁和檔案下載。
• 去重與更新機制適合長期數據監控。
• 提供API、開放接口規範和開源Harambe SDK。
• Trace與代碼Diff有助於定位生產問題。

使用限制

• 自動生成代碼仍可能遺漏邊界頁面或錯誤字段。
• 網站反爬、登入、地域限制和驗證碼會增加成本。
• 自修復後必須驗證語義是否仍對應原字段。
• 抓取公開網頁也可能受到條款、版權和資料庫權利限制。
• 高併發會增加瀏覽器、代理、流量和驗證碼費用。
• 網站結構差異大時，模板重複使用的效果有限。
• 官方頁面保留過時停用橫幅，產品資訊維護不完全一致。
• 對關鍵數據仍需抽樣和業務規則校驗。

訂閱套餐

公開定價頁面目前列出了Hobby、Pro和Enterprise三個等級。該頁面同時還保留著一則已過時的舊產品停用公告，不過仍可存取新平台的登入頁面、狀態頁面、文件以及後續更新內容。在購買之前，應先向官方確認當前的服務週期。

基礎設施用量價格

除訂閱費外，平台還會根據基礎設施的實際使用量來計算費用。公開頁面上顯示的為常規單價，而企業方案則可依合約要求進行客製化。

定價頁面的提取結果中，並未完整顯示第一項基礎設施費用的欄位標籤，因此不應將其與訂閱費直接相加，以作為固定的月費。在結算之前，應先在帳戶中確認免費額度、最低消費金額以及各項用量的名稱。

如何創建第一個抓取器

1. 註冊Reworkd並創建新的抓取組。
2. 輸入目標網站及需要採集的數據說明。
3. 定義字段名稱、類型、嵌套關係和可選項。
4. 選擇穩定且唯一的去重鍵。
5. 讓代理掃描頁面並生成第一版抓取代碼。
6. 觀看瀏覽器運行並檢查分頁、點擊和詳情頁。
7. 逐行核對輸出是否符合頁面原文。
8. 透過聊天說明缺失欄位或特殊互動。
9. 驗證多種頁面後再保存並啟用調度。

如何上線長期數據管道

1. 確認目標網站允許的訪問方式和頻率。
2. 準備正常、空結果、異常佈局和錯誤頁面樣本。
3. 設定重試、超時、速率限制和併發上限。
4. 配置穩定主鍵並測試新增與更新記錄。
5. 用API把結果寫入暫存區而不是直接覆蓋生產數據。
6. 建立字段完整率、輸出量和失敗率告警。
7. 人工審核自修復後的代碼差異和樣本結果。
8. 記錄模板、代碼和Schema版本。
9. 按月評估代理、計算、驗證碼和儲存成本。

數據品質建議

• 將頁面原始地址與每行結果一起保存。
• 為價格和日期增加格式及範圍校驗。
• 監控每天輸出量的突然上升或下降。
• 對不同頁面類型分別建立測試樣本。
• 定期比較抓取結果與頁面截圖。
• 網站變更後重新驗證字段語義。
• 不要把成功運行等同於數據完全正確。

法律與合規注意事項

企業需要自行確認目標網站的條款、robots規則、版權、資料庫權利、隱私法規以及訪問授權。能被技術讀取的數據，不一定可以自由複製、再發布或用於商業訓練。

• 優先使用公開API或獲得數據所有者的許可。
• 不繞過登入、付費牆和訪問控制獲取未授權內容。
• 限制採集個人身份和敏感資訊。
• 遵守目標網站的訪問頻率要求。
• 保留數據來源、採集時間和刪除流程。
• 對模型訓練用途單獨檢查許可範圍。

GitHub與開源狀態

Reworkd在官方GitHub上公開了AgentGPT、Harambe、Tarsier和Bananalyzer等專案，但用於商業網頁抓取的完整代理、託管基礎設施以及自修復服務並非開源產品。

AgentGPT與現行Reworkd的差異

基本資訊

推薦指數

4.5 / 5。Reworkd適合那些需要維護大量網站抓取器的企業和資料團隊，其具備代碼生成、自修復、去重以及可觀測性等功能，能形成相對完整的處理流程；不過，其使用成本、法律規範以及與官方網站資訊的一致性等方面，都需要仔細評估。

常見問題

Reworkd現在主要做什麼？

當前的核心是讓AI生成並維護網頁抓取代碼，將動態網站和附件轉換為結構化數據。

Reworkd和AgentGPT是什麼關係？

AgentGPT是Reworkd團隊早期的開源通用代理項目，現行商業產品已轉向網頁數據抽取。

需要自己寫爬蟲代碼嗎？

通常不需要，用戶定義目標和Schema後由代理生成代碼，但複雜網站仍可能需要透過聊天指導和人工調試。

網站改版後會自動修復嗎？

平台會檢測失敗並嘗試重新生成代碼，但修復後的欄位語義和資料準確性仍需驗證。

Reworkd有免費套餐嗎？

有，Hobby為每月0美元，公開頁面列出10個併發瀏覽器、30天保留和API訪問。

Pro套餐多少錢？

公開價格為每月99美元，包含50個同時運作的瀏覽器以及90天的資料保留時間，並可設定定時任務與驗證碼處理功能。

基礎設施費用另算嗎？

是，代理流量、瀏覽器計算和反機器人驗證等項目按用量計費，帳戶結算前應核對免費額度。

可以下載PDF附件嗎？

可以，平台支援異步檔案下載並保留來源、檔案類型及校驗資訊。

Reworkd提供API嗎？

提供，可讀取去重輸出、管理Cookie與本地儲存，並透過開放接口規範接入。

Reworkd是開源嗎？

商業平台不開源，但AgentGPT、Harambe、Tarsier和Bananalyzer等官方項目公開。