Do Xuan Loc
Tại Sao Agent 'Thông Minh' Vẫn Thường Fail Trong Production?
Demo agent trả lời mạch lạc, giải quyết happy path nhanh. Nhưng khi khách hàng thật đề cập credit $200 từ chuyến trước, muốn đổi ngày bay, hỏi thêm túi hành lý thứ hai — agent dễ mất context, áp dụng sai rule, hoặc tạo booking không tồn tại. Hậu quả: mất tiền, khiếu nại, hoặc human phải nhảy vào cứu.
Vấn đề không nằm ở model. Mà ở thiếu business context sâu (SOP, escalation rule, hệ thống thật), thiếu cơ chế phân định rõ deterministic logic (code) với flexible reasoning (LLM), và eval chỉ dựa benchmark chung thay vì outcome thực tế của công ty đó.
Bỏ qua ingest context thực để 'ship nhanh' thường dẫn đến 3-5× thời gian fix sau launch. Blueprint + review 1-2 ngày có thể tiết kiệm hàng tuần rework và rủi ro production.
Grounding Bằng Dữ Liệu Thực Và Business Context — Bắt Buộc Hay Nice-to-Have?
Agent tốt bắt đầu từ việc "hiểu công ty này vận hành ra sao". Conversation history thật, topic discovery, knowledge base, SOP, API contract, và definition của "kết quả tốt" phải được đưa vào blueprint trước khi sinh code/prompt.
Không grounding → agent tạo hành vi trông hợp lý nhưng sai với policy nội bộ hoặc flow thực. Nhiều team bỏ qua bước này vì "model mạnh sẽ tự hiểu". Thực tế cho thấy: càng mạnh model, càng cần context chính xác để không hallucinate theo kiểu tự tin.
- Happy path, prompt ngắn gọn
- Eval trên benchmark chung (SWE-Bench/GPQA)
- Không có side-effect thật
- User trong loop, dễ rollback bằng chat
- Edge case + business rule phức tạp
- Eval calibrated trên outcome công ty (resolution, escalation, CSAT)
- Action có consequence (DB, payment, email)
- Detached execution, cần policy + audit + steer
Prompt-vs-Code: Quyết Định Nào Ảnh Hưởng Đến Độ Tin Cậy Và Chi Phí?
Prompt linh hoạt, nhanh thay đổi, nhưng khó lock behavior nhất quán. Code cho control, validation, side-effect rõ ràng, nhưng dễ trở thành IVR nếu lạm dụng.
Production-grade agent thường hybrid: LLM quyết định intent/route + giải thích, code thực thi action có side-effect (update DB, gọi payment, gửi email). Conductor và các nền tảng tương tự giúp team phân tích "phần nào nên là code" dựa accumulated deployment pattern.
Trade-off: prompt nhanh cho MVP, nhưng production cần đầu tư boundary rõ và test harness cho phần deterministic.
- 11. Ingest ContextCustomer convos, SOPs, KB, API contract, success definition
- 22. Blueprint + ReviewGoals, scope, flows, test cases, knowledge refs — có human approve
- 33. Hybrid ImplementLLM cho reasoning/route, code cho deterministic action + validation
- 44. Production EvalTest case từ business data + calibrated LLM evaluator
- 55. Deploy + Continuous LoopTrace, RCA fail, recommend fix, hot-reload, feed signal back
Eval Loop Từ Production Signal — Benchmark Chung Đủ Không?
SWE-Bench hay GPQA không nói lên agent của bạn xử lý khách hàng hủy chuyến bay + credit như thế nào. Cần test case do business context sinh ra, evaluator calibrated trên outcome thực (resolution rate, CSAT, escalation rate), và root-cause analysis khi fail (blueprint? prompt? tool? code? knowledge?).
Sau launch, mọi tương tác production trở thành signal cho iteration: trace decision, đề xuất fix, hot-reload và re-eval ngay. Không có loop này, agent "cải thiện" chỉ là ảo tưởng.
Nên Làm Gì Khi Xây Agent Production?
- Bắt đầu bằng ingest + blueprint có review, không nhảy thẳng sinh agent.
- Xác định rõ layer: LLM cho reasoning, code cho consequence-bearing action.
- Xây eval từ data thật + metric business, không chỉ pass/fail chung.
- Thiết kế feedback loop sau launch ngay từ ngày 1 (observability, RCA, pattern reuse).
- Chọn specialist/fast model cho subtask, frontier chỉ khi cần judgment phức tạp — routing là chìa khóa cost control.
Kết luận thực dụng: model mới ra hàng tuần không giải quyết vấn đề production. Giải pháp nằm ở quy trình, context grounding và vòng lặp cải tiến liên tục. Team nào đầu tư vào 3 thứ này sẽ ship agent có ROI thực, thay vì nợ kỹ thuật và chi phí bất ngờ.