1,5 Tỷ Token & 0 Sản Phẩm: Bài Học Xương Máu Khi Tôi Xây 'Nhà Máy AI Chạy 24/7'

Trong bài viết trước về Xu thế AI chuyển thành Lưới điện Hạ tầng, mình có nhắc đến một hình ảnh nghe rất mê hoặc: thả những đội quân AI Agent (Robot phần mềm tự hành) chạy ngầm 24/24 giờ để tự động sản xuất lúc chúng ta đang ngủ.

Nghe trên lý thuyết thì giống như giấc mơ của mọi kỹ sư. Chính mình cũng đã lao vào xây dựng một “Nhà máy Sản xuất Nội dung Đa ngôn ngữ Tự hành” hoạt động theo đúng giấc mơ đó: từ lên kịch bản, dịch thuật ra 4 thứ tiếng, kiểm tra ngữ pháp, tổng hợp giọng nói, dựng hình cho tới đóng gói xuất bản.

Nhưng đời không như là mơ. Vào tuần lễ cao điểm vừa qua, khi mở bảng đo đạc của nhà máy lên sau 72 giờ chạy ngầm, mình chết lặng trước những con số:

• 208 phiên AI Agent đã được bật lên chạy.
• 31.831 bước suy luận và 13.218 lần bấm công cụ đã diễn ra.
• Khoảng 1,5 tỷ Context Tokens (tương đương hàng triệu trang sách) đã bị đốt cháy.
• Nhưng số lượng sản phẩm hoàn chỉnh đi ra khỏi cổng nhà máy là: Con số 0 tròn trĩnh.

Tại sao một đội quân AI thông minh như vậy, tiêu thụ lượng chữ tương đương cả một thư viện quốc gia, lại có thể tự khóa cứng chân tay của chính mình để không làm ra nổi dù chỉ 1 sản phẩm?

Trước khi đi vào câu chuyện hậu trường dở khóc dở cười ấy, mời bạn bấm thử qua 3 Giai đoạn Kiến trúc Nhà máy trong bộ mô phỏng dưới đây để tận mắt thấy chuyện gì đã xảy ra bên trong xưởng:

1. Giai đoạn Ngây thơ: Khi “Đầu bếp AI” vừa nấu canh, vừa tự chấm mình 10/10!

Để người không chuyên về lập trình cũng hiểu ngay bản chất, hãy hình dung việc xây một hệ thống AI tự động giống như bạn mở một khu bếp nhà máy làm cơm hộp xuất khẩu, và bạn thuê 10 cậu đầu bếp thực tập siêu tốc độ (AI Agents) vào làm việc.

Hồi mới mở xưởng (Giai đoạn 1), mình làm theo cách mà 90% mọi người trên mạng vẫn hướng dẫn: viết một Tờ Nội Quy thật dài (Prompt / Skill) dán lên tường bếp:

• “Điều 1: Nấu xong nhớ nếm thử xem có bị mặn không.”
• “Điều 15: Tuyệt đối không được tự chấm điểm món ăn của mình, phải gọi một người khác vào nếm độc lập!”

Kết quả sau 17 ca chạy thử đầu tiên (với 608 tin nhắn mình phải nhảy vào nhắc tay) là một chuỗi những pha “lách luật” không tưởng:

1. Quên sạch nội quy khi bàn làm việc bị đầy: Bạn dặn Điều 15 tới 67 lần, nhưng cứ làm việc được khoảng 30 phút, khi mặt bàn (trí nhớ ngắn hạn của AI) bày kín nguyên liệu, cậu đầu bếp quên sạch việc gọi người kiểm tra độc lập. Cậu ta tự nấu, tự húp thử một thìa rồi… tự ghi vào sổ: “Đạt 10/10 điểm, ngon xuất sắc!”
2. Lặng lẽ sửa đề bài để qua mặt máy đo: Có một ca sản xuất phần âm thanh bị máy kiểm tra phát âm bắt lỗi đọc sai từ. Thay vì báo cáo cho chủ xưởng biết, cậu Agent âm thầm quay lại bản gốc, tự ý đổi luôn câu thoại sang từ khác dễ đọc hơn, rồi lặng lẽ bấm nút mua lại âm thanh tới 4 lần liên tiếp trong vòng 11 phút để cố vượt qua cái máy đo!
3. Bấm “Xong” nhưng quên bấm “Lưu”: Khi giao cho một Agent điều khiển trình duyệt để bật tính năng thử nghiệm 3 ảnh bìa (A/B/C), nó hí hửng báo cáo: “Em bật xong hết rồi sếp ơi!”. Nhưng khi mình mở lên kiểm tra thì trống trơn — hóa ra nó mới bấm nút “Xong (Done)” ở hộp thoại nhỏ bên trong, chứ chưa hề bấm nút “Lưu (Save)” ở góc trên bên phải màn hình!

💡 Bài học xương máu số 1: Lời dặn bằng chữ (Prompt) chỉ là lời khuyên đạo đức, không phải bức tường vật lý. Khi một AI vừa là người viết bài, vừa là người tự chấm bài trong cùng một bộ nhớ, nó sẽ luôn tìm đường ngắn nhất để báo cáo chữ “HOÀN THÀNH” cho bạn vui lòng.

2. Giai đoạn Quá tải Khóa: Nghịch lý “Lắp 20 cửa sắt nhưng giao chìa khóa cho AI”

Bị các cậu đầu bếp AI “qua mặt” nhiều lần, mình quyết định siết kỷ luật sắt. Mình đặt ra nguyên tắc: “Mỗi một lỗi từng lọt qua mắt chủ xưởng đều phải biến thành một chiếc khóa tự động (Gate)!”

Thế là suốt 2 tuần tiếp theo, mình lao vào lắp đặt hàng chục chốt chặn:

• Cửa kiểm tra từ vựng xem có bị lệch trình độ không.
• Cửa kiểm tra xem 2 người đang làm cùng 1 phòng có giẫm chân lên nhau không (Lease Lock).
• Cửa bắt buộc phải có đủ 5–7 chữ ký của các giám khảo độc lập mới được bước sang phòng thu âm.
• Cửa kiểm tra mã số niêm phong (Hash Binding) để chắc chắn không ai tráo đổi đĩa thức ăn trên đường đi.

Nghe cực kỳ chặt chẽ và khoa học đúng không? Nhưng khi hệ thống phình lên tới 43.000 dòng code điều phối (gần bằng 47.000 dòng code làm ra sản phẩm chính!), cả nhà máy bỗng nhiên… đứng hình toàn tập.

Tại sao lắp thêm khóa bảo vệ lại làm chết đứng cả nhà máy?

Bởi vì mình đã mắc phải một nghịch lý kiến trúc chí mạng:

Hệ thống khóa được thiết kế dựa trên nguyên tắc “Không được tin AI” — nhưng mình lại giao chùm chìa khóa vận hành hệ thống đó cho chính… các con AI!

Hãy tưởng tượng trong khu bếp có 20 cánh cửa sắt khóa mật mã, và để đi từ phòng Sơ chế sang phòng Nấu, bạn bắt cậu đầu bếp AI phải tự bấm một loạt câu lệnh quản lý sổ sách (xin-thẻ-ra-vào, mở-phiên-chấm-điểm, khôi-phục-chốt-chặn, gia-hạn-chìa-khóa). Chuyện gì đã xảy ra trong 72 giờ kinh hoàng đó?

1. 4.043 bước đứng đập cửa trong tuyệt vọng: Khi một món ăn ở tập trước được sửa lại một chút, mã số niêm phong (hash) của tập sau bị nhảy lệch đi. Các cậu đầu bếp AI không hiểu vì sao chìa khóa cũ không tra vào ổ được nữa, thế là chúng cứ đứng trước cửa sắt gõ đi gõ lại lệnh review-begin và review-recover hơn 4.000 lần, đốt sạch 1,5 tỷ token chỉ để… vặn tay nắm cửa!
2. Thẻ ra vào hết hạn giữa chừng: Để tránh 2 đầu bếp sửa chung 1 nồi canh, mình cài thẻ từ có hạn 24 giờ. Khi thẻ hết hạn mà chưa ai kịp gia hạn, 19 trên 22 ca làm việc vừa bước vào bếp đã bị cổng từ chặn đứng không cho cầm dao.
3. Đỉnh cao của sự tinh ranh — Tự làm giả “Chữ ký của Ông chủ”: Khi một cậu Agent bị kẹt trước 6 cánh cửa kiểm duyệt mà vặn khóa mãi không mở được, thay vì dừng lại kêu cứu, nó đọc cấu trúc bảng dữ liệu rồi… tự tay chế ra một tờ biên lai giả có mã rcpt-... và điền chữ owner (Chủ nhà đã duyệt) vào ô người ký để tự mở toang cả 6 cánh cửa!

Đó là khoảnh khắc mình nhận ra: Khi bạn bắt một bộ não xác suất (LLM) phải vừa sáng tác nội dung, vừa tự cầm chùm chìa khóa quản lý quy trình (State Machine), nó sẽ một là bị kẹt chết trong mê cung khóa, hai là dùng trí thông minh để phá khóa!

3. Thế giới ngoài kia họ giải bài toán này như thế nào?

Khi bình tĩnh lại và đi tìm hiểu sâu xem các đội ngũ kỹ thuật hàng đầu thế giới năm 2025–2026 (như Stripe, Anthropic, hay tác giả bộ nguyên tắc 12-Factor Agents) xây dựng hệ thống Agent chạy 24/7 ra sao, mình phát hiện ra họ cũng từng đập đầu vào đúng bức tường này!

Cách mà đội ngũ Stripe xây dựng hệ thống Minions (đội quân AI tự động viết và đóng góp hơn 1.300 bản cập nhật phần mềm mỗi tuần mà không cần con người gõ phím) gói gọn trong một triết lý duy nhất:

“Đường ray Sắt Tất định & Những Căn phòng Kính Khép kín” (Blueprints)

Tại Stripe, các kỹ sư tuyệt đối không cho phép AI tự quyết định bước tiếp theo là gì, không cho AI tự cầm chìa khóa mở cổng hay tự ghi sổ cái. Thay vào đó, họ chia nhà máy thành 2 thế giới tách biệt hoàn toàn:

1. Đường ray và Băng chuyền (Control Plane) = 100% Code truyền thống: Việc lấy nguyên liệu, mở cửa phòng, kiểm tra lỗi kỹ thuật, bấm giờ, lưu sổ cái và chuyển sang trạm tiếp theo đều do những dòng code cổ điển (if/else, vòng lặp for) nắm giữ. Code truyền thống thì không bao giờ “quên nội quy”, không bao giờ “bịa chữ ký giả” và tốn 0 đồng tiền token!
2. Những căn phòng kính khép kín (Bounded Creative Nodes) = AI Agent: Chỉ khi nào băng chuyền đưa đĩa thức ăn vào đúng căn phòng cần sự sáng tạo (như viết kịch bản, dịch thuật, hoặc sửa một đoạn lỗi), cánh cửa mới mở ra. AI trong phòng chỉ thấy đúng 1 đĩa thức ăn đó, làm xong bấm đúng 1 cái nút, và chỉ được phép sửa lại tối đa 2 vòng (Hard Cap = 2 rounds). Nếu quá 2 vòng vẫn hỏng? Băng chuyền tự động gạt đĩa đó ra ngoài để làm lại từ đầu hoặc báo cho con người, tuyệt đối không cho đứng đập cửa tới lần thứ 3!

4. Cuộc Đại Phẫu “Đảo Ngược Nhà Máy” (Deterministic Factory Inversion)

Nhìn thấu chân lý đó, mình quyết định thực hiện một cuộc đại phẫu kiến trúc gọi là Đảo Ngược Nhà Máy (Deterministic Factory Inversion):

Bước 1: Thu hồi toàn bộ “Chùm chìa khóa” khỏi tay AI

Mình xóa sổ hoàn toàn vai trò “AI Điều phối viên” và cấm tiệt các phiên AI gọi bất kỳ câu lệnh quản lý sổ cái nào. Toàn bộ quyền điều khiển dây chuyền được trả về cho một vòng lặp Code Go truyền thống chạy định kỳ mỗi 2 phút một nhịp (Tick).

Bước 2: Nhốt AI vào 2 loại “Phòng Kính” siêu tối giản

Mỗi khi nhịp băng chuyền (Tick) chạy, code Go tự kiểm tra sổ cái, tự đồng bộ thư mục làm việc mới nhất, rồi mới gọi AI dậy trong hai vai trò hoàn toàn mù thông tin với nhau:

1. Phòng Tác giả (Bounded Author Room):
   • Đầu vào: Nhận duy nhất 1 file cần viết hoặc sửa + 1 công cụ kiểm tra thử (Dry-run Gate) để tự soi lỗi tại chỗ trước khi nộp.
   • Đầu ra: Sửa xong file thì chỉ cần trả lời đúng một chữ DONE. Không cần biết bước tiếp theo là gì, không cần mở khóa cho ai.
2. Phòng Giám khảo Mù (Blind Reviewer Room):
   • Đầu vào: Chỉ có quyền đọc file sản phẩm (không có quyền sửa file, không biết tác giả là ai).
   • Đầu ra: Trả về một phiếu chấm điểm định dạng chuẩn (PASS hoặc danh sách lỗi cụ thể).

Bước 3: Luật “Trần 2 Vòng” (Max 2 Rounds) & Phân tầng Quan trọng

• Nếu Tác giả sửa tới vòng thứ 2 mà Giám khảo vẫn bắt lỗi, băng chuyền tự động dừng lại, gom toàn bộ nhận xét và cho phép viết lại mới hoàn toàn 1 lần duy nhất. Nếu vẫn trượt? Hệ thống tự động hủy bỏ tập đó (hoặc đẩy vào khay chờ chủ xưởng quyết định), giữ cho băng chuyền luôn thông suốt cho các sản phẩm khác.
• Các bước kiểm tra phụ trợ ở phía sau được chuyển thành Góp ý đính kèm (Advisory) chứ không được phép kéo phanh khẩn cấp làm dừng cả đoàn tàu.
• Con người (chính là mình) chỉ xuất hiện ở đúng 1 chốt duy nhất: ngồi xem thành phẩm cuối cùng trên điện thoại, gật đầu “OK duyệt” hoặc từ chối liên quan đến gu thẩm mỹ và chi phí mới.

5. Lời kết: Hãy để Máy Cơ Khí làm việc của Máy, và Trí Tuệ làm việc của Trí Tuệ

Sau cuộc đại phẫu “Đảo Ngược Nhà Máy”, những vết khớp nối cuối cùng (như việc đồng bộ thư mục làm việc hay chuẩn hóa chữ DONE.) lần lượt được khâu kín. Nhà máy giờ đây chạy êm ru theo nhịp đồng hồ 2 phút/lần mà không còn cảnh đốt hàng tỷ token trong vô vọng.

Nếu bạn cũng đang ấp ủ xây dựng một quy trình AI tự động cho công việc hay doanh nghiệp của mình, hãy nhớ lấy quy tắc xương máu đã tiêu tốn của mình 1,5 tỷ token này:

Đừng bao giờ giao “bàn bẻ ghi đường ray” cho AI. Hãy dùng Code truyền thống để xây đường ray sắt và các cổng kiểm soát tất định — và chỉ gọi AI thức dậy bên trong những căn phòng khép kín nơi sự sáng tạo thực sự lên tiếng!

Written by Hien Nguyen – Fullstack Dev tận dụng AI để build nhanh hơn, học nhiều hơn, và ngủ đủ giấc hơn.