Mô hình ngôn ngữ lớn là hệ thống thống kê: chúng dự đoán những từ tiếp theo có khả năng cao. Điều đó khiến chúng vừa thiếu ổn định theo một kiểu, vừa lặp lại theo một kiểu khác. Cùng một prompt có thể cho đáp án khác nhau mỗi lần chạy, nhưng các đáp án vẫn trôi về cách diễn đạt phổ biến nhất. Tác tử AI xếp chồng nhiều bước như vậy, nên cả hai hiệu ứng đều lớn dần. Marketer có thể kiểm soát điều này, nhưng không thể xua nó đi bằng mong muốn.
Những điểm chính
- Sự thiếu ổn định và sự giống nhau có chung một nguyên nhân gốc: mô hình lấy mẫu từ các xác suất học được từ lượng văn bản khổng lồ.
- Sự khác biệt chủ yếu nằm ở cách diễn đạt và những lựa chọn nhỏ. Phần cốt lõi của kết quả vẫn bám sát mức trung bình của những gì mô hình đã thấy.
- Tác tử làm vấn đề nhân lên, vì mỗi bước dựa trên bước trước và các lỗi nhỏ cộng dồn.
- Marketing chịu thiệt hai lần: dữ kiện thiếu tin cậy, và nội dung chung chung nghe giống mọi đối thủ.
- Cách xử lý là thiết kế, không phải hy vọng: neo mô hình vào dữ liệu thật, thử nghiệm nhiều lần, thêm khâu con người rà soát và đưa vào brief những gì làm thương hiệu của bạn khác biệt.
Vì sao mô hình ngôn ngữ thiếu ổn định?
Mô hình ngôn ngữ không tra cứu câu trả lời. Nó chấm điểm các từ tiếp theo có thể có rồi chọn một từ, thường kèm một mức ngẫu nhiên có chủ đích. Đổi thiết lập ngẫu nhiên, vài từ trong prompt hoặc ngữ cảnh xung quanh, và hướng đi có thể thay đổi. Các mô hình cũng khác nhau giữa các phiên bản, và nhà cung cấp liên tục cập nhật. Một quy trình chạy tốt tháng trước có thể cho kết quả khác bây giờ.
Ngay cả khi giảm độ ngẫu nhiên, kết quả vẫn có thể lệch đôi chút giữa các lần chạy, và các tác vụ dài khuếch đại điều đó. Hãy coi mỗi lần chạy là một mẫu, không phải một sự thật.
Vì sao tác tử khiến điều này tệ hơn?
Tác tử là một mô hình biết lập kế hoạch, gọi công cụ, đọc kết quả rồi hành động tiếp. Mỗi bước phụ thuộc vào bước trước. Nếu bước ba hơi lệch, bước bốn xây trên lỗi đó. Qua một tác vụ dài, xác suất mọi thứ đều đúng giảm xuống, cũng như một công thức mười bước dễ hỏng hơn công thức hai bước. Tác tử còn có thể lặp vòng, quên các chỉ dẫn trước đó khi ngữ cảnh đầy dần, hoặc chọn sai công cụ.
Vì sao mô hình cứ tạo ra những thứ giống nhau?
Một mô hình được huấn luyện trên khối văn bản rất lớn sẽ học được điều gì là phổ biến. Khi phải chọn, lựa chọn có xác suất cao nhất cũng là lựa chọn điển hình nhất. Kết quả là lối viết trơn tru, an toàn, trung bình: cùng kiểu mở đầu, cùng cấu trúc, cùng những cụm như "khai phá sức mạnh của". Yêu cầu mười tagline thì nhiều câu sẽ gần như song sinh. Cho một trăm marketer dùng cùng một mô hình với prompt tương tự, kết quả của họ sẽ hội tụ.
Đây không phải lỗi mà ai đó quên sửa. Đó là bản chất của một hệ thống được xây để dự đoán điều có khả năng xảy ra. Sự khác biệt và sự giống nhau có thể cùng tồn tại: cách diễn đạt thay đổi trong khi ý tưởng vẫn như cũ.
Điều này có ý nghĩa gì với marketing?
Dữ kiện bị lệch
Mô hình có thể nêu một con số, ngày tháng hoặc nhận định nghe có vẻ đúng nhưng không đúng. OpenAI đã công bố lời giải thích riêng về lý do mô hình ngôn ngữ gây ra ảo giác. Hướng dẫn của chúng tôi về kiểm tra nội dung AI trước khi phát hành trình bày các bước kiểm tra thực tế.
Thương hiệu nhòe vào nhau
Nếu mọi đối thủ đều yêu cầu mô hình đưa ra "một ý tưởng chiến dịch vui nhộn, chân thực", các ý tưởng sẽ hội tụ. Định vị là việc khác biệt. Theo định nghĩa, một mức trung bình thống kê không thể khác biệt.
Báo cáo thay đổi khi chạy lại
Nếu một tác tử dựng báo cáo từ trí nhớ hoặc từ quá nhiều văn bản được dán vào, lần chạy thứ hai có thể xếp hạng khác đi. Xem skill brand deck có và không có trình kết nối SOMIN MCP để có ví dụ thực tế.
Các nhóm có thể giảm sự thiếu ổn định và sự giống nhau bằng cách nào?
- Neo mô hình vào dữ liệu thật. Để công cụ tìm kiếm và đếm, còn mô hình viết về kết quả. Đây là ý tưởng đằng sau context engineering cho marketing.
- Đừng để con số nằm trong đầu mô hình. Tính toán và xếp hạng nên nằm trong mã hoặc cơ sở dữ liệu.
- Thử nhiều hơn một lần. Chạy các tác vụ quan trọng vài lần rồi so sánh. Chênh lệch lớn cho thấy cần thêm khâu kiểm tra ở đâu.
- Chia công việc dài thành các bước nhỏ và kiểm tra sau mỗi bước.
- Cung cấp những gì thuộc về bạn. Ngôn ngữ khách hàng thật, giọng điệu và bằng chứng của bạn cho mô hình thứ khác ngoài mức trung bình để làm việc.
- Xin nhiều phương án rồi chọn. Hãy coi mô hình là nguồn bản nháp. Con người quyết định.
- Giữ con người trong vòng lặp với các nhận định, rủi ro pháp lý và mọi thứ khách hàng sẽ nhìn thấy.
Các mô hình mới hơn có khắc phục được không?
Chúng có thể giảm lỗi và cải thiện tính nhất quán. Nhưng khó có khả năng loại bỏ hành vi nền tảng, vì dự đoán từ xác suất chính là cách công nghệ này vận hành. Hãy lên kế hoạch cho nó thay vì chờ nó tự biến mất.
FAQ
LLM là một mô hình thống kê nghĩa là gì?
Nghĩa là mô hình dự đoán đoạn văn bản tiếp theo có khả năng cao nhất dựa trên các mẫu trong dữ liệu huấn luyện. Nó không suy luận từ nguyên lý đầu tiên hay tra cứu dữ kiện, trừ khi được cấp công cụ để làm vậy.
Vì sao cùng một prompt lại cho câu trả lời khác?
Vì mô hình lấy mẫu từ một phân phối xác suất. Những khác biệt nhỏ về thiết lập, ngữ cảnh hoặc phiên bản mô hình làm thay đổi từ nó chọn.
Vì sao văn do AI viết nghe đều giống nhau?
Cách diễn đạt có khả năng cao nhất cũng là cách phổ biến nhất. Nếu thiếu đầu vào cụ thể về thương hiệu của bạn, mô hình sẽ quay về mức trung bình.
Có an toàn khi để tác tử AI chạy không giám sát không?
Chỉ với các tác vụ rủi ro thấp và kiểm tra được. Bất cứ thứ gì liên quan đến chi tiêu, nhận định hoặc công việc của khách hàng đều cần kiểm tra hoặc có người duyệt.
SOMIN xử lý vấn đề này như thế nào?
Cách tiếp cận của SOMIN là giữ dữ liệu và việc đếm trong nền tảng, rồi để các công cụ AI như Claude đọc kết quả qua MCP. Xem tác tử AI của SOMIN.
Nguồn
- OpenAI: Vì sao mô hình ngôn ngữ gây ra ảo giác
- Các trang của SOMIN: tác tử AI, context engineering cho marketing và máy chủ SOMIN MCP.
