โมเดลภาษาขนาดใหญ่เป็นระบบเชิงสถิติที่ทำนายคำถัดไปที่น่าจะเป็น จึงไม่เสถียรด้านหนึ่งและซ้ำซากอีกด้านหนึ่ง พรอมต์เดียวกันอาจได้คำตอบต่างกันในแต่ละรอบ แต่คำตอบก็เอนไปทางถ้อยคำที่เป็นแบบฉบับที่สุด AI เอเจนต์ซ้อนขั้นตอนแบบนี้หลายชั้น ผลทั้งสองจึงขยายตัว นักการตลาดบริหารจัดการได้ แต่ภาวนาให้หายไปไม่ได้
ประเด็นสำคัญ
- ความไม่เสถียรและความซ้ำซากมีต้นเหตุเดียวกัน คือโมเดลสุ่มเลือกจากความน่าจะเป็นที่เรียนรู้มาจากข้อความจำนวนมหาศาล
- ความแปรผันส่วนใหญ่อยู่ที่ถ้อยคำและการเลือกเล็ก ๆ น้อย ๆ แก่นของผลลัพธ์ยังอยู่ใกล้ค่าเฉลี่ยของสิ่งที่โมเดลเคยเห็น
- เอเจนต์ทำให้ปัญหาทวีคูณ เพราะแต่ละขั้นตอนต่อยอดจากขั้นก่อนหน้า และข้อผิดพลาดเล็ก ๆ ก็สะสมขึ้น
- การตลาดเสียหายสองต่อ คือข้อเท็จจริงที่เชื่อถือไม่ได้ และคอนเทนต์ทั่วไปที่ฟังดูเหมือนคู่แข่งทุกราย
- ทางแก้คือการออกแบบ ไม่ใช่ความหวัง ให้โมเดลอิงข้อมูลจริง ทดสอบซ้ำหลายรอบ เพิ่มการตรวจทานโดยคน และเขียนบรีฟให้เน้นสิ่งที่ทำให้แบรนด์ของคุณแตกต่าง
ทำไมโมเดลภาษาจึงไม่เสถียร
โมเดลภาษาไม่ได้ค้นหาคำตอบ แต่ให้คะแนนคำถัดไปที่เป็นไปได้แล้วเลือกหนึ่งคำ โดยมักตั้งใจใส่ความสุ่มเข้าไปเล็กน้อย เมื่อเปลี่ยนค่าความสุ่ม ถ้อยคำในพรอมต์ไม่กี่คำ หรือบริบทโดยรอบ เส้นทางก็เปลี่ยนได้ โมเดลยังต่างกันตามเวอร์ชัน และผู้ให้บริการก็อัปเดตอยู่เรื่อย ๆ เวิร์กโฟลว์ที่ใช้ได้ดีเมื่อเดือนก่อนอาจทำงานต่างไปในตอนนี้
แม้ลดความสุ่มลงแล้ว ผลลัพธ์ก็ยังอาจต่างกันเล็กน้อยในแต่ละรอบ และงานยาว ๆ จะขยายความต่างนั้น ให้มองแต่ละรอบเป็นตัวอย่างหนึ่ง ไม่ใช่ข้อเท็จจริง
ทำไมเอเจนต์จึงทำให้แย่ลง
เอเจนต์คือโมเดลที่วางแผน เรียกใช้เครื่องมือ อ่านผลลัพธ์ แล้วลงมือทำอีกครั้ง แต่ละขั้นขึ้นกับขั้นก่อนหน้า ถ้าขั้นที่สามคลาดเล็กน้อย ขั้นที่สี่ก็สร้างบนข้อผิดพลาดนั้น ยิ่งงานยาว โอกาสที่ทุกอย่างจะถูกต้องก็ยิ่งลดลง เหมือนสูตรอาหารสิบขั้นตอนที่พลาดง่ายกว่าสูตรสองขั้นตอน เอเจนต์ยังอาจวนลูป ลืมคำสั่งก่อนหน้าเมื่อบริบทเต็ม หรือเลือกเครื่องมือผิด
ทำไมโมเดลจึงให้ผลลัพธ์ซ้ำเดิม
โมเดลที่ฝึกด้วยข้อความจำนวนมหาศาลเรียนรู้ว่าอะไรพบบ่อย เมื่อต้องเลือก ตัวเลือกที่น่าจะเป็นที่สุดก็คือตัวเลือกที่เป็นแบบฉบับที่สุดด้วย ผลคืองานเขียนที่ลื่นไหล ปลอดภัย และกลาง ๆ คือประโยคเปิดเดิม ๆ โครงสร้างเดิม ๆ และวลีอย่าง "ปลดล็อกพลังของ" ลองขอแท็กไลน์สิบอัน หลายอันจะแทบเป็นฝาแฝดกัน และถ้านักการตลาดร้อยคนใช้โมเดลเดียวกันกับพรอมต์ที่คล้ายกัน ผลลัพธ์ก็จะเข้าใกล้กัน
นี่ไม่ใช่บั๊กที่ใครลืมแก้ แต่เป็นสิ่งที่ระบบซึ่งสร้างมาเพื่อทำนายสิ่งที่น่าจะเป็นย่อมทำ ความแปรผันกับความซ้ำซากอยู่ร่วมกันได้ คือถ้อยคำเปลี่ยนไปแต่ไอเดียยังเดิม
สิ่งนี้มีความหมายอย่างไรต่อการตลาด
ข้อเท็จจริงคลาดเคลื่อน
โมเดลอาจระบุตัวเลข วันที่ หรือข้อกล่าวอ้างที่ฟังดูถูกแต่ไม่จริง OpenAI เผยแพร่คำอธิบายของตนเองว่าทำไมโมเดลภาษาจึงเกิดการหลอน (hallucinate) คู่มือของเราเรื่อง การตรวจคอนเทนต์ที่ AI เขียนก่อนเผยแพร่ ครอบคลุมวิธีตรวจในทางปฏิบัติ
แบรนด์กลืนกันไปหมด
หากคู่แข่งทุกรายขอให้โมเดลคิด "ไอเดียแคมเปญที่สนุกและจริงใจ" ไอเดียก็จะคล้ายกัน การวางตำแหน่งแบรนด์คือการแตกต่าง และค่าเฉลี่ยทางสถิติแตกต่างไม่ได้ตามนิยาม
รายงานเปลี่ยนเมื่อรันซ้ำ
หากเอเจนต์สร้างรายงานจากความจำหรือจากข้อความที่วางมามากเกินไป รอบที่สองอาจจัดอันดับต่างออกไป ดูตัวอย่างจริงได้ใน สกิลเด็คแบรนด์เมื่อมีและไม่มีตัวเชื่อมต่อ SOMIN MCP
ทีมจะลดความไม่เสถียรและความซ้ำซากได้อย่างไร
- ให้โมเดลอิงข้อมูลจริง ให้เครื่องมือค้นหาและนับ แล้วให้โมเดลเขียนจากผลลัพธ์ นี่คือแนวคิดเบื้องหลัง context engineering สำหรับการตลาด
- อย่าให้ตัวเลขอยู่ในหัวโมเดล การคำนวณและการจัดอันดับควรอยู่ในโค้ดหรือฐานข้อมูล
- ทดสอบมากกว่าหนึ่งครั้ง รันงานสำคัญหลายรอบแล้วเปรียบเทียบ ความต่างที่มากชี้ว่าควรเพิ่มการตรวจสอบตรงไหน
- แบ่งงานยาวเป็นขั้นตอนเล็ก ๆ และตรวจสอบหลังแต่ละขั้น
- ป้อนสิ่งที่เป็นของคุณ ภาษาลูกค้าจริง น้ำเสียงของคุณ และหลักฐานของคุณ ทำให้โมเดลมีสิ่งอื่นให้ใช้นอกเหนือจากค่าเฉลี่ย
- ขอหลายตัวเลือกแล้วค่อยเลือก มองโมเดลเป็นแหล่งของร่างงาน คนเป็นผู้ตัดสินใจ
- ให้คนอยู่ในกระบวนการ สำหรับข้อกล่าวอ้าง ความเสี่ยงทางกฎหมาย และทุกอย่างที่ลูกค้าจะเห็น
โมเดลรุ่นใหม่จะแก้ปัญหานี้ได้ไหม
อาจลดข้อผิดพลาดและเพิ่มความสม่ำเสมอได้ แต่ไม่น่าจะขจัดพฤติกรรมพื้นฐานได้ เพราะการทำนายจากความน่าจะเป็นคือหลักการทำงานของเทคโนโลยีนี้ จึงควรวางแผนรับมือ แทนที่จะรอให้มันหายไปเอง
FAQ
การที่ LLM เป็นโมเดลเชิงสถิติหมายความว่าอย่างไร
หมายความว่าโมเดลทำนายข้อความชิ้นถัดไปที่น่าจะเป็นที่สุดจากรูปแบบในข้อมูลที่ใช้ฝึก มันไม่ได้ให้เหตุผลจากหลักการพื้นฐาน หรือค้นข้อเท็จจริง เว้นแต่จะได้รับเครื่องมือให้ทำเช่นนั้น
ทำไมพรอมต์เดียวกันจึงได้คำตอบต่างกัน
เพราะโมเดลสุ่มเลือกจากการแจกแจงความน่าจะเป็น ความต่างเล็กน้อยของการตั้งค่า บริบท หรือเวอร์ชันของโมเดลเปลี่ยนคำที่มันเลือกได้
ทำไมงานเขียนของ AI จึงฟังดูเหมือนกันหมด
ถ้อยคำที่น่าจะเป็นที่สุดก็คือถ้อยคำที่พบบ่อยที่สุด หากไม่มีข้อมูลเฉพาะเกี่ยวกับแบรนด์ของคุณ โมเดลจะถอยไปหาค่าเฉลี่ย
ปล่อยให้ AI เอเจนต์ทำงานโดยไม่มีคนดูแลปลอดภัยไหม
เฉพาะงานที่เสี่ยงต่ำและตรวจสอบได้ งานที่เกี่ยวกับงบ ข้อกล่าวอ้าง หรืองานของลูกค้าต้องมีการตรวจสอบหรือให้คนอนุมัติ
SOMIN รับมือกับเรื่องนี้อย่างไร
แนวทางของ SOMIN คือเก็บข้อมูลและการนับไว้ในแพลตฟอร์ม แล้วให้เครื่องมือ AI อย่าง Claude อ่านผลลัพธ์ผ่าน MCP ดู AI เอเจนต์ของ SOMIN
