TypeSafe AI Ra Jev Để Đánh Giá Lựa Chọn Trong Phần Mềm

TypeSafe AI gọi Jev là một model khác với các chatbot thông thường. Đồng sáng lập kiêm giám đốc điều hành Diogo Almeida từng làm ở OpenAI và là một trong các tác giả của nghiên cứu InstructGPT, nền tảng cho ChatGPT.

Cách làm của Jev là để nhà phát triển định nghĩa câu hỏi và các câu trả lời có thể có, rồi model chấm điểm những lựa chọn đó. Trong ví dụ của công ty, một khách hàng gửi thư tới cửa hàng trực tuyến vì bị tính tiền hai lần và xin hoàn tiền cho lần thanh toán thứ hai.

Trước khi có người xử lý, hệ thống phải phân loại xem yêu cầu thuộc về thanh toán, giao hàng hay trả hàng. Nó cũng phải biết khách hàng muốn nhận tiền lại hay chỉ muốn lời giải thích. Khi kết nối phần mềm của cửa hàng với Jev, phần mềm gửi văn bản của khách hàng vào model và nhận lại nhãn cùng xác suất, thay vì một lá thư trả lời.

Phần mềm sau đó có thể gắn các quy tắc cố định. Vấn đề thanh toán sẽ chuyển tới kế toán, yêu cầu hoàn tiền sẽ bị đánh dấu, còn khi nhãn chưa rõ thì nhân viên sẽ xem lại. Jev chỉ đưa ra đánh giá, còn phần mềm quyết định việc tiếp theo theo các quy tắc đã lập.

Công ty nói Jev trả lời trong 70 đến 500 mili giây, nhanh hơn nhiều lần so với cả những model ngôn ngữ hiện tại nhanh nhất. Để đạt được điều đó, model bỏ qua việc tạo văn bản từng bước và tính nhiều đầu ra cùng lúc; thêm nhiều câu hỏi trong cùng một lần gọi hầu như không làm tăng thời gian phản hồi.

TypeSafe cho biết cách này có thể được dùng trước mỗi phản hồi của một trợ lý AI, như kiểm tra bản nháp có mâu thuẫn với cuộc trò chuyện trước đó không, hay có đang đòi hoàn tiền khi tài khoản khách hàng không ghi nhận hay không. Công ty cũng nêu thêm các ứng dụng trong bán hàng và dịch vụ khách hàng, như phát hiện ý định mua, phân loại yêu cầu theo chủ đề, hoặc xác định khi nào cần người thật tiếp quản.

Tuy vậy, các model ngôn ngữ thông thường cũng có thể trả ra các nhóm có sẵn và cấu trúc dữ liệu. OpenAI có Structured Outputs cho đúng việc này. Vì vậy, chỉ có định dạng trả lời có cấu trúc thì chưa đủ để làm Jev khác biệt; model này muốn thắng phải xử lý các việc đó không chỉ nhanh hơn hoặc rẻ hơn, mà còn đủ tốt về chất lượng.