OpenAI Đưa Decisions API Tới Mọi Khách Hàng

Nikunj Handa, trưởng nhóm sản phẩm API của OpenAI, nói đồng nghiệp thấy Jev và muốn có phiên bản riêng. Nhóm đã lấy ChatGPT Luna rồi chỉnh lại để model chạy suy luận nhanh hơn và giảm chi phí.

Handa nói điểm đáng chú ý nhất của Decisions API là tốc độ, khi thời gian rút từ 1 đến 3 giây xuống 100, 120, 180 mili giây. Ông cũng nói sau này có thể có huấn luyện riêng để model tốt hơn, nhưng hiện tại Luna vẫn đủ để làm việc.

Trong các bản dùng thử đầu tiên với Box, Datadog, Ramp và Speak, kỹ sư dùng API này để thay LLM bằng lưu lượng cao hơn. Andrew Hsu, giám đốc kỹ thuật của Speak, nói thời gian giữa các hành động giảm từ 1.4 giây xuống 0.13 giây.

OpenAI cũng dùng sản phẩm này để làm trợ lý giọng nói Dots phản hồi nhanh hơn. Công ty thêm dạng giọng nói và hình ảnh vào bản công khai, đồng thời phân bổ tài nguyên chạy suy luận theo từng vùng để giảm độ trễ trên khắp thế giới.

TypeSafe, startup do một cựu nhà nghiên cứu ở phòng thí nghiệm tiên phong sáng lập, đã thành công ty 7,6 tỉ đô la nhờ model Jev. Diogo Almeida nói ông không tin vào các phép đo và khuyên người dùng thử model trong công việc của mình, dù TypeSafe vẫn công bố bảng xếp hạng mới tuần trước. Các phép đo công khai như AIM System One Index và Artificial Analysis Decision Index thường nghiêng về D1 Ultra của Liquid và Base Lab’s Elephant-1; Jev mới nhất đứng thứ 7 và thứ 3 trên hai chỉ số này, còn model quyết định của OpenAI đứng thứ 8 và thứ 14.