Chạy Chatbot Trên Máy Cá Nhân

Nhiều LLM dùng cho ChatGPT, Claude, Perplexity và các nền tảng AI khác cũng có thể chạy cục bộ trên máy cá nhân. Một số model còn có thể tải miễn phí, trong đó có model từ Meta và Google.

Đổi lại, người dùng phải tự lo cập nhật và chấp nhận mất bớt sự tiện như khi chỉ mở app ChatGPT. Bù lại, mỗi người có một hệ thống AI riêng, riêng tư hơn, và việc bắt đầu không quá khó.

LLM có thể chạy trên Windows, macOS và Linux. macOS thường được nhiều người chọn hơn vì hệ thống đồng nhất và ổn định hơn, còn Apple Silicon gộp bộ xử lý, GPU và bộ nhớ vào cùng một chip.

Về phần cứng, 8 GB là mức tối thiểu, nhưng 16 GB tốt hơn. Nếu muốn dùng model lớn và nhanh nhất, cần 32 GB trở lên. Muốn kết quả tốt nhất thì cần nhiều bộ nhớ trên GPU, và phần này nếu trên 8 GB sẽ tạo khác biệt.

Nếu dùng Windows, GPU rời của Nvidia giúp nhiều. Người dùng còn cần một phần mềm để chạy model và chính model đó. Với người mới, LM Studio Bionic được xem là lựa chọn app tốt nhất trên Windows và macOS, và miễn phí; các lựa chọn khác gồm vLLM, Llama.cpp, Ollama và GPT4All.