Thử AI Cục Bộ Trên Mac Studio Và Windows

Người này nói đã cài các LLM cục bộ trên Mac Studio và đang thử nghiệm trên cả máy Mac lẫn Windows. Cách này được xem là hấp dẫn hơn vì dữ liệu cá nhân không phải đưa lên cloud.

Trên M5 Ultra Mac Studio có 256GB bộ nhớ hợp nhất, Hermes Agent có thể chạy gần như bất kỳ model nào. Hermes là ứng dụng AI mã nguồn mở, tự lưu trữ, chạy trên macOS, Windows và Linux, và miễn phí nếu chỉ dùng LLM cục bộ.

Người này chọn model Qwen 3.8 Flash Next, một model 125 tỉ tham số với dung lượng khoảng 105GB. Người này cũng có kế hoạch thử các model Qwen nhỏ hơn trên M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 dùng bộ xử lý AMD Strix Halo, rồi đến RTX Spark.

Việc cài Hermes và Qwen không mất nhiều thời gian, và có thể điều khiển qua điện thoại bằng Telegram. Công việc thử nghiệm vẫn đang tiếp tục.