Nhận dự án mới tháng 11/2026 · phản hồi trong ngày làm việcZalo · GitHub

Chạy mô hình tại máyC++

ggml-org / llama.cpp · repo mã nguồn mở

llama.cpp là bộ máy suy luận mô hình ngôn ngữ viết bằng C/C++, chạy trên CPU và nhiều loại GPU, là nền của nhiều ứng dụng chạy mô hình tại máy.

llama.cpp làm gì

llama.cpp là bộ máy suy luận mô hình ngôn ngữ viết bằng C/C++, chạy trên CPU và nhiều loại GPU, là nền của nhiều ứng dụng chạy mô hình tại máy.

Chạy mô hình ngôn ngữ và mô hình tạo ảnh ngay trên máy tính hoặc máy chủ riêng, dữ liệu không rời khỏi công ty.

Nên dùng llama.cpp khi nào

Hợp khi anh chị cần kiểm soát sâu về hiệu năng và định dạng mô hình.

Lưu ý trước khi dùng

  • Giấy phép GitHub nhận diện: MIT. Anh chị đọc tệp LICENSE của kho để biết điều kiện cụ thể.
  • Lần đẩy mã gần nhất ghi nhận: 19/11/2026. Trước khi đưa vào việc chính, anh chị xem mục Issues và Releases trên GitHub để biết tình trạng bảo trì.
  • Thử trên máy riêng hoặc máy chủ thử trước, không cài thẳng lên hệ thống đang có dữ liệu khách.

Repo cùng nhóm Chạy mô hình tại máy

Chạy mô hình tại máyMIT

ollama /ollama

Ollama tải và chạy mô hình ngôn ngữ mở trên máy tính cá nhân bằng một lệnh, kèm API tại máy.

Go★ 188 nghìnXem chi tiết →
Chạy mô hình tại máy

open-webui /open-webui

Open WebUI là giao diện trò chuyện tự cài cho Ollama và các API tương thích OpenAI, có quản lý người dùng và tra cứu tài liệu.

Svelte★ 159 nghìnXem chi tiết →
Chạy mô hình tại máyGPL-3.0

Comfy-Org /ComfyUI

ComfyUI là giao diện dạng nút nối để dựng quy trình tạo ảnh và video bằng mô hình khuếch tán.

Python★ 148 nghìnXem chi tiết →

Nguồn: GitHub REST API cho kho ggml-org/llama.cpp, kiểm ngày 19/11/2026. Mô tả tiếng Việt do tôi viết từ README của kho; tên và nhãn hiệu thuộc về chủ sở hữu.

Khoá Claude miễn phí cho người không rành kỹ thuật

8 bài, làm theo từng bước: từ lần đầu mở Claude đến nối Zalo, bảng tính và email. Để lại email, nhận bài 1 ngay.