NadirClaw là một bộ định tuyến LLM tiết kiệm chi phí mã nguồn mở, hoạt động như proxy ngay trên máy bạn để tự động gửi prompt đơn giản tới mô hình rẻ hơn và prompt phức tạp tới mô hình cao cấp. Dự án này dành cho lập trình viên và nhóm nhỏ đang dùng Claude Code, Cursor, Codex hay OpenClaw, muốn giảm 40-70% hóa đơn API AI mà không phải hy sinh chất lượng. Điểm mấu chốt là toàn bộ quá trình chạy local, API key không rời khỏi máy và không phụ thuộc trung gian bên thứ ba.

Thank you for reading this post, don't forget to subscribe!

Những điểm chính

• NadirClaw phân loại từng prompt trong khoảng 10ms và tự động định tuyến tới mô hình đủ dùng, sau đó xác minh và leo thang nếu cần, giúp giảm 40-70% chi phí API AI.
• Đây là proxy drop-in tương thích cả OpenAI lẫn Anthropic, hoạt động trực tiếp với Claude Code, Cursor, Continue, Codex, OpenClaw và nhiều công cụ khác.
• Phiên bản mã nguồn mở NadirClaw miễn phí cho mục đích phi thương mại, chạy tự host, không có trung gian, API key không bao giờ rời máy.
• Kiến trúc Route – Verify – Escalate dùng ngưỡng chấp nhận 0.80, giúp bảo toàn chất lượng so với việc luôn dùng mô hình đắt nhất.
• Bản Pro của Nadir bổ sung classifier huấn luyện sẵn, verifier DeBERTa, dashboard đội nhóm và SSO, nhưng bạn có thể dùng miễn phí bản OSS nhiều tính năng.

NadirClaw là gì và giải quyết bài toán chi phí AI như thế nào?

NadirClaw là một bộ định tuyến yêu cầu LLM tự host, dùng để quyết định nên gửi mỗi prompt đến mô hình nào. Thay vì đẩy toàn bộ lưu lượng vào model cao cấp, nó dựa vào insight đơn giản: trong các phiên coding điển hình, 60-70% prompt là những việc vặt như đọc file, trả lời ngắn, định dạng JSON, và chúng hoàn toàn xử lý tốt bằng mô hình rẻ hơn 10-20 lần.

README đưa ra ví dụ cụ thể: 5 yêu cầu gồm 2 phép toán, 1 định dạng JSON, 1 refactor auth và 1 debug race condition. Toàn bộ nếu gửi lên premium tốn 1,37 USD, nhưng khi qua NadirClaw chỉ còn 0,549 USD, tiết kiệm 60% chỉ với 3 trên 5 prompt được định tuyến rẻ hơn. Đó chính là lý do dự án tuyên bố giảm 40-70% chi phí API AI.

Kiến trúc Route – Verify – Escalate hoạt động ra sao?

Mỗi yêu cầu qua NadirClaw đều đi qua ba bước: Route để chọn mô hình, Verify để kiểm tra chất lượng câu trả lời rẻ, và Escalate để tự động chuyển sang tầng cao hơn nếu kết quả không đạt ngưỡng. Toàn bộ quy trình này chỉ thêm khoảng 10ms chi phí phân loại, gần như không ảnh hưởng đến trải nghiệm.

Bước Route dùng một classifier nhúng câu chạy nhanh nhất để dự đoán mô hình nhỏ nhất có thể trả lời đúng. Tuy nhiên, nó không hoạt động đơn độc: các bộ sửa đổi định tuyến có thể ghi đè quyết định, ví dụ phát hiện agentic tool loop, yêu cầu reasoning, nội dung hình ảnh hoặc ngữ cảnh dài sẽ tự động ép lên tầng mạnh hơn.

Bước Verify chạy sau khi nhận câu trả lời từ mô hình rẻ, chấm điểm dựa trên heuristics như từ chối, cắt cụt hay lỗi định dạng JSON. Phiên bản OSS dùng verifier heuristic khoảng 1ms; bản Pro thay bằng DeBERTa-v3-small với AUROC 0.961 trên bộ test RouterBench. Cuối cùng, nếu điểm dưới ngưỡng τ = 0.80, hệ thống tự động leo thang sang mô hình tiếp theo, nên bạn chỉ phải trả tiền cho model lớn khi thực sự cần.

Những tính năng nổi bật của NadirClaw

NadirClaw không chỉ là một proxy routing đơn giản; nó bao gồm nhiều lớp tối ưu mà bạn có thể bật/tắt tùy nhu cầu. Dưới đây là các tính năng đáng chú ý nhất được nêu trong README, được chia theo nhóm để dễ hình dung, từ khả năng nén context đến giám sát ngân sách.

• Context Optimize: nén context phồng như JSON, tool schema, chat history trước khi gửi, giảm 30-70% input token với chế độ safe lossless, aggressive và progressive.
• Thông minh định tuyến: nhận diện tác vụ agentic, lý luận nhiều bước, nội dung hình ảnh, và tự động chuyển sang mô hình phù hợp.
• Cascade rules: cấu hình YAML cho phép ghi đè hành vi theo pattern, ví dụ force_escalate cho code, set_threshold cho vùng biên, force_cheap cho mẫu dễ.
• Fallback chains: nếu mô hình chính gặp lỗi 429, 5xx hoặc timeout, hệ thống tự động chuyển qua chuỗi mô hình dự phòng, không làm gián đoạn công việc.
• Bảo mật và kiểm soát: Prometheus metrics có sẵn, OpenTelemetry tùy chọn, theo dõi ngân sách ngày/tháng, cảnh báo webhook, dashboard realtime và CLI report chi tiết.
• Đa nền tảng: hoạt động với Gemini qua Google GenAI SDK, và với hơn 100 provider khác qua LiteLLM, bao gồm Ollama chạy local không cần API key.

Hướng dẫn cài đặt và sử dụng NadirClaw nhanh chóng

Bạn có thể chạy NadirClaw chỉ với một lệnh cài đặt và trình hướng dẫn tương tác để cấu hình provider trong vài phút. Dưới đây là quy trình cơ bản được tổng hợp từ README, áp dụng cho cả bản cài bằng lệnh một dòng lẫn Docker.

1. Cài đặt bằng lệnh một dòng: curl -fsSL https://raw.githubusercontent.com/doramirdor/NadirClaw/main/install.sh | sh. Lệnh này clone repo vào ~/.nadirclaw, tạo virtualenv và thêm lệnh nadirclaw vào PATH.
2. Chạy nadirclaw setup để mở trình hướng dẫn tương tác, chọn provider, nhập API key và chọn mô hình cho từng tầng routing. Bạn có thể bỏ qua bước này và chạy nadirclaw serve, lúc đó nó sẽ gợi ý chạy setup ở lần đầu.
3. Khởi động router bằng nadirclaw serve --verbose. Server mặc định lắng nghe tại http://localhost:8856 với model mặc định Gemini 3 Flash cho tầng simple và OpenAI Codex cho tầng complex.
4. Trỏ công cụ bất kỳ tương thích OpenAI-compatible về http://localhost:8856/v1 với model auto. Ví dụ trong Cursor vào Settings → Models, đặt OpenAI API Key là local và Base URL là http://localhost:8856/v1.
5. Nếu dùng Claude Code, chạy nadirclaw claude onboard --interactive để tự động cấu hình ANTHROPIC_BASE_URL, cài launchd/systemd và chọn model cho từng tầng.
6. Kiểm tra hoạt động bằng nadirclaw classify 'prompt bất kỳ' để xem prompt được phân vào tầng nào, hoặc nadirclaw test để gửi probe tới từng mô hình đã cấu hình.

Lưu ý quan trọng là khi cấu hình cho Claude Code, ANTHROPIC_BASE_URL phải là http://localhost:8856 không kèm /v1 vì Claude Code tự nối thêm /v1/messages. Nếu bạn muốn chạy hoàn toàn local không tốn phí, có thể dùng Ollama: đặt NADIRCLAW_SIMPLE_MODEL=ollama/llama3.1:8b và NADIRCLAW_COMPLEX_MODEL=ollama/qwen3:32b rồi khởi động server.

NadirClaw có phù hợp với bạn không?

NadirClaw đặc biệt hữu ích cho lập trình viên độc lập, nhóm nghiên cứu, học sinh sinh viên, hoặc dự án phi thương mại muốn cắt giảm hóa đơn AI mà vẫn giữ được chất lượng. Nếu bạn dùng Claude Code, Cursor hay Codex mỗi ngày và thấy chi phí API tăng nhanh, đây là một lớp tối ưu rẻ tiền và không yêu cầu thay đổi workflow.

Ngược lại, nếu bạn vận hành sản phẩm thương mại hoặc làm việc trong doanh nghiệp vì lợi nhuận, giấy phép PolyForm Noncommercial 1.0.0 không cho phép sử dụng miễn phí, nên bạn cần giấy phép thương mại hoặc bản Nadir Pro. Ngoài ra, nếu bạn chỉ thỉnh thoảng gọi API AI, mức tiết kiệm từ routing có thể không đáng kể so với công sức cài đặt. Nhóm đông người cần dashboard tập trung, SSO và vận hành chịu trách nhiệm cũng nên cân nhắc bản Pro thay vì tự vận hành OSS.

So sánh NadirClaw (OSS) và Nadir Pro

NadirClaw là lõi mã nguồn mở miễn phí, trong khi Nadir Pro là bản hosted thương mại dành cho đội nhóm, dùng chung triết lý routing nhưng bổ sung mô hình mạnh hơn và công cụ quản trị. Lựa chọn giữa hai bản phụ thuộc vào mức độ nghiêm túc của nhu cầu cũng như yêu cầu về mặt vận hành.

Về classifier, OSS dùng binary centroid khoảng 10ms, có thể opt-in DistilBERT hoặc checkpoint wide_deep_asym_v3; Pro dùng classifier đã huấn luyện sẵn kèm vòng lặp retraining đóng. Verifier trong OSS là rule-based heuristic ~1ms, còn Pro dùng DeBERTa-v3-small cross-encoder đạt AUROC 0.96. Dashboard của OSS là terminal và web local, còn Pro có hosted dashboard, billing theo đội nhóm, SSO, audit logs. Pro còn có semantic cache, response healing, prompt caching passthrough; OSS thì có caching LRU riêng nhưng không có mấy tính năng cao cấp đó.

Về chi phí, Pro tính phí theo công thức 25% khoản tiết kiệm đầu tiên 2.000 USD, 10% phần trên, cộng 9 USD mỗi tháng. Nếu Nadir không giúp bạn tiết kiệm, bạn không phải trả. Bản OSS thì dùng không mất phí cho mục đích phi thương mại, nhưng bạn phải tự vận hành và không có đội ngũ duy trì classifier.

Câu hỏi thường gặp

NadirClaw có miễn phí không?

Có, bản OSS miễn phí cho mục đích phi thương mại theo giấy phép PolyForm Noncommercial 1.0.0. Bạn có thể tự do dùng, sửa đổi, phân phối cho dự án cá nhân, nghiên cứu, giáo dục, hoặc tổ chức phi lợi nhuận; còn dùng trong doanh nghiệp để phục vụ mục đích thương mại thì cần trả phí giấy phép hoặc dùng Nadir Pro.

NadirClaw hỗ trợ những nhà cung cấp LLM nào?

NadirClaw hỗ trợ Gemini thông qua Google GenAI SDK, và hầu hết provider còn lại thông qua LiteLLM như OpenAI, Anthropic, Ollama, DeepSeek. Bạn cũng có thể trỏ nó vào bất kỳ endpoint OpenAI-compatible nào như vLLM, LM Studio, LocalAI hoặc custom gateway, đồng thời dùng OAuth để đăng nhập bằng tài khoản ChatGPT hoặc Claude subscription.

NadirClaw có làm lộ API key của tôi không?

Ở chế độ mặc định, toàn bộ yêu cầu được gửi trực tiếp từ máy bạn tới nhà cung cấp LLM đã chọn, API key nằm trong file cấu hình cục bộ và không qua proxy trung gian. Tuy nhiên nếu bạn dùng tính năng OAuth hay Morph router tùy chọn, sẽ có thêm kết nối tới các dịch vụ tương ứng, nên cần đọc kỹ tài liệu trước khi bật.

Làm thế nào để kiểm tra mức tiết kiệm của NadirClaw?

Bạn chạy lệnh nadirclaw savings để xem số tiền đã tiết kiệm, kèm dự báo theo tháng, hoặc dùng nadirclaw report --by-model --by-day để phân tích chi tiết theo từng model và ngày. Lệnh report còn hiển thị tier distribution, latency, số lần fallback và error, giúp bạn biết rõ workload đang được định tuyến ra sao.

NadirClaw có thể dùng làm trung gian cho các tác vụ thương mại không?

Giấy phép của bản OSS là PolyForm Noncommercial, nên nếu bạn muốn dùng để vận hành sản phẩm trả phí hoặc trong doanh nghiệp vì lợi nhuận, bạn cần mua giấy phép thương mại từ getnadir.com hoặc chuyển sang bản Pro. Còn các tác vụ cá nhân, học tập và nghiên cứu thì không bị giới hạn.

Kết luận

NadirClaw giải quyết đúng nút thắt chi phí AI mà nhiều lập trình viên đang gặp phải: hầu hết prompt không cần dùng flagship, nhưng không có cơ chế tự động để tách bạch việc nào dùng model rẻ. Với kiến trúc Route – Verify – Escalate, nó vừa giảm chi phí vừa duy trì chất lượng, đồng thời giữ cho dữ liệu và API key nằm hoàn toàn trong máy bạn. Bạn có thể bắt đầu bằng cách đọc thêm tại repository NadirClaw trên GitHub, sau đó chạy lệnh cài đặt và trải nghiệm với workload thật của mình. Nếu chi phí API AI đang là nỗi đau mỗi cuối tháng, hãy dành một buổi chiều để thử NadirClaw và tự đo mức tiết kiệm cụ thể.