Supavec RAG-as-a-Service là nền tảng mã nguồn mở được xây dựng như giải pháp thay thế Carbon.ai, giúp bạn triển khai vector search và chat API trong vòng chưa đầy 5 phút. Bài viết này sẽ phân tích kiến trúc, tính năng nổi bật và cách dùng repo Supavec cho lập trình viên cần tích hợp RAG vào sản phẩm.

Thank you for reading this post, don't forget to subscribe!

Những điểm chính

• Supavec là nền tảng RAG-as-a-Service mã nguồn mở, có thể tự host hoặc dùng cloud version, phù hợp để thay thế Carbon.ai.
• Kiến trúc multi-tenant dùng Row-Level Security giúp cô lập dữ liệu theo team, kèm billing theo mức sử dụng Free 100, Basic 750, Ent 5000 request mỗi tháng.
• Vector search được tối ưu bằng chunk và overlap cấu hình được, hybrid filter file_id kết hợp cosine, P95 210 ms, tăng recall 12 điểm.
• API hỗ trợ streaming hoặc JSON, batch embedding 100 tài liệu giảm chi phí OpenAI 65%, có request-level tracing và PostHog analytics.
• Hướng dẫn cài đặt rõ ràng với Bun, nhưng bạn cần chuẩn bị Supabase, Upstash và hiểu biết cơ bản về hạ tầng nếu tự host.

Supavec là gì và giải quyết vấn đề gì?

Supavec là một dự án open source cung cấp RAG-as-a-Service, giúp lập trình viên dựng hệ thống vector search và chat API nhanh mà không cần xây dựng pipeline từ đầu. Vấn đề nó giải quyết chính là độ phức tạp khi phải tải dữ liệu, nhúng văn bản, lưu vector và tạo API phản hồi.

Theo README, Supavec hỗ trợ mô hình ‘any data source, at any scale’ và có cloud version tại supavec.com. Bạn có thể xem chi tiết tại repository gốc trên GitHub.

Supavec có những tính năng nổi bật nào?

Supavec được thiết kế theo hướng API-first, tập trung vào ba nhóm: bảo mật multi-tenant, tối ưu vector search và trải nghiệm vận hành. Điểm mạnh không chỉ nằm ở endpoint chat mà còn ở cách dự án xử lý chi phí embedding, phân quyền dữ liệu và khả năng quan sát hệ thống.

Kiến trúc multi-tenant và mô hình billing

Row-Level Security được dùng để cô lập dữ liệu ở cấp team, giúp mỗi khách hàng hoặc phòng ban chỉ nhìn thấy dữ liệu của mình. Mô hình billing theo mức sử dụng được định nghĩa rõ: Free 100, Basic 750 và Ent 5000 request mỗi tháng. Batch embedding còn giúp giảm chi phí OpenAI đến 65%.

Tối ưu vector search và recall

README ghi nhận việc cấu hình chunk và overlap giúp tăng recall thêm 12 điểm. Hệ thống dùng hybrid filter giữa file_id và cosine similarity, đồng thời giữ thời gian phản hồi ở mức P95 210 ms. Đây là con số phù hợp cho ứng dụng cần phản hồi nhanh.

Hiệu suất API và khả năng quan sát

Mỗi request có thể chọn phản hồi streaming hoặc JSON. Việc nhúng 100 tài liệu trong một batch giúp giảm latency lẫn chi phí. Supavec tích hợp PostHog để theo dõi product và API events, đồng thời dùng request-level tracing với unique ID để debug nhanh hơn. Async usage logging giúp không chặn luồng xử lý chính.

Trải nghiệm lập trình viên

Phần này thể hiện rõ triết lý API-first. Visual debugging cho phép xem trước embedding trong chat UI, hướng dẫn onboard theo kiểu progressive disclosure, và rate limiting dựa trên Redis sliding window. API trả về lỗi chi tiết, giúp người dùng tự xử lý mà không cần đọc mã nguồn quá sâu.

Làm thế nào để cài đặt và sử dụng Supavec?

Để chạy Supavec, bạn cần cài Bun vì toàn bộ dự án dùng Bun làm runtime. README đưa ra quy trình khá ngắn gọn: cài dependencies, chạy web server và chạy API server. Nếu bạn đã quen với monorepo, các bước này không gây khó khăn.

1. Cài dependencies: Chạy lệnh bun install ở thư mục gốc của monorepo để cài tất cả package cần thiết.
2. Chạy web server: Mở terminal tại thư mục apps/web và chạy cd apps/web && bun run dev.
3. Chạy API server: Ở một terminal khác, vào thư mục packages/api và chạy cd packages/api && bun run dev.

Sau khi API server hoạt động, bạn có thể gọi endpoint /chat với tham số query, file_ids và stream. Nếu đặt stream: true, phản hồi sẽ trả về dạng streaming; nếu stream: false, bạn nhận JSON. Đây là cách nhanh nhất để thử luồng RAG.

Lưu ý: Supavec được xây dựng từ Next.js, Supabase, Tailwind CSS, Bun và Upstash. Khi tự host, bạn cần chuẩn bị các dịch vụ nền tảng tương ứng để hệ thống chạy đúng cách.

Ai nên dùng Supavec và ai không nên?

Supavec phù hợp với nhóm đang muốn đưa RAG vào sản phẩm nhanh, không muốn tự viết toàn bộ pipeline nhúng và truy xuất vector. Tuy nhiên, đây không phải thư viện ‘cài là xong’ cho người không biết kỹ thuật. Bạn vẫn cần hiểu về API, cấu hình Supabase, Upstash và cách vận hành hạ tầng nếu tự host.

• Nên dùng nếu: bạn cần RAG-as-a-Service mã nguồn mở để kiểm soát dữ liệu, cần API vector search và chat nhanh, hoặc muốn xây dựng sản phẩm multi-tenant với RLS sẵn có.
• Không nên dùng nếu: bạn kỳ vọng một giải pháp no-code hoàn chỉnh, cần hỗ trợ doanh nghiệp đầy đủ, hoặc muốn tránh phụ thuộc vào các dịch vụ như Supabase, Upstash và OpenAI.

Câu hỏi thường gặp

Supavec RAG-as-a-Service là gì?

Supavec RAG-as-a-Service là nền tảng mã nguồn mở giúp triển khai vector search và chat API nhanh chóng. Nó được giới thiệu là giải pháp thay thế Carbon.ai, phù hợp cho lập trình viên muốn xây dựng ứng dụng hỏi đáp trên tài liệu mà không phải tự viết toàn bộ pipeline RAG.

Supavec có miễn phí không?

Có. Cloud version cung cấp gói Free 100 request mỗi tháng. Gói Basic cho 750 request và gói Ent cho 5000 request mỗi tháng. Nếu tự host, bạn không phải trả phí sử dụng nền tảng, nhưng vẫn cần chi phí cho hạ tầng và các dịch vụ đi kèm.

Supavec có hỗ trợ streaming không?

Có. API endpoint chat nhận tham số stream. Nếu đặt stream: true, bạn nhận phản hồi streaming; nếu đặt stream: false, bạn nhận JSON. Điều này giúp linh hoạt cho giao diện chat thời gian thực hoặc hệ thống xử lý batch.

Supavec có thể tự host không?

Được. Vì Supavec là mã nguồn mở, bạn có thể tự chạy trên hạ tầng của mình. Dự án sử dụng Next.js, Supabase, Tailwind CSS, Bun và Upstash, nên cần chuẩn bị môi trường tương ứng trước khi khởi động.

Open-source alternative của Carbon.ai có nghĩa là gì?

Nghĩa là Supavec được phát triển với mục tiêu cung cấp trải nghiệm RAG-as-a-Service tương tự Carbon.ai nhưng ở dạng mã nguồn mở. Bạn có thể kiểm tra mã nguồn, đóng góp, tự host hoặc chọn dùng cloud version tùy theo nhu cầu.

Kết luận

Supavec RAG-as-a-Service là một trong những lựa chọn đáng chú ý nếu bạn muốn làm chủ hạ tầng RAG mà vẫn có API sẵn sàng. Dự án có điểm mạnh về multi-tenant, chi phí embedding và trải nghiệm debug. Hãy bắt đầu bằng việc đọc repository, chạy thử server và kiểm tra xem Supavec có phù hợp với bài toán thực tế của bạn không. Bạn có thể truy cập GitHub Supavec để cập nhật tài liệu mới nhất.