ArkhamMirror là một nền tảng phân tích tài liệu AI mã nguồn mở, local-first, được thiết kế dành riêng cho điều tra báo chí và nghiên cứu chuyên sâu. Nó giúp bạn nhập hàng loạt văn bản (PDF, DOCX, ảnh), trích xuất thực thể và mối quan hệ, phát hiện mâu thuẫn, vẽ sơ đồ mạng lưới, và phân tích cạnh tranh giả thuyết (ACH) – tất cả đều chạy trên máy bạn, không gửi dữ liệu ra ngoài. Bạn có thể xem chi tiết tại repository gốc trên GitHub.
Thank you for reading this post, don't forget to subscribe!Những điểm chính
- Local-first và privacy-preserving: dữ liệu không bao giờ rời khỏi máy bạn trừ khi bạn tự quyết định.
- Kiến trúc shard modular: 26 shard plugin độc lập, giao tiếp qua event bus, mỗi shard có schema PostgreSQL riêng.
- AI tích hợp sâu: LLM linh hoạt (LM Studio, Ollama, OpenAI), phân tích tự động, phát hiện lừa dối, và trợ lý AI Junior Analyst.
- Chạy hoàn toàn trên PostgreSQL + pgvector: không cần Redis, Qdrant hay bất kỳ dịch vụ phụ trợ nào.
- Giấy phép MIT – miễn phí, có thể triển khai trong mạng nội bộ hoặc air-gap.
ArkhamMirror là gì và giải quyết vấn đề gì?
ArkhamMirror (tên mã nội bộ SHATTERED) là một nền tảng mã nguồn mở dạng module, cho phép bạn xây dựng quy trình điều tra tài liệu từ khâu nhập đến xuất báo cáo. Vấn đề mà nó giải quyết: các nhà báo, luật sư, và nhà nghiên cứu thường phải đối mặt với hàng nghìn trang tài liệu rời rạc, khó đối chiếu và phát hiện mối liên kết. ArkhamMirror tự động hóa các bước trích xuất thực thể, phát hiện mâu thuẫn, đánh giá độ tin cậy của nguồn, và trực quan hóa dưới dạng đồ thị mạng lưới hay dòng thời gian. Triết lý cốt lõi là ‘local-first’: bạn kiểm soát hoàn toàn dữ liệu, không telemetry, không cloud bắt buộc.
Những tính năng nổi bật của ArkhamMirror?
Nền tảng này có hơn 400 API endpoint trải dài trên 26 shard. Dưới đây là những điểm mạnh đáng chú ý:
AI Junior Analyst và phân tích cạnh tranh giả thuyết
ArkhamMirror tích hợp một trợ lý AI chạy khắp các shard để phát hiện dị thường, mâu thuẫn, và đưa ra nhận xét. Đặc biệt, shard ACH hỗ trợ phân tích cạnh tranh giả thuyết (Analysis of Competing Hypotheses) với chấm điểm bằng chứng, premortem, cone of plausibility, và chế độ ‘devil’s advocate’ do AI tạo ra.
Trực quan hóa đa dạng
Shard Graph cung cấp 10+ chế độ hiển thị: force-directed, hierarchical, circular, Sankey, matrix, geographic (Leaflet) (xem thêm GeoSentinel), causal, argumentation, link analysis (i2-style), và temporal. Kèm theo các thuật toán phân tích mạng lưới như centrality, community detection, path finding.
Phát hiện lừa dối và đánh giá độ tin cậy
Shard Credibility sử dụng bốn checklist MOM, POP, MOSES, EVE để chấm điểm độ tin cậy của nguồn. Shard Media Forensics phân tích ảnh với EXIF, Error Level Analysis, perceptual hashing, và tích hợp reverse image search.
Pipeline xử lý tài liệu hoàn chỉnh
Từ ingest (hỗ trợ nhiều định dạng) -> OCR (PaddleOCR hoặc Vision LLM) -> parse (8 chiến lược chunk) -> embed (pgvector) -> entity extraction (spaCy) -> claim extraction, tất cả đều có job queue dùng PostgreSQL SKIP LOCKED.
Hướng dẫn cài đặt và sử dụng ArkhamMirror
Có hai cách: thủ công hoặc Docker. Dưới đây là các bước cơ bản (xem README để biết thêm chi tiết):
- Yêu cầu: Python 3.10+, PostgreSQL 14+ với pgvector, Node.js 18+ (nếu muốn UI dev).
- Clone repo:
git clone https://github.com/mantisfury/ArkhamMirror.gitrồi cd vào SHATTERED. - Cài Frame và các shard:
pip install -e packages/arkham-framesau đó lặp cho từng thư mục arkham-shard-*. Có thể dùng vòng lặp for như trong README (bạn có thể tham khảo Archify để hình dung kiến trúc shard). - Cài mô hình spaCy:
python -m spacy download en_core_web_sm. - Cấu hình: Tạo file .env với DATABASE_URL và các biến tuỳ chọn cho LLM, embedding, auth.
- Chạy: Terminal 1:
uvicorn arkham_frame.main:app --host 127.0.0.1 --port 8100. Terminal 2 (nếu muốn UI dev):cd packages/arkham-shard-shell && npm run dev. - Docker (khuyên dùng): Copy .env.example, generate AUTH_SECRET_KEY, rồi chạy
docker compose up -d. Truy cập http://localhost:8100.
Sau khi đăng nhập lần đầu, bạn sẽ được hướng dẫn tạo tenant admin. Các shard tự động phát hiện nhờ entry point trong pyproject.toml.
Ai nên dùng ArkhamMirror – và ai không nên?
Đối tượng phù hợp nhất là các nhà báo điều tra, chuyên gia OSINT, luật sư tự bảo vệ (tenant defense, quyền lao động), nhà hoạt động xã hội, và nhà phân tích tài chính. Nếu bạn làm việc với hàng loạt tài liệu, cần phát hiện mâu thuẫn và trực quan hóa mạng lưới, ArkhamMirror là công cụ cực kỳ mạnh. Tuy nhiên, nền tảng này yêu cầu kiến thức kỹ thuật nhất định: bạn phải tự cài đặt PostgreSQL, cấu hình LLM (dù có Docker hỗ trợ), và làm quen với giao diện dạng shard. Nếu bạn chỉ muốn một phần mềm ‘cài là chạy’ không cần config, hoặc không thoải mái với command line, có thể sẽ gặp khó khăn. Ngoài ra, tính năng phân tích tiếng Việt chưa được tối ưu sẵn (spaCy mặc định là tiếng Anh), nhưng nếu bạn dùng LLM local hỗ trợ tiếng Việt, vẫn có thể khai thác tốt.
Câu hỏi thường gặp
ArkhamMirror có hỗ trợ tiếng Việt không?
Hiện tại các mô hình spaCy mặc định là tiếng Anh, nhưng OCR (PaddleOCR) hỗ trợ tiếng Việt tốt. Với LLM local như Qwen-VL, bạn có thể phân tích nội dung tiếng Việt nếu cấu hình đúng.
Có cần kết nối Internet để chạy không?
Không. ArkhamMirror được thiết kế local-first và air-gap capable. Bạn chỉ cần Internet lúc đầu để tải mô hình, sau đó có thể ngắt hoàn toàn.
Dữ liệu của tôi có an toàn không?
Có. Không có telemetry, không cloud mặc định. Mọi dữ liệu nằm trên PostgreSQL local. Bạn có thể thêm auth và rate limiting nếu deploy production.
Có thể tích hợp với LLM nào?
ArkhamMirror tương thích với mọi endpoint OpenAI-compatible: LM Studio, Ollama, vLLM, OpenAI API, Groq. Bạn có thể chuyển đổi linh hoạt trong dashboard.
Có hỗ trợ tài liệu ảnh và PDF scan không?
Có. Shard OCR sử dụng PaddleOCR cho ảnh thường và Vision LLM (ví dụ Qwen-VL local hoặc GPT-4o cloud) cho tài liệu phức tạp, kèm confidence scoring.
Kết luận
ArkhamMirror là một trong những nền tảng phân tích tài liệu AI mã nguồn mở toàn diện nhất hiện nay, đặc biệt phù hợp với các nhà điều tra cần kiểm soát dữ liệu tuyệt đối. Với kiến trúc shard linh hoạt, bạn có thể mở rộng tuỳ theo nhu cầu mà không bị ràng buộc bởi vendor lock-in. Nếu bạn đang tìm một giải pháp thay thế cho các dịch vụ đám mây đắt đỏ và muốn toàn quyền trên dữ liệu của mình, hãy ghé qua ArkhamMirror trên GitHub và bắt đầu với Docker ngay hôm nay.
