SkillX xây dựng skill knowledge base cho LLM agents

SkillX là một framework tự động xây dựng skill knowledge base cho LLM agents từ kinh nghiệm rollout, giải quyết bài toán tái sử dụng và chuyển giao kỹ năng giữa các agent. Nếu bạn đang làm việc với tool-using agents, muốn giúp model yếu hơn hoạt động tốt hơn mà không cần retrain, SkillX là repository đáng đưa vào danh sách theo dõi.

Nội dung

Thank you for reading this post, don't forget to subscribe!

Những điểm chính

SkillX chưng cất trajectory thành ba tầng skill: planning skills, functional skills và atomic skills.
Pipeline hoàn toàn tự động gồm trích xuất, tinh chỉnh lặp và mở rộng bằng khám phá.
Skill library tạo ra có thể chèn trực tiếp vào agent yếu hơn, giúp tăng tỷ lệ thành công khoảng 10% trên nhiều benchmark.
Mã nguồn chưa phát hành chính thức, repository mới dừng ở README và bài arXiv.
Hướng tới các bài toán long-horizon, tương tác ứng dụng và gọi hàm nhiều lượt.

SkillX là gì và giải quyết vấn đề gì?

SkillX là framework do nhóm zjunlp phát triển để tự động tạo kho skill tái sử dụng cho LLM agents. Thay vì lưu trajectory thô, SkillX trích xuất kinh nghiệm thành ba cấp độ: Planning Skills, Functional Skills và Atomic Skills. Nó giải quyết bài toán chuyển giao kinh nghiệm kém giữa các agent.

Vấn đề lớn nhất mà SkillX giải quyết là khả năng chuyển giao kém của các phương pháp học từ kinh nghiệm hiện tại. Agent thường lặp lại hành vi tương tự, trajectory thô không khái quát được sang môi trường mới, còn reflection chất lượng cao lại phụ thuộc vào sức mạnh của chính agent đó. SkillX gom kinh nghiệm thành một skill library có cấu trúc, nhẹ, dễ chèn vào prompt và có thể dùng cho agent yếu hơn.

Trên các benchmark dài hạn như AppWorld, BFCL-v3 và τ2-Bench, SkillX cải thiện cả tỷ lệ thành công lẫn hiệu quả thực thi. Cần nói rõ: đây là kết quả được công bố trong README, chưa phải kết quả tôi tự chạy lại được, vì code chưa được phát hành.

Những tính năng nổi bật của SkillX

SkillX nổi bật nhờ thiết kế phân tầng và pipeline hoàn toàn tự động. Kiến trúc gồm ba module chính: trích xuất skill, tinh chỉnh skill lặp và mở rộng skill bằng khám phá. Các module này biến dữ liệu rollout thành skill library gọn nhẹ, có thể chèn trực tiếp vào prompt.

Ba cấp độ skill trong SkillX

Planning Skills ghi lại cách phân rã và sắp xếp tác vụ ở mức cao. Functional Skills mô tả các quy trình kết hợp nhiều bước dùng tool để tạo thành subroutine tái sử dụng. Atomic Skills mã hóa các mẫu thao tác tool, hạn chế và ghi chú lỗi thường gặp. Sự phân tầng này giúp skill vừa đủ cụ thể để thực thi, vừa đủ trừu tượng để áp dụng sang tác vụ khác.

Pipeline tự động bốn bước

Đầu tiên, SkillX rollout agent trên các tác vụ huấn luyện. Tiếp theo, nó trích xuất skill từ trajectory thành công. Sau đó, hệ thống gộp các skill trùng lặp, lọc skill kém chất lượng hoặc bị hallucination, rồi cập nhật skill dựa trên phản hồi thực thi. Cuối cùng, SkillX chủ động khám phá các công cụ chưa được dùng nhiều, tạo task mới từ trajectory khám phá và mở rộng skill library vượt ra ngoài phân phối ban đầu.

Chuyển giao plug-and-play

Điểm đáng chú ý nhất là khả năng strong-to-weak transfer. Skill library xây bởi một backbone agent mạnh có thể bơm thẳng vào một agent yếu hơn mà không cần retrain. Điều này giúp tiết kiệm chi phí và cải thiện hiệu suất trong các tình huống không có điều kiện fine-tune.

Hướng dẫn cài đặt và sử dụng SkillX

Hiện tại repository chưa công bố code chính thức, nên chưa có lệnh cài đặt cụ thể. Bạn chỉ có thể đọc README và bài arXiv, theo dõi repo để nhận bản phát hành. Khi code được public, quy trình dùng SkillX sẽ xoay quanh việc chuẩn bị trajectory JSONL, chạy pipeline và inject skill library vào agent mới.

Theo dõi repository gốc trên GitHub để không bỏ lỡ bản release.
Khi có code, clone repository bằng lệnh git clone https://github.com/zjunlp/SkillX.git.
Cài đặt các dependency theo hướng dẫn mà tác giả đính kèm trong README khi phát hành.
Chuẩn bị dữ liệu trajectory dạng JSONL với các trường trajectory_id, task_id, user_task, task_history, reward và metadata.
Chạy pipeline để trích xuất planning skills, functional skills và atomic skills từ các trajectory thành công.
Dùng skill library tạo ra để chèn vào prompt của agent đích, sau đó đánh giá trên môi trường mới.

Lưu ý: nếu bạn cần một công cụ chạy được ngay lập tức, SkillX chưa đáp ứng được vì mã nguồn vẫn đang trong giai đoạn planned release.

SkillX khác gì so với các phương pháp lưu trữ kinh nghiệm cũ?

SkillX khác biệt ở cách biểu diễn kinh nghiệm. Trajectory thô dài dòng và khó chuyển giao, reflection thường quá trừu tượng, workflow lại bỏ sót các ràng buộc tool cấp thấp. SkillX dùng skill phân tầng, gọn nhẹ, có thể chèn một lần vào prompt và dễ dàng tìm kiếm.

README so sánh SkillX với các baseline A-Mem, AWM, ExpeL và No-memory, trong đó SkillX cho kết quả tốt hơn trên các benchmark được liệt kê. Quan trọng hơn, tác giả nhấn mạnh rằng cách biểu diễn kinh nghiệm quan trọng không kém gì nguồn dữ liệu kinh nghiệm. Một skill library được tổ chức tốt có thể giúp agent yếu đạt hiệu suất cao hơn chỉ với một lần chèn prompt, thay vì phải đọc hàng loạt trajectory dài.

Tuy nhiên, tôi muốn nhấn mạnh một hạn chế: các kết quả này hiện chưa thể tự kiểm chứng vì bản công bố code chưa có. Bạn nên coi đây là công bố nghiên cứu đầy hứa hẹn, chứ không phải một thư viện đã sẵn sàng sản xuất.

Ai nên dùng và ai không nên dùng SkillX?

SkillX phù hợp với nhóm nghiên cứu và kỹ sư đang xây dựng agent dùng công cụ, xử lý tác vụ dài hạn hoặc muốn chuyển giao kỹ năng từ model mạnh sang model yếu. Ngược lại, nếu bạn cần giải pháp chạy ngay hoặc làm tác vụ đơn giản, SkillX chưa phù hợp.

Bạn sẽ được lợi nhiều nhất nếu bạn đã có sẵn một pipeline rollout trajectory thành công và đang muốn tạo skill library cho nhiều agent cùng dùng. SkillX cũng hữu ích khi bạn muốn so sánh các định dạng kinh nghiệm khác nhau như trajectory, workflow, memory hay skill trong thí nghiệm.

Ngược lại, nếu bạn chỉ cần một agent đơn giản dùng vài API, việc triển khai SkillX là quá mức cần thiết. Nếu bạn không có nhu cầu chuyển giao giữa agent mạnh và yếu, các phương pháp fine-tune hoặc in-context learning đơn giản hơn có thể hiệu quả hơn.

Câu hỏi thường gặp

SkillX có thể dùng ngay bây giờ không?

Chưa thể dùng ngay. Repository hiện tại mới chỉ có README, bài arXiv và kế hoạch phát hành code. Bạn nên theo dõi repo thường xuyên để biết khi nào code và skill knowledge base được công bố chính thức.

SkillX yêu cầu dữ liệu đầu vào dạng gì?

Theo README, SkillX nhận dữ liệu đầu vào là trajectory JSONL gồm trajectory_id, task_id, user_task, task_history, reward và metadata. Đây là dạng log hội thoại và hành động của agent trong một tác vụ, kèm điểm thưởng để biết trajectory nào thành công.

SkillX có hỗ trợ chuyển giao từ agent mạnh sang agent yếu không?

Có. Đây là một trong những điểm cốt lõi của SkillX. Skill library được xây dựng bởi một backbone agent mạnh có thể được chèn trực tiếp vào agent yếu hơn mà không cần retrain, giúp tăng tỷ lệ thành công trên nhiều benchmark.

SkillX đánh giá trên những benchmark nào?

SkillX được thử nghiệm trên AppWorld, BFCL-v3 và τ2-Bench. Đây là các benchmark dài hạn, tương tác người dùng và yêu cầu gọi hàm nhiều lượt, phù hợp để kiểm tra khả năng tái sử dụng skill thực tế của agent.

Kết luận

SkillX là một hướng đi thú vị cho bài toán xây dựng skill knowledge base cho LLM agents: tự động, có cấu trúc và có khả năng chuyển giao từ agent mạnh sang agent yếu. Điểm mạnh nằm ở thiết kế ba tầng skill và pipeline tinh chỉnh lặp, nhưng điểm hạn chế là code chưa phát hành nên bạn chưa thể tự trải nghiệm. Nếu bạn quan tâm, hãy theo dõi repository gốc trên GitHub và thử ngay khi bản release đầu tiên xuất hiện.