MediaHUB CMM — kho tư liệu AI cho Đài/Báo: biên mục sâu, tìm kiếm ngữ nghĩa, bản quyền và truy vết nguồn gốc.
Biến hàng chục nghìn giờ băng hình và kho bài viết thành tư liệu tìm được tức thì: mỗi video được tách cảnh, bóc băng, gắn embedding hình ảnh, mô tả bằng VLM và nhận diện thực thể. Các model chạy on-premise trên GPU nên dữ liệu không rời hạ tầng của đơn vị.
Truy cập ConsoleNạp đa nguồn, chuẩn CMM
Nhập từ kho S3 và crawl bài báo; cấp canonical ID cho từng tài sản và chuẩn hoá metadata theo mô hình CMM để mọi nguồn dùng chung một cấu trúc.
Hiểu từng cảnh quay
Scene detection (ffmpeg) → ASR tiếng Việt (faster-whisper large-v3) → embedding hình ảnh (OpenCLIP ViT-B-32, 512 chiều) → mô tả hình ảnh (Moondream2). Kết quả lưu theo từng shot trong PostgreSQL + pgvector.
Tìm bằng ý, không cần đúng từ khoá
Câu truy vấn được chuyển thành CLIP text embedding rồi so khớp cosine (<=>) trên pgvector, kết hợp transcript và metadata — gõ “cảnh lũ ở miền Trung” vẫn ra đúng đoạn băng dù không ai đã gắn thẻ.
NER liên kết thực thể, dịch thuật
Nhận diện người, tổ chức, địa danh và liên kết về cùng một thực thể; dịch transcript và metadata qua tác vụ LLM của lớp Agentic để tìm kiếm đa ngôn ngữ.
Quyền sử dụng theo ODRL 2.2
Khai báo quyền sử dụng (được phép, cấm, điều kiện, thời hạn) cho từng tài sản và segment; hệ thống dựng và xuất bản chỉ dùng tư liệu mà quyền cho phép.
Truy vết W3C PROV-O
Ghi lại video thành phẩm được dựng từ tư liệu nào, qua bước xử lý nào, bởi ai — phát hành kèm Provenance Manifest để chứng minh nguồn gốc khi cần.
Từ file video trên S3 đến tư liệu tìm được theo từng cảnh.
Các bước chạy như job trong hàng đợi L1; worker GPU kéo job, xử lý và ghi kết quả về PostgreSQL + pgvector.
01Scene detection
ffmpeg tách video thành danh sách shot (bắt đầu, kết thúc).
02ASR tiếng Việt
faster-whisper bóc băng lời thoại theo từng shot.
03Vision embedding
OpenCLIP tạo vector 512 chiều cho hình ảnh từng shot.
04Visual summary
Moondream2 mô tả nội dung hình ảnh bằng văn bản.
05Lưu & lập chỉ mục
Ghi vào PostgreSQL + pgvector, sẵn sàng cho tìm kiếm ngữ nghĩa.
Thư viện & vận hành
- CMM Studio / Library — thư viện tư liệu chuẩn hoá, duyệt shot/segment, dựng từ kho
- MLOps — hàng đợi job, worker/GPU, registry model, cấu hình storage theo workload
- Cấu hình model, storage, prompt hệ thống qua giao diện/API — không cần deploy lại
Đề xuất lộ trình: index hnsw/ivfflat cho clip_embedding, tiến độ realtime qua WebSocket, mô tả hình ảnh tiếng Việt và Whisper tinh chỉnh phương ngữ.
Powered by X-OR AI HUB · KaiRouter · X-OR Cloud
Triển khai CRELALA cho đơn vị của bạn
Dù là studio cần sản xuất video AI quy mô lớn hay đài/báo cần số hoá và khai thác kho tư liệu, đội ngũ X-OR sẽ khảo sát nhu cầu, đề xuất phương án triển khai (SaaS hoặc on-premise GPU) và đồng hành đến khi vận hành.