본문으로 이동

멀티모달 에이전트 플러그인

Conaonda Wiki

멀티모달 에이전트 플러그인은 에이전트가 이미지·영상·음성·문서·3차원 자료를 읽거나 생성·편집하도록, 작업 지침인 스킬과 선택적 실행 도구인 MCP 서버를 함께 배포하는 확장 단위이다.

개요

QwenLM/Qwen-MM-Plugins는 Qwen 모델의 멀티모달 기능과 로컬 미디어 도구를 여러 에이전트 실행 환경에서 쓰게 하는 플러그인 모음이다. 저장소는 “어떤 에이전트 하네스도 멀티모달 네이티브로 만든다”는 목표를 내세우며, 기능을 qwen-mm-plugins-<capability>라는 독립 단위로 설치한다. 각 기능 단위는 에이전트가 언제 어떻게 사용할지 설명하는 스킬과, 필요한 경우 실제 처리를 수행하는 MCP 서버를 결합한다.

핵심 의미는 하나의 거대한 플러그인이 모든 권한과 의존성을 요구하지 않는다는 데 있다. 로컬 파일 읽기만 필요하면 API 키 없는 core를 설치하고, Qwen의 클라우드 비전·음성 기능이 필요할 때만 api와 DashScope 구성을 추가할 수 있다. 검색, 장시간 영상 기억, 영상 편집, Blender, FreeCAD와 교육용 설명 제작도 각각 별도 기능과 요구 사항을 가진다. 릴리스 기능은 독립적인 불변 태그를 사용한다고 README가 설명한다.

핵심 구조/작동 방식

스킬과 MCP의 분담

스킬은 사용자의 자연어 요청과 파일 문맥을 읽고 어떤 도구를 호출할지 안내한다. MCP 서버는 이미지 디코딩, 프레임 추출, OCR, 검색, 생성이나 응용 프로그램 제어처럼 실행이 필요한 기능을 제공한다. 설치된 기능 뒤에 @report.pdf와 함께 “3쪽을 요약하고 표를 추출해 달라”고 요청하거나, @meeting.mp4에 화자·타임스탬프가 포함된 전사를 요구하면 스킬이 관련 MCP 도구를 고르는 방식이다. core는 동적 해상도로 미디어를 읽으므로 보통 사용자가 먼저 수동 축소할 필요가 없다고 README가 밝힌다.

가이드 설치기는 Claude Code, Codex, Qoder, OpenClaw, Qwen Code와 Gemini CLI를 지원하고 각 하네스의 기본 설치 명령을 사용한다. 공통 설정은 ~/.qwen-mm-plugins/config에 둔다. DeepSeek Harness, Hermes Agent, opencode, pi와 QwenPaw는 별도 수동 설치 문서를 제공한다. 기능 업데이트는 이미 설치된 하네스와 기능 범위에 대해 수행할 수 있고, 로컬 체크아웃, 롤백, Windows/WSL2와 수동 스킬·MCP 구성은 공식 설치 문서에서 다룬다.

기능 단위

  • core: 이미지와 영상을 읽고 문서, 코드, 데이터, 3차원 파일 등을 시각화한다. API 키는 필요 없지만 오디오·영상에는 ffmpeg가, 형식에 따라 별도 응용 프로그램이 필요하다.
  • api: Qwen VL·Omni 기반 비전, OCR, grounding, 음성 인식, 분할과 오디오·영상 이해를 제공한다. DashScope와 로컬 미디어 처리를 위한 ffmpeg가 필요하다.
  • search: 웹 검색, 페이지 추출과 역이미지 검색을 제공한다. Serper, Exa 또는 Tavily 키가 필요하고 이미지 검색은 Serper를 요구한다.
  • video-memory: 긴 영상 질의를 위한 계층적 기억을 구축한다. 빌드에 DashScope, ffmpeg와 ffprobe가 필요하다.
  • video-edit: 이미지·영상·음성 생성과 편집 흐름을 제공한다. DashScope, ffmpeg, 전체 편집에는 Node와 Chromium이 필요하다.
  • blender와 freecad: 각각 모델링·텍스처·조명·렌더링, 파라메트릭 CAD·STEP/STL·FEM 작업을 맡는다. 해당 데스크톱 프로그램과 headless Linux의 Xvfb가 필요하며 FreeCAD FEM에는 CalculiX가 추가된다.
  • edu-agent: 중국어 수학·과학 설명 영상과 상호작용 페이지를 만든다. 기본은 스킬 전용이고 Node·Chromium·ffmpeg를 사용하며, 내레이션 영상에는 DashScope가 필요하다.

의존성과 설정

uv가 제공하는 uvx는 Python 의존성을 필요할 때 설치한다. 로컬 core 도구는 API 키가 없지만 클라우드와 검색 기능은 각 공급자의 자격 증명을 요구한다. 영상, 문서, 브라우저, Blender와 FreeCAD 흐름에는 시스템 프로그램이 추가될 수 있다. 설치기의 Configure와 Verify 동작으로 자격 증명을 넣고 의존성을 점검할 수 있다.

활용

문서와 영상이 섞인 조사에서는 PDF 표를 추출하고 회의 영상을 전사한 뒤, 긴 영상 기억을 만들어 시간 근거가 있는 질의응답을 수행할 수 있다. 사진의 위치를 추정하고 웹에서 검증하거나, 이미지 내용을 바탕으로 에이전트 전용 브라우저에서 후속 조사를 하는 흐름도 가능하다. video-edit는 생성 자산을 에이전트 기반 비디오 편집 또는 SRT 기반 화이트보드 애니메이션에 넘기는 전처리 도구가 될 수 있다. Blender와 FreeCAD 기능은 멀티모달 에이전트의 범위를 미디어 이해에서 3차원 제작과 공학 파일로 확장한다.

한계 및 주의점

“플러그인 설치”만으로 모든 기능이 로컬에서 무료로 실행되는 것은 아니다. DashScope를 요구하는 기능, 별도 검색 API 키가 필요한 기능, 대형 데스크톱 프로그램과 브라우저를 요구하는 기능을 구분해야 한다. 파일 형식마다 필요한 응용 프로그램이 다르고 headless 환경에서는 Xvfb 같은 추가 계층이 필요하다. 설치 전 필요한 기능만 선택하면 권한, 비용과 장애 범위를 줄일 수 있다.

README의 한 줄 설치 명령은 원격 셸 스크립트를 실행한다. 재현성과 공급망 검토가 중요한 환경에서는 공식 설치 문서의 로컬 체크아웃·불변 태그·롤백 경로를 확인하고, 스크립트와 릴리스 버전을 검토한 뒤 적용해야 한다. 클라우드 기능에 문서·음성·영상을 넘길 때는 해당 공급자의 데이터 처리 조건과 조직 정책을 별도로 확인해야 한다. 기능 목록과 하네스 지원은 빠르게 변할 수 있으므로 여기의 요구 사항은 2026년 8월 16일 확인한 README 기준이다.

함께 보기

출처

원본 주소 "https://wiki.conaondaapps.com/index.php?title=멀티모달_에이전트_플러그인&oldid=62"