Abstract
대부분의 research에서 Scientific data visualization은 복잡한 정보를 직관적으로 시각화하는 중요한 역할을 한다. 본 논문은 scientific data visualization task를 다루는 LLM agent를 제안한다. code LLM과 multimodal LLM 능력을 활용하며 query understanding, code generation, visual feedback mechanism으로 구성되어, model-agnostic하게 LLM의 활용 가능성을 향상시킨다는 contribution을 갖는다.
Task Description
본 논문이 다루는 Visualization task는 다음처럼 text input $x$, corresponding data $D$를 기반으로 유저가 원하는 figure $V$를 generate하는 것이다.
MatPlotAgent
MatPlotAgent는 인간의 data plotting process를 mimic한 framework로, query expansion module ⇒ code agent ⇒ visual agent의 순서로 진행된다.
1. Query Expansion
- user의 추상적인 요구사항을 구체화하는 단계로, LLM이 태스크를 처리하기 쉽도록(library specify, importing ..) explicit instruction들을 생성한다.
2. Code Agent
- 앞 단계의 query를 바탕으로 Code Agent는 library들을 활용해 figure generating code를 완성한다.
3. Visual Agent
- 앞 단계에서 생성된 chart를 기반으로 multi-modal LLM을 활용해 visual feedback을 제공한다. feedback을 통해 Code Agent는 개선된 차트를 생성하게 된다.
Evaluation - Scoring Mechanism
논문은 (query, raw data, ground-truth figure) triple로 구성된 MatPlotBench 데이터셋을 구축하는데(포스트에는 따로 정리하지 않음), 자동화된 evaluation 프로세스를 통해 Agent의 성능을 평가한다.
LLM-as-a-judge 방법론의 정당성을 평가하기 위해, 실제 human evaluation도 병렬로 진행해 점수 간의 상관분석을 진행한다. $p<0.05$를 도출하며 model-generated figure를 평가하는 scoring mechanism의 신뢰 가능성을 나타낸다.
실제 결과에서도 MatPlotAgent의 방법론이 Direct decoding이나 CoT 접근에 비해 뛰어난 성능을 보였다(Table 1). model-agnostic하기에 여러 모델 환경 하에서 실험을 진행했으며, visual feedback mechanism의 ablation study를 통해 Nl2VIS 태스크에서 visual signal의 중요성을 나타냈다(Table 4).
Limitations
scientific data visualization은 도메인과 학계에 따라 고려사항이 다르기에, 데이터 구축 및 평가 과정이 특정 도메인에 대해 customize되는 방향으로 발전할 수 있다.