Jeongsk

프롬프트 형식이 LLM 성능에 영향을 미치는가

14 min read

https://arxiv.org/pdf/2411.10541

Tldr

이 논문은 다양한 프롬프트 형식 스타일이 대규모 언어 모델 (LLM)의 성능에 어떻게 영향을 미치는지 조사합니다.

소개

대규모 언어 모델(LLM)과 상호 작용할 때 프롬프트 형식은 얼마나 중요할까요? 연쇄 사고 추론 및 컨텍스트 내 학습과 같은 프롬프트 엔지니어링 기술에 상당한 관심이 쏠렸지만, 프롬프트의 구조적 표현이 모델 성능에 미치는 영향에 대한 연구는 상대적으로 부족합니다.

Jia He, Mukund Rungta, David Koleczek, Arshdeep Sekhon, Franklin X Wang, Sadid Hasan(Microsoft 및 MIT 소속)의 이번 연구는 다양한 프롬프트 형식이 OpenAI의 GPT 모델 성능에 미치는 영향을 체계적으로 조사하여 이러한 격차를 해소합니다.

그림 1: 다양한 프롬프트 형식 스타일(Markdown, 일반 텍스트, YAML, JSON)과 각 형식에 따른 성능 정확도.

연구 목표

연구자들은 세 가지 기본적인 질문에 답하고자 했습니다.

  1. 민감도: GPT 모델 성능은 프롬프트 형식에 따라 얼마나 달라지는가?
  2. 일관성: GPT 모델은 다양한 프롬프트 구조로 제시될 때 동일한 쿼리에 대해 균일한 응답을 생성하는가?
  3. 전이성: 다양한 GPT 모델에서 잘 작동하는 최적의 프롬프트 형식이 있는가?

이러한 질문은 LLM에 대한 현재 평가 방식이 일반적으로 고정된 프롬프트 템플릿에 의존하여 모델의 실제 성능에 대한 불완전한 그림을 제공할 수 있기 때문에 중요합니다. 형식 민감도를 이해하면 이러한 점점 더 중요해지는 AI 시스템에 대한 보다 정확한 평가와 더 나은 배포 전략으로 이어질 수 있습니다.

방법론

연구자들은 체계적인 접근 방식을 사용했습니다.

  • 형식 선택: 콘텐츠와 의미는 형식 간에 일관성을 유지하면서 일반 텍스트, Markdown, YAML, JSON의 네 가지 다른 프롬프트 형식을 테스트했습니다.

  • 모델 선택: Azure를 통해 OpenAI의 GPT-3.5 및 GPT-4 모델에서 다양한 컨텍스트 창 크기를 가진 여러 버전을 포함하여 실험을 수행했습니다.

  • 작업 다양성: 자연어 이해, 코드 생성 및 번역에 걸쳐 6개의 벤치마크 데이터 세트를 사용했습니다.

    • MMLU(Massive Multitask Language Understanding)
    • NER Finance(개체명 인식)
    • HumanEval(코드 생성)
    • FIND(이미지 설명)
    • CODEXGLUE(코드 번역)
    • HumanEval-X(다국어 코드 생성)

  • 프롬프트 구조: 모든 프롬프트는 페르소나, 작업 지침, 예제, 출력 형식 지침 및 사용자 쿼리의 다섯 가지 구성 요소를 포함했습니다.

  • 메트릭: 성능은 작업에 적합한 메트릭(정확도, pass@1, BLEU 점수)과 IoU(Intersection-over-Union) 및 CMD(Coefficient of Mean Deviation)를 포함한 일관성 분석을 위한 새로운 메트릭을 사용하여 측정했습니다.

이러한 접근 방식을 통해 콘텐츠와 의미를 제어하면서 프롬프트 형식이 LLM 성능에 미치는 영향을 엄격하게 조사할 수 있었습니다.

주요 결과

연구 결과는 몇 가지 놀라운 통찰력을 보여주었습니다.

  1. 형식이 매우 중요: GPT-3.5 모델은 프롬프트 형식에 따라 최대 40%의 성능 변화를 보였으며, 특히 코드 번역 작업에서 그러했습니다.

  2. 모델 진화가 형식 민감도에 영향: GPT-4와 같은 최신 모델과 대규모 모델은 일반적으로 형식 변화에 더 강건하지만 여전히 형식에 따라 주목할 만한 성능 차이를 보입니다.

  3. 보편적으로 가장 좋은 형식은 없음: 모든 작업과 모델에서 다른 형식보다 일관되게 우수한 단일 프롬프트 형식은 없습니다.

  4. 모델별 형식 선호도: GPT 모델마다 특정 형식에 대한 선호도가 다릅니다.

    • GPT-3.5 모델은 일반적으로 JSON 형식에서 더 나은 성능을 보입니다.
    • GPT-4 모델은 Markdown 형식을 선호하는 경향이 있습니다.

  5. 제한적인 전이성: 한 모델에 최적화된 형식이 동일한 제품군 내에서도 다른 모델로 거의 전이되지 않습니다.

그림 2: 다양한 프롬프트 형식에 따른 응답 유사성을 보여주는 다양한 GPT 모델의 일관성 매트릭스. 값이 높을수록 (빨간색) 일관성이 높음을 나타냅니다.

다양한 작업에서의 성능

프롬프트 형식의 영향은 작업에 따라 크게 다릅니다.

그림 3: 다양한 형식과 모델에 대한 MMLU, HumanEval, CODEXGLUE 작업 간의 성능 비교.

  • MMLU (지식 기반 질문): 두 GPT-4 모델 모두 GPT-3.5 모델보다 상당히 높은 성능을 보였습니다. GPT-4의 경우 YAML 및 JSON 형식이 가장 우수한 성능을 보였으며, GPT-3.5의 경우 JSON 형식이 뚜렷한 이점을 보였습니다.

  • 코드 생성 (HumanEval): GPT-4 모델은 GPT-3.5에 비해 상당한 성능 향상을 보였으며, 형식 차이는 GPT-3.5에서 더욱 두드러졌습니다. 최신 GPT-4-32k 모델은 JSON 형식이 다른 형식보다 현저히 저조한 특이한 동작을 보였습니다.

  • 코드 번역 (CODEXGLUE): 일반 텍스트는 모든 모델에서 일관되게 저조한 성능을 보였으며, 구조화된 형식 (특히 JSON 및 Markdown)은 장점을 보였습니다.

  • 도메인별 성능: 형식 선호도는 MMLU 데이터 세트 내의 지식 도메인에 따라 달랐습니다.

그림 4: 다양한 지식 도메인에서 형식 성능은 모델과 분야별로 다양한 선호도를 보여줍니다.

인문학 및 사회 과학 분야에서는 구조화된 형식이 뚜렷한 이점을 보였고, STEM 분야에서는 차이가 덜 두드러졌습니다.

모델 일관성 및 형식 선호도

또한 이 연구에서는 모델이 다양한 형식이 주어졌을 때 얼마나 일관성 있게 성능을 발휘하는지 조사했습니다.

그림 5: 다양한 형식에 대한 모델 간 성능 분포. 점이 높을수록 성능이 좋습니다.

CMD (Coefficient of Mean Deviation) 메트릭은 다음을 보여주었습니다.

  • GPT-3.5 모델은 형식에 대한 민감도가 높습니다.
  • GPT-4-1106-preview는 형식 간에 가장 일관된 성능을 보였습니다.
  • GPT-4-32k는 예상외로 이전 모델에 비해 형식 민감도가 증가했습니다.

그림 6: 각 모델이 다양한 작업에서 형식 변경에 얼마나 민감한지를 보여주는 평균 편차 계수.

형식 전이성

실무자에게 중요한 질문은 형식 선호도가 모델 간에 전이되는지 여부입니다. 연구 결과는 제한적인 전이성을 시사합니다.

그림 7: 형식의 성능 순위가 모델 간에 어떻게 전이되는지를 보여주는 전이성 히트맵.

히트맵은 GPT-3.5와 GPT-4 모델 간의 명확한 구분을 보여주며, 이는 형식 선호도가 모델 제품군 간에 잘 전이되지 않음을 나타냅니다. 즉, 한 모델에 최적화된 프롬프트 형식이 동일한 모델 시리즈 내에서도 다른 모델에 최적화되지 않을 수 있습니다.

MMLU 및 FIND와 같은 특정 작업의 경우 전이성 패턴이 훨씬 더 두드러집니다.

그림 8: MMLU 및 FIND 작업에 대한 작업별 전이성 패턴.

시사점

이러한 발견은 다음과 같은 몇 가지 중요한 시사점을 갖습니다.

  1. 평가 방법론: 고정된 프롬프트 템플릿을 사용하는 현재의 벤치마킹 방식은 모델의 능력을 정확하게 반영하지 못할 수 있습니다. 형식 변형을 통합하면 보다 포괄적인 평가를 제공할 수 있습니다.

  2. 프롬프트 엔지니어링: LLM을 배포할 때 조직은 여러 프롬프트 형식을 테스트하여 특정 모델 및 사용 사례에 대한 최적의 구성을 찾아야 합니다.

  3. 모델 개발: 모델 버전 간의 다양한 형식 민감도는 형식 견고성이 미래 LLM의 중요한 학습 목표가 될 수 있음을 시사합니다.

  4. 인간-AI 상호 작용: 형식 선호도에 대한 이해는 인간-AI 협업을 위한 보다 효과적인 인터페이스로 이어져 사용자 경험과 모델 유용성을 향상시킬 수 있습니다.

  5. 연구 방향: 이 연구는 모델이 이러한 선호도를 나타내는 이유와 보다 형식에 강력한 시스템을 설계하는 방법에 대한 향후 연구를 위한 길을 열어줍니다.

결론

이 연구는 프롬프트 형식이 LLM 성능에 중요하고 종종 간과되는 영향을 미친다는 것을 보여줍니다. 그 효과는 모델, 작업 및 지식 영역에 따라 다르며 보편적으로 최적의 형식은 나타나지 않습니다. 최신 및 대형 모델은 형식 변형에 더 강력한 경향이 있지만 여전히 선호도를 보입니다.

실무자에게 중요한 점은 분명합니다. LLM을 배포할 때 최적화 프로세스의 일부로 다양한 프롬프트 형식을 테스트해야 합니다. 연구자에게 이러한 결과는 형식 민감성을 고려한 보다 포괄적인 평가 방법의 필요성을 강조합니다.

저자들이 언급했듯이, 이 연구는 GPT 모델의 형식 민감성에 대한 초기 탐구를 나타내며, 이러한 결과를 다른 모델 제품군(예: LLaMA, Gemini 및 PaLM)으로 확장하고 HTML 및 XML과 같은 추가 형식 지정 방법을 조사하려면 추가 연구가 필요합니다.

이러한 형식 선호도와 민감도를 이해하는 것은 LLM이 중요한 애플리케이션과 시스템에 더욱 통합됨에 따라 점점 더 중요해질 것입니다.

그래프 뷰