Code Docs

Call LLM Node (LLM 호출 노드)

개요

Call LLM (LLM 호출) 노드는 프롬프트 구성과 멀티모달 LLM 생성 기능을 결합한 강력한 컴포넌트입니다. 이 노드를 통해 체계적인 프롬프트를 작성하고 구성된 LLM 서비스를 사용하여 응답을 생성할 수 있습니다.

이 노드는 LLM과 상호작용을 할 때 사용되는 주요 노드로, 많은 플로우 그래프에 포함되어 있습니다. 이 노드의 사용법을 익히시는 것이 성공적인 생성형 AI 애플리케이션 개발에 가장 중요한 요소가 될 것입니다.

설명

이 노드는 프롬프트 작성과 LLM 응답 생성을 복합적으로 담당하며, LLM의 파라미터 설정도 가능합니다. 다양한 생성 옵션을 지원하며, 응답을 생성할 때 참조한 지식도 추출할 수 있습니다.

사용 가이드라인

1. 역할 설정
   • 적합한 역할을 선택하세요.
     • Chat: 텍스트 응답 생성용
     • 이미지, 비디오 또는 오디오: 미디어 생성용
2. 생성 옵션

• 연결된 챗봇에서 자동 응답 표시를 활성화/비활성화
• RAG 기반 호출에서 지식 세그먼트 추출 활성화
• 사용자 피드백용 적절한 대기 메시지 설정

1. 템플릿 구성
   • 토큰 제한 설정
   • 파라미터 설정
2. LLM 서비스
   • 호환 가능한 LLM 서비스 선택
   • 서비스 별 파라미터 설정

워크플로우 패턴

• 기본 대화 플로우
• 지식 기반 흐름
• 멀티모달 플로우

Table of Contents

주요 기능

• 역할 기반 프롬프트 구성
• 맞춤형 생성 옵션
• 지식 추출 기능
• 템플릿 기반 프롬프트 작성
• 유연한 LLM 서비스 통합

이럴 때 사용하세요

• AI 콘텐츠 생성
• 대화의 다음 단계 처리
• 프롬프트에 대한 사용자 응답 처리
• 기존 대화 흐름 이어가기

이렇게 사용하세요

• 토큰 제한을 적절히 설정하여 내용이 잘리지 않도록 방지하세요.
• 최적의 결과를 생성 할 수 있도록 프롬프트를 효율적으로 구조화하세요.
• 맥락 참조가 중요한 경우 지식 추출을 활성화하세요.
• 사용자 경험 향상 위해 대기 메시지를 설정하여 제공하세요.

파라미터

역할

개요

생성 옵션은 LLM이 콘텐츠를 생성하고 처리하는 방식을 제어하며, 가시성 설정, 지식 추출, 생성 중 사용자 피드백 제공 등을 포함합니다.

설정 구성

생성 옵션은 구성할 수 있는 세 가지 주요 설정으로 구성됩니다.

사용 가이드라인

역할 지정하기

• 작업 플로우에 적합한 생성 유형을 식별합니다.
• 관련 서비스 어댑터에 접근하기 위해 적절한 역할을 선택합니다.
• 선택한 역할에 해당하는 서비스 어댑터를 확인합니다.
• 각 서비스의 고유한 설정을 구성하여 요구 사항에 맞춥니다.
• 설정된 파라미터에 따라 다양한 유형의 출력물이 생성될 수 있습니다.

생성 옵션

개요

생성 옵션은 LLM이 콘텐츠를 생성하고 처리하는 방식을 제어하며, 여기에는 가시성 설정, 지식 추출, 생성 중 사용자 피드백 등이 포함됩니다.

구성 구조

생성 옵션은 다음 세 가지 주요 설정으로 구성되며, 사용자 요구에 따라 구성할 수 있습니다

| --- | --- | --- |

참조사항