Generative Agent 논문 리뷰

🪻 Generative Agent Project

새로운 프로젝트 시작!

---

🍳 주제

Generative Agent

🍳 진행 계획

Zep을 활용해서 구현하고자 한다. 논문 Generative Agents : Interactive Simulacra of Human Behavior의 원리와 코드를 참고하여 관련된 부분을 구현해보고자 한다.

🍳 참고 자료

논문

• Generative Agents: Interactive Simulacra of Human Behavior (https://arxiv.org/abs/2304.03442) 
• Communicative Agents for Software Development (https://arxiv.org/abs/2307.07924)

깃허브

• generative_agents (https://github.com/joonspk-research/generative_agents) 
• ChatDev (https://github.com/OpenBMB/ChatDev)

---

📼 프로젝트 전반적인 이해를 위한 논문 리뷰

Generative Agents : Interactive Simulacra of Human Behavior

 

 

🔑 KEYWORDS

Human-AI interaction, agents, generative AI, large language models

 

 

쉽게 요약하면 AI 끼리 모여 사는 마을을 만들어보자!

 

 

 

1. Introduction

• Generative agents, 에이전트의 변화하는 경험과 환경에 따라 동적으로 조정되는 신뢰할 만한 인간 행동 시뮬레이션
• 생성 에이전트가 기억하고, 검색하고, 반영하고, 다른 에이전트와 상호 작용하며, 동적으로 변화하는 상황을 통해 계획을 세우는 것이 가능하도록 하는 새로운 아키텍처
  • 이 아키텍처는 대규모 언어 모델의 강력한 프롬포트 기능을 활용하며, 이러한 기능을 보완하며 장기 에이전트 일관성을 지원하고, 동적으로 진화하는 메모리를 관리하고, 더 높은 수준의 반영을 재귀적으로 생성
• 제어 평가와 end-to-end 평가, 두 가지 평가를 통해 아키텍처 구성 요소의 중요성과 인과 관계를 확립하고, 잘못된 메모리 검색으로 인한 결함 등의 문제를 확인
• 대화형 시스템에서 생성 에이전트의 기회와 윤리적 및 사회적 위험에 대한 논의

 

2. RELATED WORK
2.1 Human-AI Interaction

• 대화형 인공지능(Interactive AI) 시스템은 인간의 통찰력과 능력을 컴퓨터화된 형태로 결합하여 사용자를 지원하는 것을 목표로 함
• 대화형 시스템을 위해 인간 행동을 대리하는 에이전트를 만들고, 자연어를 사용하여 상호작용할 수 있음

 

2. RELATED WORK
2.2 Believable Proxies of Human Behavior

• 과거에는 신뢰할 수 있는 에이전트를 중심으로 현실적인 행동을 보이는 것이 중요
• 주로 게임 내 NPC로 개발됨
• 그러나 현재의 접근 방식은 주로 제한된 환경에서 작동
• 개방형 세계에서 신뢰 가능한 에이전트를 생성하는 문제는 아직 미해결 상태

이 논문은 대규모 언어 모델을 사용하여 이러한 문제를 해결할 수 있는 아키텍쳐를 제안

 

2. RELATED WORK
2.3 Large Language Models and Human Behavior

 

• 생성 에이전트는 대규모 모델을 활용하여 행동을 제어
• LLM이 훈련 데이터에서 다양한 인간 행동을 인코딩
• 주어진 명확한 문맥으로 프롬포트되면, 모델은 신뢰할 수 있는 행동을 생성하는 데 사용 가능

 

3. GENERATIVE AGENT BEHAVIOR AND INTERACTION

Smallville 샌드박스 세계

 

4. GENERATIVE AGENT ARCHITECTURE

• 생성 에이전트는 다른 에이전트와 상호 작용하고 환경의 변화에 반응할 수 있는 개방형 세계에서 행동을 위한 프레임워크를 제공하는 것을 목표로 함
• 현재 환경과 과거 경험을 입력으로 받아들이고 이를 기반으로 행동을 생성
• 생성 에이전트는 유지해야 하는 이벤트와 메모리의 큰 스트림을 생성하기 때문에, 필요할 때 에이전트의 메모리에서 가장 관련성이 높은 조각을 검색하고 합성하도록 보장하는 것이 가장 핵심

 

이 논문에서 제시하는 생성 에이전트 아키텍처. 에이전트는 환경을 인지하고, 모든 인식은 에이전트의 경험을 포괄적으로 기록하는 메모리 스트림이라는 데이터베이스에 저장됩니다. 이 아키텍처는 인식에 기반하여 관련된 기억을 검색하고 이러한 검색된 작업을 사용하여 행동을 결정합니다. 이러한 검색된 기억은 더 장기적인 계획을 형성하고 더 높은 수준의 반영을 생성하는 데도 사용되며, 이러한 정보는 나중에 사용할 수 있도록 메모리 스트림에 입력됩니다.

 

5. Sandbox Environment Implementation

• The Sims라는 게임에서 영감을 받았음
• Phaser이라는 웹게임 프레임워크로 구성되어 아바타, 맵 등이 임포트됨
• 에이전트의 기본 정보를 포함하는 JSON 데이터 구조를 서버가 관리하면서, 에이전트가 새로운 위치로 이동하거나 샌드박스 오브젝트와 상호작용 할 때마다 JSON을 업데이트 하여 환경을 최신 상태로 유지
• 게임 환경과 자연어 간의 매핑을 통해, 에이전트들은 자신의 주변 환경을 자연어로 인식하고 이를 기반으로 행동을 결정한다. 환경을 탐색하면서 얻은 정보를 기반으로 자신의 환경 트리를 업데이트하게 만든다. 오직 자신이 인식하고 있는 환경의 부분만 안다, 탐색과 경험을 통해 지속적으로 확장된다.
• 에이전트는 사용자의 입력 또는 다른 에이전트와의 상호작용을 통해 발생하는 환경의 변화에 반응하여, 더욱 실감나고 동적인 가상 사회를 구성하게 된다.

에이전트의 기본 정보를 포함하는 JSON 데이터 구조를 서버가 관리

에이전트가 환경 상태와 다른 오브젝트와 상호작용 할 때 마다 JSON을 업데이트하여 환경을 최신 상태로 유지한다.

 

이런 형태로 저장이 된다

주변 환경은 자연어로 매핑 된다. 에이전트는 자신의 주변 환경을 자연어로 인식하고 이를 기반으로 행동을 결정한다.

data Tree structure 형태로 저장이 되지만 이걸 자연어 형태로 저장하게 된다. 에이전트 들은 각자 환경을 이동하면서 각자의 환경 트리 데이터를 갖게 된다. 이 환경 트리 구조는 게임의 모든 지역, 건물, 방,물체 등을 포함할 수 있는 계층적 데이터 구조로 구성된다.

행동에 알맞은 적절한 위치를 확인하기 위해서 에이전트가 저장한 환경 트리를 순회하고, 이를 자연어로 변환하여 언어 모델에 적절한 지역을 찾도록 요청하는 과정을 포함. 이 과정은 재귀적으로 수행되며, 에이전트의 환경 트리의 루트에서 시작하여 가장 적합한 영역을 찾아 내려간다.