Data Science/LLM 2

[LLM] LangGraph 개념

핵심 장점사이클 지원 : NetworkX 그림에서 볼 수 있듯 이전 노드로 복귀하는 방식이 가능*NetworkX는 그래프 시각화 라이브러리세밀한 제어 : Autogen CrewAI보다 Wrapping된 코드가 적다. 즉 더 자유로운 커스터마이징 가능특징휴먼 인 더 루프 : 그래프를 구성할 때 사람이 개입해야 하는 부분이 있으면 사람이 개입하는 노드를 만들기도 쉬움 크게 노드(Node), 엣지(Edge), 에이전트(Agent) 세 가지로 구성할 수 있음장표의 그래프 이미지는 LangGraph Studio가 내가 작성한 LangGraph를 시각화해주는 도구. 실제 런타임 환경에서 어떤 노드가 활성화 되고 있는지도 관찰할 수 있다고 함흐름__start__ 노드에서 시작 액션을 주면 agent 노드가 actio..

Data Science/LLM 2025.07.26

[LLM] RAG - Chunking

1. Chunking1.1. 개념청킹이 반드시 단어 단위로 떨어지는 건 아님입력 데이터의 크기에 대한 제한 : LLM 모델에서 질문을 할 때 토큰 제한(질문의 길이)을 말함처리 시간 단축 : 긴 문장보다 짧은 단어 위주가 처리 시간이 더 짧다고 함Splitting = Chunking : 문장을 쪼개는 과정1.2. chunk_size, chunk_overlapchunk_size한 chunk의 크기 (길이에 따라 단어가 될수도, 문장이 될수도)chunk_overlap전체 문장을 chunk로 나눴을 때 앞 chunk와 뒤 chunk의 겹치는 부분.chunk를 자르다보면 chunk_size 때문에 앞, 뒤 어느쪽에도 포함되지 않는 내용들이 발생할 수 있다. 이를 방지하는 것. 1.3. chunk_size, ch..

Data Science/LLM 2025.04.13