본문 바로가기

말하는 감자

전체 글
106

RAG의 청크 크기와 LLM의 컨텍스트 길이의 관계 LLM 기반 RAG(Retrieval-Augmented Generation) 시스템을 설계할 때,청크 크기(chunk size)와 컨텍스트 길이(context length)는 성능을 좌우하는 핵심 요소다.두 개념은 모두 "모델이 한 번에 이해할 수 있는 텍스트의 범위"와 관련되어 있지만,적용되는 단계와 의미는 다르다.1. 개념 비교 구분 RAG의 청크 크기 (chunk size) LLM의 컨텍스트 길이 (context length) 적용 단계데이터 전처리 (문서 분할)모델 입력 (추론 또는 학습)역할문서를 쪼개는 단위모델이 한 번에 처리할 수 있는 최대 토큰 수단위일반적으로 문자 수(자) 또는 토큰 수항상 토큰 수목적검색 효율과 문맥 일관성의 균형VRAM 관리 및 문맥 유지예시500자, 1000.. 2025. 10. 27.
sllm 튜닝을 위해 모델 선택기! 먼저, 내 컴터 사양을 보면 아래와 같다...!항목사양GPUNVIDIA GTX 1660 SUPER (6GB VRAM)CPUAMD Ryzen 5 3600 (6코어 12스레드, 3.6GHz)RAM16GB저장공간932GB SSD (781GB 사용 중) 새로운걸 하려다가 나의 첫 개인 플젝이었던 냥타로를 비용이 저렴한 sllm을 이용해서 바꿔보기로 했다.아래는 내가 찾아본 후보 모델들! 모델명 파라미터 수 설명 TinyLLaMA-1.1B1.1B매우 가볍고, LoRA 파인튜닝 적합breeze-1.3B (한글 지원)1.3B한국어 문장 생성 품질이 좋음OpenKo-LLaMA-2.1B2.1B한국어 LLaMA 기반, 가벼움Phi-2 (1.3B)1.3BMicrosoft 소형 모델, 구조 최적화KoAlpaca-Po.. 2025. 7. 10.
JWT(JSON Web Token) 개념 및 Django vs FastAPI 비교 ✅ 1. JWT란?JWT (JSON Web Token)는인증(Authentication) 및 권한 부여(Authorization)에 사용되는 토큰 기반 인증 방식이다. 🔹 구조: 3가지 구성xxxxx.yyyyy.zzzzz (Header).(Payload).(Signature) 구성설명Header타입(JWT), 서명 알고리즘(예: HS256)Payload토큰에 담을 사용자 정보, Claims (ex. user_id, exp)SignatureHeader + Payload를 비밀키로 서명 → 위조 방지 🔹 특징Stateless 인증: 서버에 세션 저장 불필요Base64 인코딩: 사람이 읽을 수 있음 (보안 아님)무결성 보장: 서명(Signature)으로 데이터 위조 방지 ✅ 2. JWT 인증 흐름 요약1... 2025. 6. 12.
정규식을 짜기위한 텍스트 추출 import osimport reimport fitz # PyMuPDFfrom dotenv import load_dotenvfrom langchain.schema import Documentfrom dataload.common import sanitize_metadata, save_documents_with_progressload_dotenv()PDF_FILE_PATH = os.path.join("data", "pdf", os.getenv("PDF_PATH"))def extract_pdf_pages(file_path): doc = fitz.open(file_path) return [page.get_text() for page in doc]def parse_table_of_contents(pa.. 2025. 4. 28.

최근댓글

최근글

skin by © 2024 ttuttak

티스토리툴바