5 Effective Chunking Techniques for Large Language Models (LLMs)

1. تقسیم‌بندی با اندازه ثابت (Fixed-Size Chunking): در این روش، متن به بخش‌هایی با اندازه‌های ثابت تقسیم می‌شود، بدون توجه به ساختار طبیعی متن. این روش ساده و کم‌هزینه است ولی از لحاظ درک محتوا محدودیت دارد.

2. تقسیم‌بندی بازگشتی (Recursive Chunking): در این روش، ابتدا متن بر اساس جداکننده‌های اصلی مثل پاراگراف‌ها تقسیم می‌شود. اگر بخش‌های به‌دست‌آمده بیش از حد بزرگ باشند، از جداکننده‌های ثانویه مثل جملات استفاده می‌شود.

3. تقسیم‌بندی مبتنی بر سند (Document-Based Chunking): در این روش، متن بر اساس تقسیمات طبیعی مانند عناوین یا بخش‌ها تقسیم می‌شود که برای داده‌های ساختاریافته مثل HTML یا Markdown مناسب است.

4. تقسیم‌بندی معنایی (Semantic Chunking): در این روش، متن به واحدهای معنایی مثل جملات یا پاراگراف‌ها تقسیم شده و با استفاده از فاصله کسینوسی بین بردارهای این واحدها، چانک‌ها تشکیل می‌شود. این روش زمانی که تغییر معناداری در محتوا رخ دهد، چانک جدیدی ایجاد می‌کند.

5. تقسیم‌بندی مبتنی بر مدل زبانی (LLM-Based Chunking): در این روش، از یک مدل زبانی بزرگ برای تولید چانک‌ها استفاده می‌شود. مدل زبانی متن را پردازش کرده و جملات یا مفاهیم جداگانه‌ای تولید می‌کند که از لحاظ معنایی مستقل هستند. این روش دقت بالایی دارد اما نیازمند محاسبات بیشتری است.