فریم‌ورک ParsBench

فریم‌ورک ParsBench چیست؟

فریم‌ورک ParsBench یک پروژه متن‌باز است که مجموعه ابزاری برای بنچ‌مارک و سنجش مدل‌های بزرگ زبانی (LLM) در زبان فارسی را ارائه می‌دهد. شرکت‌ها و افراد مختلف می‌توانند با کمک این ابزار مدل‌های زبانی خود را در تسک‌ها و وظایف مختلف از جمله استدلال منطقی، ریاضیات، اطلاعات عمومی و… مورد سنجش قرار دهند.

یکی از فعالیت‌های مهم ParsBench، تهییه و تولید دیتاست‌های مطرح انگلیسی به زبان فارسی و همچنین تولید دیتاست‌های فارسی از صفر است. تمرکز این دیتاست‌ها روی بحث‌های مرتبط با سنجش LLMها می‌باشد.

همچنین ParsBench دارای Leaderboardای در HuggingFace است که در آن به مقایسه مدل‌های زبانی در فارسی می‌پردازد. شرکت‌ها، استارتاپ‌ها و حتی کاربران عادی نیز می‌توانند به کمک این لیدربورد، مدل مناسب را در وظیفه مناسب انتخاب کنند.

گیت‌هاب پروژه:

https://github.com/shahriarshm/parsbench

هاگینگ‌فیس پروژه:

https://huggingface.co/ParsBench

چرا نیاز به حمایت داریم؟

پروژه ParsBench بصورت آزاد و توسط شهریار شریعتی هدایت می‌شود. تمامی هزینه‌های این راه با حمایت شرکت‌ها و اشخاص علاقه‌مند صورت گرفته و تمامی محصولات این پروژه نیز بصورت آزاد و رایگان در اختیار همگان قرار می‌گیرد. شما با حمایت از این پروژه می‌توانید در این مسیر همراه ما باشید.