پرش به محتوا

مدل‌های بنیادی

از ویکی‌پدیا، دانشنامهٔ آزاد

یک مدل بنیادی (به انگلیسی: foundation model) که مدل پایه‌ای‌ (به انگلیسی: base model) هم نامیده می‌شود،[۱] یک مدل یادگیری ماشینی بزرگ (ML) است که بر روی حجم وسیعی از داده‌ها در مقیاس بزرگ آموزش داده شده (اغلب به صورت یادگیری خودنظارتی یا یادگیری نظارتی ضعیف)[۲] که می‌تواند تبدیل به مدلی شود که با با طیف گسترده‌ای از وظایف دستی سازگار گردد.[۳][۴] مدل‌های بنیادی تحول اساسی در نحوه ساخت سیستم‌های هوش مصنوعی داشته‌اند از جمله آنها می‌توان به بات مکالمه و سایر هوش مصنوعی کاربر-محور اشاره کرد. مرکز تحقیقات مدل‌های بنیادی (CRFM) از مؤسسه هوش مصنوعی انسان محور استنفورد (HAI) این اصطلاح را رایج کرد.[۳]

نمونه‌های اولیه مدل‌های بنیادی، مدل‌های زبانی بزرگ (LLM) از پیش آموزش‌دیده‌شده مثل مدل زبانی برت شرکت گوگل[۵] و مدل‌های اولیه پایه خانواده جی‌پی‌تی شرکت اوپن‌ای‌آی است. چنین مدل‌های گسترده‌ای می‌توانند با استفاده از مجموعه داده‌های مختلف، وظیفه‌های خاصی را انجام دهند مانند کمک‌های پزشکی و…[۶]

فراتر از متن، چندین مدل پایه بصری و چندوجهی نیز ساخته شده‌است از جمله دال-ئی[۷] مدل‌های بنیادی بصری (VFM) با مدل‌های زبانی بزرگ مبتنی بر متن ترکیب شده‌اند تا مدل‌های پیچیده‌ای برای کار خاص ایجاد کنند.[۸]

منابع

[ویرایش]
  1. Perrigo, Billy (13 April 2023). "The A to Z of Artificial Intelligence". Time. Retrieved 22 May 2023.
  2. Goled, Shraddha (7 May 2021). "Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ". Analytics India Magazine. Retrieved 22 May 2023.
  3. ۳٫۰ ۳٫۱ "Introducing the Center for Research on Foundation Models (CRFM)". Stanford HAI. Retrieved 11 June 2022.
  4. Goldman, Sharon (2022-09-13). "Foundation models: 2022's AI paradigm shift". VentureBeat. Retrieved 2022-10-24.
  5. Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (2020). "A Primer in BERTology: What we know about how BERT works". arXiv:2002.12327 [cs.CL].
  6. Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. (January 2021). "Language models are an effective representation learning technique for electronic health record data". Journal of Biomedical Informatics. 113: 103637. doi:10.1016/j.jbi.2020.103637. ISSN 1532-0480. PMC 7863633. PMID 33290879.
  7. Tackling multiple tasks with a single visual language model, 28 April 2022, retrieved 13 June 2022
  8. Chenfei Wu; et al. "Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models". Cornell University. Retrieved 22 May 2023.