مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

blog
۱۴۰۳-۱۲-۲۰
11 دقیقه

زبانی بزرگ LLM مانند ChatGPT، که در اواخر ۲۰۲۲ معرفی شد، چت‌بات‌هایی مبتنی بر هوش مصنوعی هستند که توانایی تعامل طبیعی و تولید محتوا در حوزه‌های مختلف را دارند. این مدل‌ها توسط OpenAI توسعه یافته و بر اساس داده‌های وسیع از محتوا و کد آموزش دیده‌اند. LLM‌ها با استفاده از یادگیری عمیق و پردازش زبان طبیعی توسعه می‌یابند و به این دلیل قادر به ایجاد پاسخ‌های منطقی و معنادار هستند. بررسی پتانسیل‌ها و چالش‌های این فناوری large language model اهمیت ویژه‌ای دارد.

مدل زبانی بزرگ LLM چیست؟

مدل‌ زبانی بزرگ (LLM) الگوریتم‌هایی هستند که با استفاده از یادگیری عمیق و داده‌های حجیم برای پردازش زبان طبیعی (NLP) طراحی شده‌اند. این مدل‌ها معمولاً از شبکه‌های عصبی ترنسفورمر استفاده می‌کنند و قادر به انجام وظایفی مانند درک، تولید و پیش‌بینی محتوا هستند. Generative AI، که نوعی از LLM است، به ایجاد محتوای جدید کمک می‌کند.

مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

مدل ترنسفورمر معماری رایج برای مدل‌ های زبانی بزرگ است که از رمزگذار و رمزگشا تشکیل شده و با توکن کردن ورودی داده‌ها را پردازش می‌کند. این مدل با استفاده از مکانیسبم خودتوجهی، روابط بین توکن‌ها را شناسایی کرده و به سرعت از مدل‌های سنتی یاد می‌گیرد. مدل‌های ترنسفورمر می‌توانند برای کارهای مختلفی مانند درک پروتئین‌ها، نوشتن کد و حل مسائل پردازش زبان طبیعی آموزش داده شوند. این مدل‌ها برای حل مسائلی مثل طبقه‌بندی محتوا، پاسخ به سوالات و تولید محتوا به کار می‌روند و در زمینه‌های مختلف مانند مراقبت‌های بهداشتی و مالی کاربرد دارند. همچنین، مدل‌ زبانی بزرگ دارای پارامترهایی هستند که شبیه به حافظه‌های مدل در هنگام یادگیری از آموزش عمل می‌کنند.

اجزای اصلی LLM

مدل‌های زبان بزرگ از چندین لایه شبکه عصبی تشکیل شده‌اند که هر کدام نقش خاصی در پردازش متن دارند. لایه تعبیه ساختار معنایی و نحوی ورودی را تحلیل می‌کند. لایه پیشخور (FFN) خروجی لایه تعبیه را پردازش می‌کند تا مدل بتواند برداشت‌های سطح بالاتری از متن را استخراج کند. لایه بازگشتی کلمات ورودی را به ترتیب تفسیر کرده و روابط میان آن‌ها را مشخص می‌کند. در نهایت، لایه توجه به مدل کمک می‌کند تا روی بخش‌های مهم متن تمرکز کرده و دقیق‌ترین خروجی را ارائه دهد.

مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

سه نوع اصلی از مدل‌ زبانی بزرگ وجود دارد:

  • مدل‌ زبانی عمومی یا خام: کلمه‌ی بعدی را بر اساس زبان موجود در داده‌های آموزشی پیش‌بینی می‌کنند. این مدل‌ زبانی بازیابی اطلاعات را به شیوه‌ای کاربردی انجام می‌دهند.
  • مدل‌ زبانی تنظیم‌شده با دستورالعمل: برای پیش‌بینی پاسخ به دستورالعمل‌های داده شده در ورودی آموزش داده شده‌اند. این امر به آن‌ها اجازه می‌دهد تا تجزیه و تحلیل احساسات را انجام دهند یا متن یا کد بسازد.
  • مدل‌ زبانی تنظیم‌شده با دیالوگ (گفت‌وگو) برای داشتن گفت‌وگو با پیش‌بینی پاسخ بعدی آموزش داده می‌شوند. چت‌بات‌ها یا هوش‌های مصنوعی مکالمه‌محور از این مدل بهره می‌برند.

تفاوت LLM و هوش مصنوعی مولد

 Generative AI اصطلاحی است که به مدل‌هایی که قابلیت تولید محتوا دارند، اطلاق می‌شود. این AI می‌تواند متن، کد، تصاویر، ویدئو و موسیقی تولیدکند. نمونه‌هایی از هوش مصنوعی مولد عبارت‌اند از Midjourney و DALL-E و ChatGPT. مدل‌ زبانی بزرگ نوعی AI مولد هستند که روی متن آموزش می‌بینند و محتوای متنی می‌سازند. ChatGPT یک نمونه محبوب از Generative ai است. همه مدل‌ زبانی بزرگ، هوش مصنوعی مولد هستند.

large language models چگونه کار می‌کنند؟

یک LLM مبتنی بر یک مدل ترنسفورمر است و با دریافت یک ورودی، رمزگذاری آن، و سپس رمزگشایی آن  برای ایجاد یک خروجی کار می‌کند. اما قبل از اینکه یک مدل زبان بزرگ بتواند ورودی متن را دریافت کند و یک خروجی تولید کند، به آموزش نیاز دارد تا بتواند عملکردهای کلی را انجام دهد. همچنین، به تنظیم دقیق نیاز دارد تا آن را قادر سازد وظایف خاصی را انجام دهد. در ادامه هر بخش را توضیح میدهیم.

آموزش

 مدل‌ زبانی بزرگ با استفاده از مجموعه داده‌های متنی بزرگ از سایت‌هایی مانند ویکی‌پدیا، گیت‌هاب یا مشابه آن‌ها از قبل آموزش داده می‌شوند. این مجموعه داده‌ها از تریلیون‌ها کلمه تشکیل شده است و کیفیت آن‌ها بر عملکرد مدل زبانی تأثیر می‌گذارد. در این مرحله، این مدل درگیر یادگیری بدون نظارت می‌شود، به این معنی که مجموعه داده‌های داده شده به آن را بدون دستورالعمل خاصی پردازش می‌کند و مفاهیم پیچیده را درک می‌کند. در طول این فرایند، الگوریتم هوش مصنوعی می‌تواند معنای کلمات و روابط بین کلمات را بیاموزد. همچنین، یاد می‌گیرد که کلمات را بر اساس زمینه و موضوع تشخیص دهد. برای مثال، یاد می‌گیرد که بفهمد “Right” به معنای «درست» است یا «مخالفِ چپ».

مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

تنظیم دقیق (Fine Tuning)

برای اینکه این مدل پردازش زبان بتواند یک کار خاص مانند ترجمه را انجام دهد، باید با آن فعالیت خاص تنظیم شود. تنظیم دقیق عملکرد وظایف خاص را بهینه می‌کند.

تنظیم پرامپت (Prompt Tuning)

 عملکردی مشابه با تنظیم دقیق را انجام می‌دهد و یک مدل را برای انجام یک کار خاص از طریق درخواست چند شات یا درخواست بدون شات آموزش می‌دهد. پرامپت (Prompt) دستوری است که به یک LLM داده می‌شود. پرامپت چند شات به مدل می‌آموزد که خروجی‌ها را از طریق استفاده از مثال‌ها پیش‌بینی کند. به عنوان مثال، در این تمرین تجزیه و تحلیل احساسات، یک پرامپت چند شات به این صورت خواهد بود:

  • Customer review: This plant is so beautiful!
  • Customer sentiment: positive
  • Customer review: This plant is so hideous!
  • Customer sentiment: negative

در مثال بالا، مدل پردازش زبان از طریق مفهوم معنایی “hideous” و به دلیل ارائه مثال مخالف، درک می‌کند که احساس مشتری در مثال دوم “negative” است. از طرف دیگر، دستور صفر شات از مثال‌هایی برای آموزش مدل زبانی برای پاسخ دادن به ورودی‌ها استفاده نمی‌کند. در عوض، پرسش را این‌گونه فرموله می‌کند: “…The sentiment in ‘This plant is so hideous’ is”. این امر به وضوح نشان می‌دهد که LLM باید کدام کار را انجام دهد، اما مثال‌های حل مسئله کاربردی ارائه نمی‌دهد.

مراحل عملکرد LLM

اگر بخواهیم دقیق‌تر نگاه کنیم، می‌توان گفت که مدل‌ زبانی بزرگ طبق یک فرایند گام به گام کار می‌کنند که شامل آموزش و استنتاج می‌شود. در ادامه، توضیح مفصلی در مورد نحوه عملکرد این مدل یادگیری عمیق ارائه می‌دهیم. 

مرحله اول 

جمع‌آوری داده‌ها: اولین گام در آموزش LLM جمع آوری حجم وسیعی از داده‌های متنی است. این داده‌ها می‌تواند از کتاب‌ها، مقالات، وب‌سایت‌ها و سایر منابع متنی نوشته‌شده باشد. هرچه مجموعه داده متنوع و جامع‌تر باشد، درک LLM از زبان و جهان بهتر است.

مرحله دوم 

توکن‌سازی: هنگامی که داده‌های آموزش جمع‌آوری می‌شوند، تحت فرایندی به نام توکن‌سازی (Tokenization) قرار می‌گیرند. توکن‌سازی شامل تجزیه متن به واحدهای کوچک‌تر به نام توکن است. توکن‌ها بسته به مدل و زبان خاص می‌توانند کلمات، زیرکلمه‌ها یا کاراکترها باشند. توکن‌سازی به مدل اجازه می‌دهد تا متن را در سطح دانه‌ای (Granular) پردازش و درک کند.

مرحله سوم 

پیش‌آموزش: در این مرحله، LLM تحت پیش‌آموزی قرار می‌گیرد و از داده‌های متنی توکن‌شده برای درک مفاهیم استفاده می‌کند. مدل یاد می‌گیرد که توکن بعدی را در یک دنباله با توجه به توکن‌های قبلی پیش‌بینی کند. این فرایند یادگیری بدون نظارت به LLM کمک می‌کند تا الگوهای زبان، گرامر و معناشناسی را درک کند. پیش‌آموزش معمولاً شامل گونه‌ای از معماری ترنسفورمر است که مکانیسم‌های خودتوجهی (Self-attention) را برای ثبت روابط بین توکن‌ها در بر می‌گیرد.

مرحله چهارم

معماری ترنسفورمر:‌ LLMها مبتنی بر معماری ترنسفورمر هستند که از چندین لایه مکانیسم‌های خودتوجهی تشکیل شده است. این مکانیسم امتیازات توجه (Attention) را برای هر کلمه در یک جمله با در نظر گرفتن تعامل آن با هر کلمه دیگر محاسبه می‌کند. بنابراین، با اختصاص وزن‌های مختلف به کلمات مختلف، LLMها می‌توانند به طور مؤثر بر مرتبط‌ترین اطلاعات تمرکز کنند و تولید متن دقیق و مناسب را تسهیل کنند.

مرحله پنجم 

تنظیم دقیق:‌ پس از مرحله پیش‌آموزش، LLM را می‌توان بر روی وظایف یا زمینه‌های خاص تنظیم کرد. تنظیم دقیق شامل ارائه داده‌های برچسب‌گذاری شده مخصوص کار به مدل است که به آن امکان می‌دهد پیچیدگی‌های یک کار خاص را بیاموزد. این فرایند به LLM کمک می‌کند تا در کارهایی مانند تجزیه و تحلیل احساسات، پرسش و پاسخ و غیره تخصص پیدا کند.

مرحله ششم 

استنتاج:‌ پس از آموزش این مدل یادگیری عمیق و تنظیم دقیق، می‌توان از آن برای استنتاج استفاده کرد. استنتاج شامل استفاده از مدل برای تولید متن یا انجام وظایف خاص مرتبط با زبان است. به عنوان مثال، با دادن یک درخواست یا یک پرسش، LLM می‌تواند یک پاسخ منسجم تولید کند یا با استفاده از دانش آموخته‌شده و درک زمینه‌ای خود، پاسخی ارائه دهد.

مرحله هفتم 

درک متنی: LLM‌ها در گرفتن متن و ایجاد پاسخ‌های مناسب عالی هستند. آن‌ها از اطلاعات ارائه شده در دنباله ورودی برای تولید متنی استفاده می‌کنند که متون و محتواهای قبلی را در نظر می‌گیرد. مکانیسم‌های خودتوجهی در معماری ترنسفورمر نقش مهمی در توانایی LLM برای گرفتن وابستگی‌های دوربرد و اطلاعات متنی ایفا می‌کند.

مرحله هشتم 

 الگوریتم جستوجوی پرتو محلی: در طول مرحله استنتاج، LLMها اغلب از تکنیکی به نام جست‌وجوی پرتو (Beam Search) برای تولید محتمل‌ترین دنباله توکن‌ها استفاده می‌کنند. جست‌وجوی پرتو یک الگوریتم جست‌وجو است که چندین مسیر ممکن را در فرایند تولید دنباله بررسی می‌کند و محتمل‌ترین نامزدها را بر اساس مکانیسم امتیازدهی پیگیری می‌کند. این رویکرد به تولید خروجی‌های متنی منسجم‌تر و باکیفیت‌تر کمک می‌کند.

مرحله نهم 

تولید پاسخ: LLMها با پیش‌بینی توکن بعدی در دنباله بر اساس متن ورودی و دانش آموخته‌شده مدل، پاسخ‌ها را تولید می‌کنند. پاسخ‌های ایجادشده می‌توانند متنوع، خلاقانه و مرتبط با متن باشند و از زبان انسان‌مانند تقلید کنند.

به طور کلی، LLMها تحت یک فرایند چند‌مرحله‌ای قرار می‌گیرند که از طریق آن مدل‌ها یاد می‌گیرند الگوهای زبان را درک کنند، متن را ضبط کنند و متنی شبیه زبان انسان تولید کنند.

موارد استفاده LLM در هوش مصنوعی چیست؟

مدل‌های زبانی بزرگ را می‌توان برای اهداف مختلف، از جمله موارد زیر استفاده کرد:

  • بازیابی اطلاعات: هر زمان که از ویژگی جست‌وجوی Bing یا Google استفاده می‌کنید، به یک LLM برای تولید اطلاعات در پاسخ به یک پرس‌وجو متکی هستید. این می‌تواند اطلاعات را بازیابی کند، سپس پاسخ را به سبک مکالمه خلاصه کرده و ارتباط برقرار کند.
  • تحلیل احساسات: یکی از کاربردهای آن در پردازش زبان طبیعی است که شرکت‌ها را قادر می‌سازد احساسات داده‌های متنی را تجزیه و تحلیل کنند.
  • تولید متن: مدل‌ زبانی بزرگ مانند ChatGPT پشت هوش مصنوعی هستند و می‌توانند متن را بر اساس ورودی‌ها تولید کنند. آن‌ها می‌توانند در صورت درخواست، نمونه‌ای از متن تولید کنند. به عنوان مثال: “شعری در مورد درختان به سبک سهراب سپهری برای من بنویس.”
  • تولید کد: مانند تولید متن، تولید کد نیز یک کاربرد از Generative ai است. LLMها الگوها را درک می‌کنند و این موضوع آن‌ها را قادر می‌سازد کد تولید کنند.
  • چت‌بات‌ها و هوش مصنوعی محاوره‌ای: مدل‌ زبانی بزرگ، چت‌بات‌های خدمات مشتری یا هوش مصنوعی محاوره‌ای را قادر می‌سازند تا با مشتریان ارتباط برقرار کنند، معنای پرسش‌ها یا پاسخ‌های آن‌ها را تفسیر کنند و به نوبه خود پاسخ‌هایی را ارائه دهند.

علاوه بر این موارد بالا، LLMها می‌توانند جملات را کامل کنند، به پرسش‌ها پاسخ دهند و متن را خلاصه کنند.

مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

با چنین تنوع گسترده‌ای از کاربردها، LLMها را می‌توان در بسیاری از زمینه‌ها یافت:

  • فناوری: مدل‌های زبانی بزرگ در هر جایی از فناوری استفاده می‌شوند، از فعال کردن موتورهای جست‌وجو برای پاسخ دادن به پرسش‌ها گرفته تا کمک به توسعه‌دهندگان با نوشتن کد.
  • مراقبت‌های بهداشتی و علم: مدل‌های زبانی بزرگ توانایی درک پروتئین‌ها، مولکول‌ها، DNA و RNA را دارند. این موقعیت به LLMها اجازه می‌دهد تا در توسعه واکسن‌ها، یافتن درمان بیماری‌ها و بهبود داروهای مراقبت‌های پیشگیرانه کمک کنند. LLMها همچنین به عنوان چت‌بات‌های پزشکی برای مواردی مانند تشخیص‌های اولیه استفاده می‌شوند.
  • خدمات مشتری: LLMها در صنایع برای ارائه خدمات مشتری مانند چت‌بات‌ها یا هوش مصنوعی مکالمه‌ای (محاوره‌ای) مورد استفاده قرار می‌گیرند.
  • بازاریابی: تیم‌های بازاریابی می‌توانند از LLM برای انجام تجزیه و تحلیل احساسات برای تولید سریع ایده‌های کمپین یا متن به عنوان نمونه‌های پیشنهادی و موارد دیگر استفاده کنند.
  • حقوقی: از جست‌وجو در مجموعه داده‌های متنی عظیم گرفته تا قانونگذاری، مدل‌های زبان بزرگ می‌توانند به وکلا، حقوقدانان و کارکنان حقوقی کمک کنند.
  • بانکداری: مدل های یادگیری عمیق می‌توانند از شرکت‌های کارت اعتباری در کشف تقلب پشتیبانی کنند.

مزایای LLM

مدل‌ زبانی بزرگ برای حل مسئله بسیار مفید هستند، زیرا اطلاعاتی را به شیوه‌ای واضح و محاوره‌‌ای ارائه می‌دهند که درک آن برای کاربران آسان است. از مزایای LLM می‌توان به موارد زیر اشاره کرد: 

  • مجموعه بزرگی از کاربردها: می‌توان از آن‌ها برای ترجمه زبان، تکمیل جمله، تجزیه و تحلیل احساسات، پاسخ به سؤال، معادلات ریاضی و موارد دیگر استفاده کرد.
  • بهبود مداوم: عملکرد مدل زبانی بزرگ به طور مداوم در حال بهبود است، زیرا زمانی که داده‌ها و پارامترهای بیشتری اضافه می‌شود، رشد می‌کند. به عبارت دیگر، هرچه LLM بیشتر یاد بگیرد، بهتر می‌شود. علاوه بر این، مدل‌های زبانی بزرگ می‌توانند چیزی را به نمایش بگذارند که «یادگیری درون‌متنی» نامیده می‌شود و به درک عمیق‌تر از مفاهیم کمک می‌کند. هنگامی که یک مدل یادگیری عمیق از قبل آموزش داده شد، پرامپت چند شات به مدل این امکان را می‌دهد که بدون هیچ پارامتر اضافی از دستور یاد بگیرد. به این ترتیب، به طور مستمر در حال یادگیری است.
  • یادگیری سریع: هنگام نمایش یادگیری درون‌متنی، مدل‌ زبانی بزرگ به سرعت یاد می‌گیرند، زیرا به وزن، منابع و پارامترهای اضافی برای آموزش نیاز ندارند. سریع بودن به این معنا است که LLMها به مثال‌های زیادی نیاز ندارند تا مفاهیم را به خوبی درک کنند.

محدودیت‌ها و چالش‌های LLM

ممکن است در مورد مدل‌ زبانی بزرگ چنین تصویر کنیم که معنی را درک می‌کنند و می‌توانند به دقت به آن پاسخ دهند. با این حال، LLMها تنها یک ابزار فناورانه‌اند و با چالش‌های مختلفی روبه‌رو هستند که در ادامه، به برخی از آن‌ها اشاره می‌کنیم. 

  • خطای ادراکی توهم یا خطای ادراکی زمانی است که یک LLM خروجی نادرست یا غیرمنطبق با هدف کاربر تولید می‌کند. مثلاً ادعا می‌کند که انسان است، احساسات دارد یا عاشق کاربر است. از آنجا که مدل‌های زبانی بزرگ کلمه یا عبارت صحیح بعدی را از نظر نحوی پیش‌بینی می‌کنند، نمی‌توانند معنای انسانی را به طور کامل تفسیر کنند. نتیجه گاهی اوقات می تواند چیزی باشد که از آن به عنوان خطای ادارکی یاد می‌شود.
  • امنیت: مدل‌های زبان بزرگ وقتی به درستی مدیریت یا نظارت نمی‌شوند، خطرات امنیتی مهمی را به همراه دارند. آن‌ها می‌توانند اطلاعات خصوصی افراد را فاش کنند، در کلاهبرداری‌های فیشینگ شرکت کنند و هرزنامه ایجاد کنند. کاربران با نیت مخرب می‌توانند هوش مصنوعی را بر اساس ایدئولوژی‌ها یا تعصبات خود برنامه‌ریزی مجدد کنند و به انتشار اطلاعات نادرست کمک کنند. عواقب این موارد می‌تواند در مقیاس جهانی ویران‌گر باشد.
  • سوگیری: داده‌های مورد استفاده برای آموزش مدل‌های زبان بر خروجی‌هایی که یک مدل معین بسازد، تأثیر می‌گذارد. به این ترتیب، اگر داده‌ها مربوط به یک جامعه خاص باشند یا فاقد تنوع باشند، خروجی‌های تولیدشده توسط مدل زبانی بزرگ نیز فاقد تنوع خواهند بود.
  • رضایت: مدل‌ زبانی بزرگ روی تریلیون‌ها مجموعه داده آموزش داده می‌شوند که برخی از آن‌ها ممکن است با توافق و رضایت به دست نیامده باشند. زمانی که LLMها داده‌ها را از اینترنت جمع‌آوری می‌کنند، مجوزهای کپی‌رایت را نادیده می‌گیرند، محتوای نوشته‌شده را سرقت ادبی می‌کنند و محتوای اختصاصی را بدون کسب اجازه از صاحبان یا هنرمندان اصلی تغییر کاربری می‌دهند. هنگامی که نتایج حاصل می‌شود، هیچ راهی برای ردیابی اصل داده وجود ندارد، و اغلب اعتباری به صاحبان آن داده نمی‌شود که این امر می‌تواند کاربران را در معرض مسائل نقض حق نشر قرار دهد. LLMها همچنین ممکن است داده‌های شخصی، مانند نام سوژه‌ها یا عکاسان را از توضیحات عکس‌ها حذف کنند، که می‌تواند حریم خصوصی را به خطر بیندازد.
  • مقیاس‌بندی: مقیاس‌بندی و نگهداری مدل‌ زبانی بزرگ می‌تواند دشوار و زمان‌بر باشد.
  • استقرار: استقرار مدل‌های زبان بزرگ به یادگیری عمیق، مدل ترنسفورمر، نرم‌افزار و سخت‌افزار توزیع‌شده و تخصص فنی کلی نیاز دارد.

نمونه‌هایی از LLMهای محبوب

مدل زبانی بزرگ LLM چیست؟ مفهوم large language model در هوش مصنوعی چیست؟

امروزه، مدل‌های زبانی بزرگ دنیا را درنوردیده‌اند و بسیاری از آن‌ها توسط مردم در صنایع مختلف پذیرفته شده‌اند. بدون شک نام چت‌جی‌بی‌تی (ChatGPT) را شنیده‌اید که یک چت‌بات هوش مصنوعی مولد است.

سایر مدل‌های محبوب LLM عبارت‌اند از:

  • PaLM: مدل زبان مسیرها (PaLM) که توسط گوگل توسعه یافته، یک مدل زبان ترنسفورمر است که قادر به استدلال منطقی و حسابی، توضیح جوک، تولید کد و ترجمه است.
  • BERT: مدل زبانی انکودر دو طرفه نمایشی از ترنسفورمر (BERT) نیز توسط گوگل توسعه داده شده است. این مدل پردازش زبان  مدل مبتنی بر ترنسفورمر است که می‌تواند زبان طبیعی را درک کند و به سؤالات پاسخ دهد.
  • XLNet: یک مدل زبان جایگشتی است و پیش‌بینی‌های خروجی را به صورت تصادفی تولید می‌کند که آن را از BERT متمایز می‌کند. این مدل الگوی کدهای رمزگذاری‌شده را ارزیابی می‌کند و سپس به جای ترتیب متوالی، توکن‌ها را به ترتیب تصادفی پیش‌بینی می‌کند.
  • GPT: ترنسفورمرهای از پیش آموزش دیده مولد شاید شناخته‌شده‌ترین مدل‌ زبانی بزرگ باشند. GPT که توسط OpenAI توسعه یافته است، یک مدل پایه محبوب است که تکرارهای شماره‌گذاری شده آن بهبودهایی نسبت به نسخه قبلی خود (GPT-3 ،GPT-4 و غیره) است. می‌توان این LLM را برای انجام وظایف خاص به صورت دقیق تنظیم کرد. نمونه هایی از این موارد EinsteinGPT است که توسط Salesforce برای CRM و BloombergGPT بلومبرگ برای امور مالی توسعه یافته است.

 

آینده LLMمدل‌ زبانی بزرگ

ورود ChatGPT مدل‌ زبانی بزرگ را به منصه ظهور رسانده و گمانه‌زنی‌ها و بحث‌های داغ در مورد آینده را افزایش داده است. از آنجا که مدل‌های زبانی بزرگ به رشد خود ادامه می‌دهند و تسلط خود را به زبان طبیعی بهبود می‌بخشند، نگرانی‌های زیادی در مورد اینکه پیشرفت آن‌ها چه تأثیری بر بازار کار خواهد داشت، وجود دارد. واضح است که مدل‌های زبان بزرگ احتمالاً توانایی جایگزینی کارگران در زمینه‌های خاص را خواهند داشت. مدل‌ زبانی بزرگ توانایی افزایش بهره‌وری و کارایی فرایند را دارند، اما این موضوع پرسش‌های اخلاقی زیادی را برای استفاده از آن در جامعه بشری مطرح کرده است.

اطلاعات
0
0
لینک و اشتراک
profile

فضیله حمیدی

متخصص الکترونیک

مقالات بیشتر
slide

پالت | بازار خرید و فروش قطعات الکترونیک

قطعات اضافه و بدون استفاده همیشه یکی از سرباره‌‌های شرکتها و طراحان حوزه برق و الکترونیک بوده و هست. پالت سامانه‌ای است که بصورت تخصصی اجازه خرید و فروش قطعات مازاد الکترونیک را فراهم می‌کند. فروش در پالت
family

آیسی | موتور جستجوی قطعات الکترونیک

سامانه آی سی سیسوگ (Isee) قابلیتی جدید و کاربردی از سیسوگ است. در این سامانه سعی شده است که جستجو، انتخاب و خرید مناسب تر قطعات برای کاربران تسهیل شود. وقتی شما در این سامانه، قطعه الکترونیکی را جستجو می‌کنید؛ آی سی به سرعت نتایج جستجوی شما در اکثر فروشگاه‌های آنلاین در حوزه قطعات الکترونیک را نمایش می‌دهد. جستجو در آیسی
family

سیسوگ‌شاپ | فروشگاه محصولات Quectel

فروشگاه سیسوگ مجموعه ای متمرکز بر تکنولوژی های مبتنی بر IOT و ماژول های M2M نظیر GSM، GPS، LTE، NB-IOT، WiFi، BT و ... جایی که با تعامل فنی و سازنده، بهترین راهکارها انتخاب می شوند. برو به فروشگاه سیسوگ
family

سیسوگ فروم | محلی برای پاسخ پرسش‌های شما

دغدغه همیشگی فعالان تخصصی هر حوزه وجود بستری برای گفتگو و پرسش و پاسخ است. سیسوگ فروم یک انجمن آنلاین است که بصورت تخصصی امکان بحث، گفتگو و پرسش و پاسخ در حوزه الکترونیک را فراهم می‌کند. پرسش در سیسوگ فرم
family

سیکار | اولین مرجع متن باز ECU در ایران

بررسی و ارائه اطلاعات مربوط به ECU (واحد کنترل الکترونیکی) و نرم‌افزارهای متن باز مرتبط با آن برو به سیکار
become a writer

نویسنده شو !

سیسوگ با افتخار فضایی برای اشتراک گذاری دانش شماست. برای ما مقاله بنویسید.

ارسال مقاله
become a writer

نویسنده شو !

سیسوگ با افتخار فضایی برای اشتراک گذاری دانش شماست. برای ما مقاله بنویسید.

ارسال مقاله
خانواده سیسوگ

سیسوگ‌شاپ

فروشگاه محصولات Quectel

پالت

سیسوگ فروم

محلی برای پاسخ پرسش‌های شما

سیسوگ جابز
سیسوگ
سیسوگ فروم

سی‌کار

اولین مرجع متن باز ECU در ایران

سیسوگ مگ

آی‌سی

موتور جستجوی قطعات الکترونیکی

سیسوگ آکادمی

پالت

بازار خرید و فروش قطعات الکترونیک

دیدگاه ها

become a writer

نویسنده شو !

سیسوگ با افتخار فضایی برای اشتراک گذاری دانش شماست. برای ما مقاله بنویسید.

ارسال مقاله
become a writer

نویسنده شو !

سیسوگ با افتخار فضایی برای اشتراک گذاری دانش شماست. برای ما مقاله بنویسید.

ارسال مقاله