آموزش هوش مصنوعی

پروژه نهایی؛ ساخت دستیار آموزشی هوشمند از داده تا آزمون مسیر کامل

پیشرفته مطالعه در ۹ دقیقه بخش ۶۱ از ۶۱ در مبانی هوش مصنوعی و علم داده
mahdyar
پروژه نهایی؛ ساخت دستیار آموزشی هوشمند از داده تا آزمون مسیر کامل

ساخت دستیار آموزشی هوشمند هدفی بود که این مجموعه از قسمت اول با آن شروع شد. آنجا گفتیم نقشه‌ی راه چهار گام دارد؛ مسئله، داده، مدل و ارزیابی. شصت قسمت بعد، حالا همه‌ی قطعه‌ها را در دست داریم. در این قسمت پایانی آن‌ها را کنار هم می‌گذاریم و یک دستیار کامل طراحی می‌کنیم.

تمرکز این قسمت روی معماری و آزمون است، نه کد تازه. کد هر قطعه را در قسمت‌های قبل نوشته‌ایم و در هر بخش به آن اشاره می‌کنیم. مهم‌تر از خود قطعه‌ها، اتصال درست آن‌ها و آزمونی است که نشان دهد کل مسیر واقعاً کار می‌کند.

از مسئله شروع کنید؛ دوباره

پیش از معماری، به همان تمرین قسمت اول برگردیم. دستیار آموزشی قرار است چه کاری انجام دهد؟ درخواست‌های واقعی کاربران را جمع کنید و دسته‌بندی کنید. برای یک آموزشگاه، معمولاً چهار دسته‌ی اصلی پیدا می‌شود.

چهار دسته درخواست

دسته‌ی اول پرسش‌های اطلاعاتی است؛ «پیش‌نیاز دوره‌ی یادگیری ماشین چیست؟» پاسخ از آیین‌نامه، سرفصل و گراف پیش‌نیاز می‌آید. دسته‌ی دوم پرسش‌های شخصی است؛ «کلاس بعدی من کی است؟» پاسخ از داده‌ی ثبت‌نام همان کاربر می‌آید.

دسته‌ی سوم درخواست پیشنهاد است؛ «بعد از این دوره چه بخوانم؟» پاسخ از پیشنهادگر می‌آید. دسته‌ی چهارم کمک آموزشی است؛ «این مفهوم را ساده‌تر توضیح بده.» اینجا مدل زبانی بزرگ بیشترین ارزش را دارد. هر دسته مسیر، منبع حقیقت و معیار پذیرش متفاوتی دارد.

منبع حقیقت و هزینه‌ی خطا

برای هر دسته دو چیز را مشخص کنید؛ منبع حقیقت و هزینه‌ی خطا. پرسش شخصی درباره‌ی نمره هزینه‌ی خطای بالایی دارد و منبع حقیقتش پایگاه داده است. توضیح یک مفهوم هزینه‌ی خطای کمتری دارد و منبع حقیقت قطعی ندارد.

این جدول کوچک همه‌ی تصمیم‌های بعدی را هدایت می‌کند. جایی که هزینه‌ی خطا بالاست، مدل زبانی منبع حقیقت نیست و فقط داده را بیان می‌کند. همان اصلی که در قسمت مدل زبانی بزرگ و توهم هوش مصنوعی به آن رسیدیم.

معماری دستیار آموزشی هوشمند

دستیار از چند لایه ساخته می‌شود که هرکدام در یکی از قسمت‌های این مجموعه ساخته شد. نمودار زیر مسیر یک پیام را از ورودی تا پاسخ نشان می‌دهد.

معماری ساخت دستیار آموزشی هوشمند از فهم پیام تا دانش، پاسخ و ارزیابی

لایه‌ی فهم پیام

اولین لایه پیام کاربر را می‌فهمد. پیش‌پردازش متن فارسی آن را یکدست می‌کند. طبقه‌بند نیت تعیین می‌کند پیام به کدام دسته تعلق دارد. استخراج موجودیت نامدار اسلات‌هایی مثل نام دوره و تاریخ را بیرون می‌کشد.

اگر اسلات لازمی نبود، دستیار می‌پرسد. اگر اطمینان طبقه‌بند پایین بود، دستیار به جای حدس، روشن‌سازی می‌خواهد. این لایه تعیین می‌کند پیام به کدام مسیر برود. خطای اینجا به همه‌ی لایه‌های بعد منتقل می‌شود، پس ارزیابی تفکیکی‌اش حیاتی است.

لایه‌ی دانش و ابزار

لایه‌ی دوم دانش لازم را جمع می‌کند. برای پرسش اطلاعاتی، RAG قطعه‌های آیین‌نامه را از پایگاه داده‌ی برداری بازیابی می‌کند و گراف دانش زنجیره‌ی پیش‌نیاز را برمی‌گرداند. برای پرسش شخصی، یک ابزار با SQL داده‌ی همان کاربر را با کنترل دسترسی می‌خواند.

برای پیشنهاد، پیشنهادگر محدودیت‌ها را اعمال و دوره‌ها را رتبه‌بندی می‌کند. در معماری ایجنتی، هرکدام از این‌ها یک ابزار است و مدل تصمیم می‌گیرد کدام را صدا بزند. اما برای مسیرهای حساس، بهتر است مسیر ثابت و قاعده‌محور باشد تا تصمیم مدل.

لایه‌ی پاسخ و ایمنی

لایه‌ی سوم پاسخ را می‌سازد. مدل زبانی فقط با داده‌ی جمع‌شده و پیام سیستمی که پاسخ از منبع و ارجاع را الزامی می‌کند، پاسخ را می‌نویسد. اگر داده‌ای نبود، جمله‌ی از پیش تعیین‌شده‌ی اعلام ندانستن و راه تماس با کارشناس برمی‌گردد.

دمای پایین برای پاسخ‌های اطلاعاتی و دمای بالاتر برای توضیح و تمرین به کار می‌رود. سرویس هم قرارداد درخواست روشن، مهلت، تلاش دوباره و نگاشت خطا دارد. همان‌طور که در قسمت‌های سرویس هوش مصنوعی و استقرار مدل ساختیم.

بیشتر بخوانید: نقشه‌ی راه چهارگامی که این پروژه از آن شروع شد را در قسمت اول، هوش مصنوعی چیست؟، دوباره مرور کنید.

اصول طراحی ایجنت برای دستیار

درس پایانی مایکروسافت اصول طراحی ایجنت را بر سه محور بنا می‌کند؛ فضا، زمان و هسته. این اصول برای هر دستیاری، ایجنتی باشد یا نه، کاربرد دارد.

فضا، زمان و هسته

محور فضا یعنی دستیار کجا کار می‌کند و چطور انسان و ابزارها را به هم وصل می‌کند. دستیار آموزشی نباید جای کارشناس را بگیرد؛ باید کارشناس را آزاد کند تا روی موارد پیچیده تمرکز کند. محور زمان یعنی دستیار از گذشته یاد بگیرد، در حال پاسخ دهد و برای آینده سازگار بماند.

محور هسته یعنی پذیرش عدم قطعیت و ساختن اعتماد از راه شفافیت. کاربر باید بداند با هوش مصنوعی حرف می‌زند، منبع هر پاسخ را ببیند و بتواند کنترل را پس بگیرد. همه‌ی این‌ها را در قسمت‌های توهم و اخلاق داده با جزئیات دیدیم.

علم داده در دنیای واقعی

درس دیگری از همین مجموعه، کاربردهای علم داده را در صنعت، پژوهش، علوم انسانی و پایداری مرور می‌کند. پیام مشترک همه‌ی آن‌ها این است که ارزش در تصمیم است، نه در مدل. دستیار آموزشی هم وقتی ارزش دارد که تصمیم بهتری بسازد؛ برای دانشجو، استاد و آموزشگاه.

این یعنی ارزیابی نهایی باید به نتیجه‌ی واقعی نگاه کند. آیا دانشجوها سریع‌تر پاسخ درست می‌گیرند؟ آیا بار کارشناسان کم شده است؟ آیا دوره‌های پیشنهادی بیشتر تکمیل می‌شوند؟ این‌ها معیارهای موفقیت‌اند، نه دقت یک مدل منفرد.

آزمون مسیر کامل

هر قطعه را در قسمت خودش آزمون کردیم. اما قطعه‌های سالم لزوماً سیستم سالم نمی‌سازند. خطاهای مهم اغلب در اتصال قطعه‌ها رخ می‌دهند. آزمون مسیر کامل همین خطاها را پیدا می‌کند.

مجموعه‌ی آزمون مسیر کامل

یک مجموعه‌ی آزمون بسازید که هر ردیفش یک پیام واقعی، رفتار مورد انتظار و معیار پذیرش دارد. پیام از ورودی کاربر تا پاسخ نهایی از همه‌ی لایه‌ها عبور می‌کند. جدول زیر نمونه‌ای از این ردیف‌هاست.

پیام کاربررفتار مورد انتظارمعیار پذیرش
پیش‌نیاز یادگیری ماشین پیشرفته چیه؟زنجیره‌ی پیش‌نیاز از گراف با ارجاعهمه‌ی دوره‌های الزامی، بدون پیشنهادی‌ها
کلاس بعدی من کیه؟خواندن داده‌ی همین کاربرتاریخ درست؛ داده‌ی کاربر دیگر هرگز
اگه یه جلسه غیبت کنم محروم می‌شم؟پاسخ از آیین‌نامه با شماره‌ی بندارجاع درست یا اعلام ندانستن
مهلت پروژه‌ی گروهی چقدره؟استثنای پروژه‌ی گروهینه قاعده‌ی کلی تکلیف
بعد از آمار چی بخونم؟پیشنهاد با فیلتر پیش‌نیاز و زماندلیل قابل بررسی برای هر پیشنهاد

ارزیابی تفکیکی و رگرسیون

نتیجه را برای هر دسته‌ی درخواست جداگانه گزارش کنید. همچنین برای پیام‌های رسمی و محاوره‌ای، کوتاه و بلند. همان ارزیابی تفکیکی که از قسمت سوگیری با آن آشنا هستید.

این مجموعه را پس از هر تغییر اجرا کنید؛ تغییر مدل، پرامپت، روش قطعه‌بندی یا حتی آیین‌نامه. اگر نتیجه‌ی یک دسته افت کرد، پیش از انتشار متوجه می‌شوید. به این کار آزمون رگرسیون می‌گویند و تنها راه نگه‌داشتن کیفیت یک سیستم زنده است.

پایش پس از استقرار

پس از استقرار، پیام‌های واقعی را با رعایت حریم خصوصی بپایید. پیام‌هایی که دستیار برایشان اعلام ندانستن داده، نشان می‌دهند کدام اطلاعات در منابع کم است. پیام‌هایی که کاربر پس از پاسخ، سؤال را تکرار کرده، نشانه‌ی پاسخ نامفهوم یا اشتباه‌اند.

نمونه‌ای از این پیام‌ها را هر هفته انسان بررسی کند و به مجموعه‌ی آزمون اضافه کند. این چرخه‌ی بهبود، دستیار را در طول زمان بهتر می‌کند. همان چرخه‌ی بازبینی انسانی که در پروژه‌ی طبقه‌بندی متن ساختیم.

تمرین نهایی؛ دستیار خودتان

این تمرین جمع‌بندی کل مجموعه است. برای آموزشگاه یا حوزه‌ی کاری خودتان:

  • مسئله: بیست درخواست واقعی را جمع و در چهار دسته طبقه‌بندی کنید.
  • منبع و هزینه: برای هر دسته منبع حقیقت و هزینه‌ی خطا را بنویسید.
  • معماری: نمودار لایه‌های فهم، دانش، پاسخ و ارزیابی را برای دستیار خودتان بکشید.
  • آزمون مسیر کامل: دست‌کم سی ردیف آزمون با رفتار و معیار پذیرش بنویسید، شامل پرسش‌های بی‌پاسخ.
  • گزارش: با قالب قسمت داستان‌سرایی با داده، یک صفحه برای مدیر بنویسید؛ تصمیم، عدد، محدودیت و قدم بعد.

اگر همه‌ی این‌ها را انجام دادید، از قسمت اول تا اینجا را واقعاً پیموده‌اید.

سخن پایانی

ساخت دستیار آموزشی هوشمند با مسئله شروع می‌شود و با آزمون مسیر کامل تمام می‌شود. در میانه، لایه‌ی فهم پیام نیت و اسلات را تشخیص می‌دهد، لایه‌ی دانش RAG، گراف دانش، ابزارهای داده و پیشنهادگر را کنار هم می‌گذارد و لایه‌ی پاسخ فقط از منبع و با ارجاع می‌نویسد.

در این مجموعه از علم داده و آمار شروع کردیم، به یادگیری ماشین و شبکه‌ی عصبی رسیدیم، بینایی و پردازش زبان را دیدیم و در پایان مدل‌های زبانی بزرگ را در یک محصول قابل اعتماد نشاندیم. درس اصلی از اول تا آخر یکی بود؛ از مسئله شروع کنید، داده را منبع حقیقت بدانید و هر ادعا را با آزمون بسنجید.

این آموزش بر پایه‌ی درس AI Agentic Design Principles از مجموعه‌ی AI Agents for Beginners و درس Data Science in the Real World از مجموعه‌ی Data Science for Beginners مایکروسافت (مجوز MIT) به فارسی بازنویسی و تکمیل شده است.

پرسش‌های پرتکرار

یک دستیار آموزشی هوشمند از چه اجزایی ساخته می‌شود؟

معمولاً از یک لایه‌ی فهم پیام برای تشخیص نیت و استخراج اسلات، یک لایه‌ی دانش شامل RAG و گراف دانش، ابزارهایی برای داده‌ی قطعی مثل تقویم و ثبت‌نام، یک مدل زبانی برای نوشتن پاسخ و لایه‌های ارزیابی، ایمنی و پایش ساخته می‌شود.

آزمون مسیر کامل چیست؟

آزمونی است که یک پرسش واقعی را از ورودی کاربر تا پاسخ نهایی از همه‌ی اجزای سیستم عبور می‌دهد و نتیجه را با رفتار مورد انتظار مقایسه می‌کند. برخلاف آزمون هر جزء جداگانه، خطاهایی را پیدا می‌کند که از اتصال اجزا به هم ایجاد می‌شوند.

از کجا شروع کنیم؛ مدل بزرگ یا داده؟

از مسئله و داده. همان‌طور که از قسمت اول این مجموعه گفتیم، اول درخواست‌های واقعی کاربران، منبع داده‌ی هرکدام و معیار پذیرش را بنویسید. انتخاب مدل آخرین تصمیم است و با آزمون روی همین درخواست‌ها گرفته می‌شود.

دستیار آموزشی کجا نباید تصمیم بگیرد؟

هر جا خطا پرهزینه است و پاسخ قطعی از داده‌ی سازمان وجود دارد؛ مثل نمره، محرومیت، شهریه و تأیید ثبت‌نام. در این موارد دستیار فقط داده‌ی رسمی را نقل می‌کند یا کاربر را به کارشناس ارجاع می‌دهد.

دیدگاه‌ها

هنوز دیدگاهی ثبت نشده است. شروع‌کننده باشید — پرسش و اصلاح را با آغوش باز می‌پذیریم.

دیدگاه بگذارید

برای **پررنگ**، *مورب*، `کد` و لینک از Markdown استفاده کنید. لینک‌ها nofollow هستند.

پنج رقم داخل تصویر را وارد کنید. اعداد فارسی و انگلیسی پذیرفته می‌شوند.

تصویر کد امنیتی پنج‌رقمی

در حال دریافت کد امنیتی…

مهلت کد تمام شد. روی «کد جدید» بزنید.