BERT

ترنسفورمر چیست؟ سازوکار توجه، کدگذاری موقعیتی و BERT به زبان ساده

ترنسفورمر چیست و چطور همه مدل‌های زبانی بزرگ امروز بر آن ساخته شده‌اند؟ در این قسمت مشکل گلوگاه در مدل‌های دنباله‌به‌دنباله، سازوکار توجه، توجه به خود با پرسش، کلید و مقدار، توجه چندسری، کدگذاری موقعیتی و سه خانواده رمزگذار، رمزگشا و BERT را با کد PyTorch و مدل فارسی یاد می‌گیرید.