برچسب

توکن سازی

۱ آموزش با برچسب توکن سازی.

آموزش هوش مصنوعی پیش‌پردازش متن؛ توکن‌سازی، ریشه‌یابی و TF-IDF بدون حذف اطلاعات مهم
متوسط تازه

پیش‌پردازش متن؛ توکن‌سازی، ریشه‌یابی و TF-IDF بدون حذف اطلاعات مهم

پیش‌پردازش متن تعیین می‌کند مدل شما چه چیزی را ببیند و چه چیزی را هرگز نبیند. در این قسمت توکن‌سازی، یکدست‌سازی متن فارسی، ریشه‌یابی و بن‌واژه‌یابی، کلمات توقف، N-gram، کیسه کلمات و TF-IDF را با پایتون یاد می‌گیرید و می‌بینید کدام پاک‌سازی اطلاعات مهمی مثل منفی بودن جمله را پاک می‌کند.

mahdyar مطالعه در ۸ دقیقه