Що таке токени і як насправді LLM працює з текстом?

🚀 *Agentic Engineering Workflow від Кирила Сулімовського:*
https://cutt.ly/MyhjEXgX

У цьому відео розбираю, як текст перетворюється на токени, звідки вони беруться, як формується словник токенів і чому різні моделі можуть по-різному токенізувати один і той самий текст.

Поговоримо про:
— як LLM перетворює текст на числа;
— як працює токенізація;
— як формуються нові токени;
— чому слово може складатися з одного або кількох токенів;
— чому пробіл теж може бути частиною токена;
— як мова та мова програмування впливають на кількість токенів;
— і чому все це важливо при роботі з LLM.

Саме з навчання Кирила я почав глибше занурюватися в агентну розробку та всякі цікаві штуки, які відбуваються «під капотом» LLM. Якщо вас цікавить побудова AI-агентів і agentic workflow для розробки програмного забезпечення — рекомендую подивитися.

Якщо відео було корисним — ставте лайк, підписуйтесь і пишіть у коментарях, які ще теми про LLM та агентне програмування варто розібрати.

Підтримуйте український YouTube 🇺🇦
І в першу чергу — підтримуйте ЗСУ.

#AI #LLM #ChatGPT #токени #програмування #штучнийінтелект #AgenticAI