Я нарешті розібрався, як токени перетворюються в числа

Що таке embedding і як мовна модель перетворює слова на числа? У цьому відео розбираємо, як токени отримують вектори, чому схожі значення опиняються поруч і як мова перетворюється на геометрію. 🎓 Рекомендований воркшоп Кирила Сулімовського із Harness Engineering: https://hi.switchy.io/107ZA На воркшопі розбиратимуть, що знаходиться навколо AI-моделі: системні інструкції, інструменти, контекст, цикл агента та хуки. Також учасники зберуть власний харнес для AI-агента. У відео: — що таке embedding та векторне представлення; — як токен перетворюється на список чисел; — що означає розмірність embedding; — чому координати можуть бути додатними й від’ємними; — як відстань і кут показують схожість; — що таке косинусна схожість; — як працюють проєкції багатовимірного простору; — чому «кіт» ближчий до «собаки», ніж до «яблука»; — як працює арифметика векторів; — чому один токен може отримувати різні представлення залежно від контексту; — як embeddings використовують у семантичному пошуку, RAG і рекомендаційних системах. Тривимірна графіка у відео — це спрощена модель. Реальні embeddings можуть мати сотні або тисячі вимірів, а значення слова визначає не одна координата, а весь вектор та його положення відносно інших векторів. Напишіть у коментарях, яку тему розібрати наступною: attention, токенізацію, RAG чи векторні бази даних. Підписуйтеся на «Відчайдушного програміста», якщо хочете розуміти, як AI працює під капотом, без магії та маркетингового туману. #Embedding #Embeddings #ШтучнийІнтелект