Похоже Вы действительно не совсем ясно представляете...
на что замахнулись.
Было бы всё-таки неплохо, если бы Вы строже сформулировали постановку задачи избегая общих рассуждений о том, что "язык постоянно меняется и одновременно очень стабилен" и т.д. Чтобы её мог понять человек, нечитавший Петрова. Что имеем на входе системы, что хотим получить на выходе? Как планируете формировать базу знаний (слова и области "пересечения смыслов") - априорно или путём обучения системы с учителем? Как формализовать "правила, с помошью которых слова связыватся между собой"? Вы уже как-то продумали эти вопросы?
Как задавать тензор текста в общем виде Вам пока непонятно, но мне совершенно непонятно, почему восприятие текста вы пытаетесь свести к одной скалярной(?!) величине? Можете выразить своё отношение к "Отцам и детям" Тургенева и к постам Александра в скалярной форме, а затем объяснить себе и другим, что эти цифры обозначают? Всё ещё настолько сыро, что здесь угадывается не продуманная идея, а пока лишь благое пожелание. Увы.
P.S. И, вообще, я очень скептически отношусь к идее создания искусственного интеллекта, будь то сверхсложная имитация структуры мозга или супернавороченная модель идеального. Но не могу же я в самом запретить Вам заниматься тем, чем Вы хотите на основании общефилосовских положений! Если более чётко сформулируете, что Вы всё-таки хотите получить от Вашей системы, может смогу подбросить пару идеек или скажу куда ходить не надо.
