забытая сложность в машинном обучение
я уже 4 месяца изучаю ии и думаю что научился базовым вещам. я начал понимать какие есть модели обучения, подходы, смыслы за кодами. так же как работать с некоторыми из них.
на первый взгляд кажется буд-то самое сложное это понимание кода и умение его имплементировать. и на самом деле так и есть, это не просто понять и применить, но впредь это не самое сложное.
помимо кода, вам ещё нужен будет датасет (набор информации, который подаётся компьютеру на изучение и самообучение).
если у вас есть готовый датасет, то это супер, но если его нет, тоо капец) //особенно если вы не умеете обращаться с данными
для начала, его нужно собрать, это могут быть фотографии, наборы текста, звуковые файлы - в зависимости от того что вас интересует.
затем нужно её обработать - привести в формат, чтобы компьютер мог эту информацию прочитать и что-то с ней сделать.
and boy, oh boy those two steps take so much time and effort.
для примера, моём проекте Orama Visual Assistant, как бы мне не нужен датасет его было лень собирать. нужно было сделать тысячи различных фотографий, в разных местах и с разными ракурсами многочисленных предметов.
это дело может показаться простым, но когда доходите до 300 идеи как фотографировать кончаются.
после фотосессии, эти фотографии нужно обработать и подогнать под нужный размер (224×224, вам покажется мало, но представьте себе тысячи таких фотографий на которых будет учиться компьютер - это займет очень много времени!).
ещё один проект в котором я сталкивался с схожей проблемой это NLP chatbot (чат бот, который научен общаться на моих переписках - отвечает как я). просто говоря, нужно было найти схожие слова (чпасибо, спасибо), сгруппировать, затем превратить все группы в числа.
тексты из 20000 сообщений и то это только треть с одним человеком в которых по минимум 5000 различных слов это долго, очень долго.
а ещё ни хочется давать эту работу кому-то потому что это мои переписки. 😂
крч, когда работаете над ии, по мимо кода нужно помнить ещё и о других обязанностях , как датасет.