продолжаю размазывать анимешников по сфере
с того дня прошла почти неделя и я значительно продвинулся дальше.
для контекста расскажу что я тогда делал. я делал рекомендационную систему аниме, а точнее пытался предсказать какой рейтинг анимешник поставит аниме.
в тот раз средняя ошибка была 4.8, учитывая что оценка прохиодит по шкале от 0 до 10, то мои предсказания были хуже чем рэндом или фиксированный ответ.
причина тому была моя лень, ведь я бросил данные в нейронную сеть и ожидал результатов. но не все так просто ыхых
оказалось что многие люди после просмотра аниме не ставят рейтинг, что обозначалось 0 в данных. тем самым я предсказывал что анимешник поставит рейтинг 0 на аниме которое могло ему понравится.
после фикса этого бага, средняя ошибка стала 2.19, что значительно лучше. хоть не рэндом.
потом я подумал что у каждого анимешника и аниме должен быть свой собственный bias. reasoning эа этим был что вдруг некоторые люди в среднем высоко ставят, а некоторые низко. это подняло ошибку до 2.28, что не хорошо, но я оставлю потому что моя логика вроде верна.
далее, я пытался заметить что-то полезное о данных размазывая анимешников по сфере. но ничего интересного не нашел. НО! я заметил что всех анимешников можно репрезентовать как 3 данные, хотя я на них выделил 5 измерений.
есть такая штука PCA (principle component analysis) это когда из данных оставляют измерения, которые характеризуют их лучше всего.
так вот. из 5, только 3 были важные. что странно. люди очень сложные существа, а вкусы каждого из них можно описать 3 числами. и аниме очень разное, а нужно только 3 числа.
мне это не понравилось и я поставил dropout на embedding-и анимешников и аниме. так же я увеличил embedding-и до 7 мерных векторов.
после тренки PCA показывал что все 7 измерений одинаково важны, а средняя ошибка упала аж до 1.76
зачем я делаю рекомендационную систему ониме?
мне нравится смотреть аниме. в основном я смотрю его на jut.su, он очень навороченнный. есть достижения при просмотре определенных сцен, перемотка опеннинга, сохраняется место где ты прекратил просмотр. так же у них есть оригинальные арты на обои сайта для многих аниме.
мне очень нравится этот сайт и поэтому я хотел бы в него contribute-нуть путем добавления рекомендационной системы аниме.
я уже два года ставлю у них отзывы и рейтинги, но у меня в рекомендациях аниме которое я уже видел. возможно они не имплементировали персональные рекомендации.
этот проект открыт для предложений. поэтому думаю может получится.
еще неделю буду улучшать результаты, и напишу им.