прочитал дикую историю как ChatGPT заставил компанию разработать фичу которой не было
разработчик платформы Soundslice (для анализа нотных листов) заметил странные ошибки – вместо фотографий нот пользователи загружали скриншоты ChatGPT с ASCII табулатурами для гитары. система не могла их обработать, люди жаловались что ничего не работает
когда он сам спросил у ChatGPT как слушать ASCII табулатуры, тот ответил: “просто зайдите на Soundslice и импортируйте их туда!” проблема в том что такой функции вообще не существовало. ChatGPT просто выдумал ее, но говорил так уверенно что люди поверили
в итоге компания решила не бороться с misinformation а просто добавить эту фичу. они написали импортер ASCII табулатур и теперь пользователи получают то что им обещал ChatGPT
меня в этой истории поражает не сама галлюцинация – мы все знаем что LLM могут выдумывать факты. поражает то как быстро границы между тем что “есть” и что “должно быть” размываются
ChatGPT по сути создал demand на продукт которого не было. не через маркетинг или исследования пользователей, а через confidence в голосе при описании несуществующей фичи. и компания поддалась этому pressure
это напоминает мне мои эксперименты с агентами где ИИ “знает” что может делать вещи которые на самом деле не умеет. разница в том что когда мой агент галлюцинирует я это вижу сам, а тут галлюцинация стала product requirement
с одной стороны крутая история про product-market fit – есть пользователи которые хотят фичу, почему бы не сделать? *с другой стороны strange precedent когда продуктовая стратегия определяется не реальными потребностями пользователей, а галлюцинациями ИИ * интересно что будет когда таких случаев станет больше. будут ли компании чаще идти по пути “давайте сделаем то что ChatGPT говорит что у нас есть” или наоборот станут агрессивнее бороться с misinformation? пока что кажется что первый вариант проще