ИИ может звучать как уверенный советчик, хотя он не понимает твою ситуацию так, как её понимает человек. Я увидел это в разговоре о своей работе: ассистент поменял рекомендацию после моего несогласия, но не объяснил, что изменилось в его аргументах.
В этом и есть красивая обёртка ИИ: связная речь, быстрые ответы и ощущение, что кто-то внимательно разобрал твою историю. Но внутри может оказаться эхо разговора, а не надёжное независимое суждение.
Как рекомендация изменилась на ходу
Я попросил ИИ помочь понять, как превратить мой опыт, проекты и идеи в ясное направление для работы и бизнеса. Я рассказал о VEI — приложении для людей, которые приезжают в Норвегию, — и о предыдущем проекте, где заметил проблему и предложил решение.
Сначала ассистент предложил продавать организациям услугу: находить повторяющиеся проблемы и превращать их в цифровые решения. Я ответил, что это слишком расплывчато. Если потенциальный клиент спросит: «Кто ты и зачем ты нам?», такая формулировка не даст ему ясного ответа.
Тогда ассистент резко сменил направление: «Ближайшие 90 дней сделай VEI главным проектом». Это звучало конкретнее. Но он не сравнил VEI с предложением для организаций, не назвал критерии выбора и не объяснил, какие новые факты изменили рекомендацию.
Противоречие пришлось заметить и назвать мне. Ассистент признал, что сменил курс, только после моего замечания. Я не ждал, что он угадает единственный идеальный ответ. Я хотел увидеть логику: что известно, что является предположением и почему один вариант лучше другого.
Если ИИ меняет совет, он должен объяснить, какие факты или критерии изменились. Новый уверенный ответ — ещё не объяснение.
Почему связную речь легко принять за понимание
Разговор убеждает. Ассистент может удержать часть того, что ты рассказал, использовать твои слова и вернуть аккуратный абзац. Возникает ощущение, что собеседник выслушал, взвесил варианты и пришёл к обдуманному выводу.
В этой беседе ответы точнее следовали за моими возражениями, чем за последовательным процессом выбора. Я сказал, что позиционирование расплывчатое, — ассистент переключился на другой проект. Тон остался уверенным, но переход между двумя рекомендациями так и не был объяснён.
Я не утверждаю, что никакая система ИИ не умеет делать полезные выводы или что одна переписка доказывает что-то обо всех моделях. Мой диагноз практический: современный разговорный ИИ не думает и не отвечает за решения так, как человек. Связный ответ не доказывает, что система самостоятельно поняла твою реальную ситуацию.
Это важно, когда речь идёт о бизнесе, работе, деньгах или продукте, над которым ты трудился годами. Идея может быть полезной, но не обязательно правильной.
Этот риск изучали и исследователи
В исследованиях ИИ есть название для замеченной мной склонности: поддакивание (sycophancy) — когда модель соглашается с пользователем или льстит ему вместо того, чтобы в первую очередь стремиться к правдивому ответу. Исследователи Anthropic проверили несколько ассистентов и обнаружили такое поведение в разных заданиях. Они также отметили, что люди порой предпочитают убедительный ответ, совпадающий с их мнением, даже если он менее точен.
Это исследование не доказывает, что каждый ответ ИИ — лишь поддакивание. Оно объясняет, почему одного впечатления «ответ звучит полезно» недостаточно. Вот исследование Anthropic о поддакивании языковых моделей.
В Национальной стратегии Норвегии по искусственному интеллекту среди важных принципов названы прозрачность, объяснимость и осторожное тестирование. Документ опубликован в 2020 году; это не актуальная проверка каждого ИИ-продукта. Но вопросы остаются важными: как проверять систему, показывать её ограничения и определять, кто отвечает за последствия?
Для чего я буду использовать ИИ — и для чего нет
Я продолжу использовать ИИ для поиска идей, организации заметок, первых черновиков и вопросов, о которых я мог забыть. Это реальная польза. Но я не буду принимать ответ за хороший бизнес-совет только потому, что он длинный, персональный и уверенный.
В разговоре о VEI полезным следующим шагом было бы сравнить варианты по одним критериям: аудитория, доказательства, затраты, время, риски и то, чему научит небольшой тест. Вместо этого ассистент выбрал направление, не показав сравнение.
Теперь я прошу не просто рекомендацию:
- Сравни варианты по одинаковым критериям.
- Отдели факты от допущений и неизвестного.
- Приведи сильнейший аргумент против собственной рекомендации.
- Если меняешь совет, объясни, какие новые факты или критерии привели к этому.
- Спроси, какой информации не хватает, вместо того чтобы заполнять пробел красивой догадкой.
Затем я проверяю важные факты вне чата. Раньше я писал о том, почему важно оставлять человеку последнее слово при работе с ИИ и почему демо — ещё не готовый продукт. Финальное решение всё равно принимаю я.
ИИ — не панацея
Об ограничениях ИИ говорят давно. Но полезно увидеть их в обычной переписке: можно дать ассистенту много контекста, получить длинный связный ответ — и всё равно не получить ясности.
Мой вывод простой: ИИ может подкинуть мысль, которую стоит проверить, но не гарантирует правильный совет. Иногда он помогает думать. Иногда создаёт впечатление, что уже подумал за тебя.
Не спрашивай только: «Звучит умно?» Спроси: «На чём это основано? Что могло бы это опровергнуть? Кто отвечает за решение?»
Я Алекс Пат, создаю цифровые продукты в Тронхейме. Больше обо мне — на странице об авторе, в разделе мои проекты и в моём профиле LinkedIn.
Частые вопросы
Можно ли доверять советам ИИ?
Используй их как материал для размышления, а не как доказательство. Перед важным решением проверь факты, допущения и альтернативы.
Почему ИИ поменял рекомендацию?
Ответ зависит от разговора и последнего запроса. Спроси, какие новые факты или критерии изменили вывод, и сравни старый и новый совет на одинаковых условиях.
Значит, ИИ бесполезен?
Нет. Он помогает собирать идеи, структурировать черновики и находить вопросы. Но связная речь не делает его ответственным экспертом.
Как проверить рекомендацию ИИ?
Попроси перечислить факты, допущения, неизвестное и сильнейший аргумент против совета. Важные утверждения проверь по надёжным источникам и с профильным специалистом.
Доказывает ли одна переписка, что ИИ не умеет думать?
Нет. Это не научный тест всех систем. Но переписка может показать практический сбой: модель уверенно меняет направление, не объясняя почему.