Сингулярність я уявляв інакше. Не як вибух інтелекту, а як тихий момент, коли людина перестає бути тією, хто веде.
Не AI стає небезпечним, коли людина ним користується. Небезпечно стає тоді, коли людина перестає бути автором рішень: не перевіряє, не розуміє, не бере на себе відповідальність — а просто передає кермо машині, яка дуже переконливо генерує текст.
Вперше я побачив це не в фантастичному фільмі, а на своєму проекті.
Як я сам працюю з AI
Ми, як і більшість, використовуємо AI на проектах, із різною успішністю. Я не пишу код, але вирішую ті самі задачі, що й розробники.
Для мене AI — це джун, якому я детально розповідаю, як робити задачу, і він її виконує. Я тримаю в голові контекст, я вирішую, що правильно, я відповідаю за результат. AI пише текст.
Це не означає, що AI завжди шкодить. У нас налаштований аналіз продакшен-логів: AI знаходить дрібні баги, які тихо жили в мобільному застосунку, і заводить на них тікети. Потім AI переглядає їх, знаходить невиконані й не взяті в роботу та передає їх на реалізацію. Ми перевіряємо фікси, плануємо реліз і деплоїмо. Так ми знайшли й пофіксили близько 50 проблем, які заважали користувачам.
Тут AI працює саме тому, що допомагає шукати й реалізовувати, а відповідальність за перевірку, реліз і продакшен залишається за людьми.
На проект найняли двох людей
Solution architect і technical lead. І тут відкрилася зовсім інша картина.
Коли розмовляєш із ними про технічні речі, вони відповідають за допомогою AI. Не «я подумав, і ось моя позиція», а вставляють у чат згенерований текст.
Ось приклад повідомлення після падіння платежів на терміналах (домен і назви змінено):
Yesterday at 18:29 UTC (20:29 CEST) I removed
LockerAppUiAccessfrom the Administrator group and replaced it with a CloudWatch-Logs-only inline policy. That silently took away the SQS access the Locker Dispatcher app depends on, which is why iDEAL (NL) and Bancontact (BE) both stopped.
Це лише початок повідомлення. Далі людина нагенерувала приблизно дві сторінки A4: які саме права повернула, чому CloudTrail нічого не показав, які ще проблеми знайшла в логах і які треба завести follow-up tickets.
А відповідь мала бути приблизно такою: «Я випадково прибрав доступ до SQS під час ротації ролей. Зараз поверну його й окремо перевірю, що ще зламалося».
Тут проблема не лише в тому, що людина має admin-доступ і робить зміни в AWS, довіряючи AI. Вона ще й ховає просту відповідь про власну помилку під двома сторінками згенерованих пояснень.
Хто цей AI slop має читати? Якщо ти просто копіюєш відповідь AI в чат, навіщо мені ця біопрошарка, яка нічого не вирішує? Просто пошарь conversation. Я сам продовжу з нею розмову і побачу, що ти насправді зробив.
Баг із зависанням девайсу
Новий член команди фіксив зависання кіоска. Причину він знайшов правильно: виникали два попапи, а прибирали тільки один, тому кіоск залипав. Люди клікали — і нічого не відбувалося.
Але фікс виявився оверскладним: для примусового закривання попапів створили ще один клас, хоча проблема була в тому, як попап взаємодіяв із retryPolicy з бібліотеки Failsafe.
Попап мав створюватися перед механізмом ретраю, а не всередині нього. Або перед показом треба було перевіряти, чи він уже є: другий попап породжував саме ретрай.
Далі з’ясувалося, що сервер повертає клієнту оригінальний 502 від провайдера даних. На код-рев’ю я запитав, чи розробник це дослідив. Виявилося, що він повірив поясненню AI: «це нормальна поведінка нашого клауду».
Це була галюцинація. Ми перехоплюємо всі респонси провайдерів і чітко бачимо, що впало саме в нього. Для нас провайдер не є джерелом правди: якщо він не працює, ми маємо опиратися на себе і повертати клієнту наші дані.
Я розібрався і залишив коментарі в пул-реквесті. Але тепер мені, по факту, і немає кому передавати цю експертизу: коментарі просто згодують AI, а знання про проект нікуди не запишуть. Вони б хоча б ADR створювали.
Хто виконав завдання?
На цих типів пожалівся ще один розробник.
Його попросили подивитися пул-реквест. Він розібрався в задачі: що там насправді треба зробити і як. Це зайняло дві години. Потім відписав, що PR зроблений невірно, і розписав, як треба переробити, щоб працювало.
Автор PR згодував цей коментар AI, і вона все переробила. Автор пул-реквеста витратив на роботу 30 хвилин. Ревьювер витратив дві години.
Питання: хто виконав завдання?
Приблизно те саме сталося з таблицею залежностей проекту: 40 відсотків у ній становили галюцинації AI. Її навіть не перевірили перед тим, як прийти зі «своїм» аналізом на серйозне обговорення.
Ось тут і настала сингулярність
Я вперше бачу людей, які стали AI-driven розробниками, а не розробниками, які драйвлять AI, вказуючи їй, як розробляти.
Для цих людей сингулярність уже настала. Вони віддали керування машині, яка не вміє думати, а є лише прокачаним T9 для написання текстів. Виходить, якщо машина драйвить їхню розробку, то машина в їхньому випадку розумніша за людину.
Це не лише моя інтуїція. У дослідженні The Illusion of Thinking дослідники Apple показують, що reasoning-моделі на задачах певної складності різко втрачають точність, а їхні міркування стають непослідовними. Вони можуть дуже переконливо пояснити, що роблять, і все одно не розв’язати задачу. Тому довгий текст із правильними словами не є доказом розуміння.
Їх можна привітати: вони вже в сингулярності.
Питання не в тому, чи використовує команда AI. Питання в тому, хто в команді приймає рішення, хто перевіряє результат і хто несе за нього відповідальність.
Поки AI допомагає людині думати, шукати й робити — це інструмент. Коли людина лише передає йому керування, а потім копіює його відповіді, — це вже не використання AI. Це відмова від власної ролі.