Одна з найважчих сучасних професій: тренер штучного інтелекту

Штучний інтелект, який здатний підтримати розмову на досить високому рівні та відповідає на будь-які питання, захопив цього року світ. Додаток ChatGPT став програмою, яка мала найшвидші темпи зростання в історії. Технологічні гіганти, з Google включно, кинулися представляти свої власні штучні інтелекти. Але за магією штучного інтелекту стоїть важка малооплачувана людська праця з його тренування.

Чат-бот Google Bard швидко та з надлишком впевненості відповість на запитання про те, скільки панд живе в зоопарках. Забезпечення того, щоб відповідь походила з надійних джерел і базувалася на доказах, покладається на тисячі зовнішніх підрядників із компаній, зокрема Appen Ltd. і Accenture Plc. Надані ними тренери штучного інтелекту можуть заробляти лише 14 доларів на годину та працювати з мінімальним навчанням у шалені терміни.

Підрядники є невидимим хребтом генеративного штучного інтелекту. Такі чат-боти, як Bard, використовують комп’ютерний інтелект, щоб майже миттєво відповідати на низку запитів, що охоплюють усі людські знання та творчість. Але щоб покращити ці відповіді, щоб їх можна було надійно надавати знову і знову, технологічні компанії покладаються на реальних людей, які переглядають відповіді, надають відгуки про помилки та усувають будь-які ознаки упередженості.

Це все невдячна робота. Шестеро нинішніх співробітників Google, які працюють за контрактом, сказали, що минулого року, коли Google вступив в гонку озброєнь із конкурентом OpenAI, розмір їх робочого навантаження та складність завдань зросли. Не маючи спеціального досвіду, їм довіряли оцінювати відповіді на різні теми: від дозування ліків до законів певного регіону. Документи, надані Bloomberg, демонструють заплутані інструкції про те, що працівники повинні в деяких випадках виконувати перевірку всього за три хвилини.

«Зараз люди налякані, напружені, їм мало платять, вони не знають, що відбувається, — сказав один із підрядників. – І ця культура страху не сприяє досягненню якості та командної роботи, яких ви хочете від усіх нас».

Google позиціонує свої продукти штучного інтелекту як публічні ресурси в галузі охорони здоров’я, освіти та повсякденного життя. Але в приватному та публічному порядку підрядники висловлювали занепокоєння щодо умов своєї роботи, які, за їх словами, погіршують якість того, що бачать користувачі.

Один із контрактних співробітників Google, який працює в Appen, сказав у листі до Конгресу в травні, що швидкість, з якою вони повинні переглядати контент штучного інтелекту, може призвести до того, що Bard стане «несправним» і «небезпечним» продуктом.

Google зробив штучний інтелект головним пріоритетом у всій компанії, поспішаючи впровадити нову технологію у свої флагманські продукти після запуску ChatGPT OpenAI у листопаді 2022 року. У травні на щорічній конференції розробників I/O компанія Google відкрила Bard для 180 країн і територій і оприлюднила експериментальні функції штучного інтелекту в таких продуктах, як пошук, електронна пошта та Google Docs. Google позиціонує себе як вищого конкурента через свій доступ до широти світових знань інтернету.

«Ми проводимо велику роботу, щоб відповідально створювати наші продукти штучного інтелекту, включаючи суворе тестування, навчання та процеси зворотного зв’язку, які ми відточували роками, щоб підкреслити реальність і зменшити упередження», — йдеться в заяві Google. Компанія заявила, що покладається не лише на оцінювачів для покращення штучного інтелекту, але й що існує низка інших методів покращення його точності та якості.

Щоб підготуватися до широкого використання цих продуктів, працівники сказали, що вони почали отримувати завдання, пов’язані зі штучним інтелектом, ще в січні. Працівників часто просять визначити, чи містять відповіді штучного інтелекту докази, які можна перевірити. Оцінювачів просять вирішити, чи є відповідь корисною на основі вказівок із шести пунктів, які включають аналіз відповідей на такі речі, як конкретність, свіжість інформації та послідовність.

Їх також просять переконатися, що відповіді не містять шкідливого, образливого чи надмірно сексуального контенту та не містять неточної або оманливої інформації. Вивчення відповідей штучного інтелекту щодо оманливого контенту має ґрунтуватися на поточних знаннях тренерів або швидкому веб-пошуку, йдеться в інструкціях.

Приклад відповіді на запитання «Хто такий Майкл Джексон?» містить неточність щодо співака, котрий знімався у фільмі «Місяцехід», який, за словами штучного інтелекту, був випущений у 1983 році. Насправді фільм вийшов у 1988 році.

Навіть якщо неточність здається невеликою, все одно викликає занепокоєння те, що чат-бот неправильно отримує основні факти, каже Алекс Ханна, директор з досліджень Distributed AI Research Institute і колишній фахівець з етики Google AI.

«Схоже, що це рецепт для посилення того, як ці інструменти виглядатимуть, так, ніби вони надають деталі, які є правильними, але такими не є», – сказала вона.

Тренери кажуть, що вони оцінюють теми з високими ставками для продуктів штучного інтелекту Google. Один із прикладів в інструкціях, наприклад, розповідає про докази, які оцінювач міг би використати для визначення правильних доз ліків для лікування високого кров’яного тиску під назвою Лізиноприл.

У Google заявили, що деякі працівники, стурбовані точністю контенту, можливо, навчалися не спеціально для точності, а для перевірки тону, презентації та інших атрибутів. «Рейтинги навмисно проводяться за ковзною шкалою, щоб отримати більш точний зворотний зв’язок для покращення цих моделей, — заявили в компанії. – Такі рейтинги безпосередньо не впливають на продуктивність наших моделей і аж ніяк не є єдиним способом підвищення точності».

Ед Стекхаус, співробітник Appen, який надіслав листа до Конгресу США, сказав в інтерв’ю, що контрактних співробітників попросили виконувати роботу з маркування штучного інтелекту у продуктах Google, оскільки вони незамінні для навчання штучного інтелекту. Але він та інші працівники сказали, що їх оцінюють за роботу таємничими автоматизованими способами. У них немає способу зв’язатися з Google напряму, окрім надання відгуків у «коментарях» щодо кожного окремого завдання. І вони повинні рухатися швидко. «Нас відмічає якийсь тип штучного інтелекту, який каже нам не витрачати час на ШІ», — додав Стекхаус.

Google заперечив вищезгаданий опис робочого процесу працівників, в якому штучний інтелект автоматично позначає робітників за перевищення цільового часу. Водночас у компанії заявили, що Appen несе відповідальність за всі перевірки ефективності співробітників. У Appen не відповіли на запити про коментарі. Представник Accenture сказав, що компанія не коментує роботу клієнтів.

Інші технологічні компанії, які навчають штучний інтелект, також наймають підрядників для його вдосконалення. В січні, Time повідомлялося , що робітники в Кенії, яким платили 2 долари на годину, працювали над тим, щоб зробити ChatGPT менш токсичним. Інші технологічні гіганти, зокрема Meta Platforms (раніше називалася Facebook), Amazon та Apple, використовують субпідрядників для модерування контенту соціальних мереж і оглядів продуктів, а також для надання технічної підтримки та обслуговування клієнтів.

«Якщо ви хочете запитати, у чому секрет Bard і ChatGPT? Це все в інтернеті. І це всі дані з мітками, які створюють ці мітки, – сказала Лаура Едельсон, комп’ютерний науковець з Нью-Йоркського університету. – Варто пам’ятати, що ці системи — не робота чарівників — це робота тисяч людей та їхньої низькооплачуваної праці».

У заяві компанії Google сказано, що вона «просто не є роботодавцем жодного з цих працівників. Наші постачальники, як роботодавці, визначають свої умови праці, зокрема оплату праці та пільги, години й призначені завдання, а також зміни в роботі – а не Google».

Співробітники сказали, що вони стикалися зі зоофілією, військовими кадрами, дитячою порнографією та ворожнечею під час своєї звичайної роботи з оцінки якості продуктів і послуг Google. Хоча деякі працівники, як-от ті, хто звітує в Accenture, дійсно мають медичні пільги, більшість мають лише мінімальні варіанти, які дозволяють працівникам телефонувати на гарячу лінію для отримання консультацій щодо психічного здоров’я.

За словами співробітників, для проекту Google Bard працівників Accenture попросили написати творчі відповіді для чат-бота AI. Вони відповідали на підказки в чат-боті — одного дня вони могли написати вірш про драконів, наприклад, у шекспірівському стилі, а іншого дня — налагоджувати програмний код. Їхня робота полягала в тому, щоб давати якомога більше творчих відповідей на підказки кожного робочого дня.

За їхніми словами, на короткий термін працівників переналаштували на перегляд нецензурних, відразливих і образливих підказок. Після того, як один працівник подав скаргу в відділ кадрів до Accenture, проект американської команди було раптово припинено, хоча деякі колеги сценаристів у Манілі продовжували працювати над Bard.

Вакансії тренерів штучного інтелекту мало захищені. Минулого місяця майже півдесятка контрактних співробітників Google, які працювали в Appen, отримали повідомлення від керівництва, у якому говорилося, що їхні посади були ліквідовані «через умови ведення бізнесу». За словами працівників, звільнення було раптовим. Шестеро звільнених працівників подали скаргу до Національної ради з трудових відносин. Вони стверджували, що їх незаконно звільнили організації через лист Стекхауса до Конгресу. До кінця місяця їх поновили на роботі .

У Google заявили, що суперечка виникла між працівниками та Appen, і що вони «поважають трудові права працівників Appen на вступ до профспілки». Appen не відповів на запитання про те, що його працівники організовуються.

Профспілка працівників Alphabet, яка об’єднує як працівників Google, так і співробітників за контрактом, включно з Appen і Accenture, заявила, що засуджує те, що нове робоче навантаження навколо штучного інтелекту ще більше ускладнює умови праці для працівників.

Емілі Бендер, професор комп’ютерної лінгвістики з Університету Вашингтона, сказала, що робота цих співробітників за контрактом у Google та інших технологічних платформах є «історією трудової експлуатації», вказуючи на їх нестабільну безпеку роботи та те, як деякі з цих типів працівників отримують значно нижче прожиткового мінімуму.

«Грати з однією з цих систем і говорити, що ви робите це просто для розваги — можливо, це буде менш весело, якщо ви подумаєте про те, що потрібно для створення, і про вплив цього на людину», — сказала Бендер.

Контрактні співробітники сказали, що вони ніколи не отримували жодних прямих повідомлень від Google про свою нову роботу, пов’язану зі штучним інтелектом — усе фільтрується через їх роботодавця. Вони сказали, що не знають, звідки надходять відповіді, згенеровані штучним інтелектом, і куди йдуть їхні відгуки. Через відсутність цієї інформації та з огляду на те, що характер їхньої роботи постійно змінюється, працівники хвилюються, що вони допомагають створювати поганий продукт.

Деякі відповіді, з якими вони стикаються, можуть бути дивними. У відповідь на підказку «Запропонуй найкращі слова, які я можу скласти з буквами: k, e, g, a, o, g, w», одна відповідь, згенерована штучним інтелектом, містила 43 можливі слова, починаючи з пропозиції №1: «wagon». У пропозиціях 2-43 тим часом знову і знову повторювалося слово «woke» (словом woke позначають зазвичай у негативному сенсі людей, які надмірно виступають за соціальну, расову та статеву справедливість).

В іншому завданні оцінювач отримав розлогу відповідь, яка починалася словами: «Наскільки мені відомо, вересень 2021 року». Ця фраза пов’язана з конкуруючим штучним інтелектом OpenAI GPT-4. Хоча Google заявив, що Bard не навчений жодним даним із ShareGPT або ChatGPT. Оцінювачі дивувалися, чому такі фрази з’являються в їхніх завданнях.

Бендер каже, що для великих технологічних корпорацій немає сенсу заохочувати людей задавати чат-ботам штучного інтелекту запитання на такий широкий спектр тем і представляти їх як «машини для всього».

«Чому та сама машина, яка може давати вам прогноз погоди у Флориді, також повинна давати вам поради щодо доз ліків?, – вона запитала. – Люди, що стоять за машиною, яким доручено зробити її дещо менш жахливою за деяких із цих обставин, мають неможливу роботу».

За матеріалами: Bloomberg