Якщо вас засмучувала антиекологічність індустрії криптовалют, яка за споживанням електрики перевищувала споживання деяких країн, тоді не читайте про енергоспоживання останнього хіта технологій – генеративного штучного інтелекту. Наприклад, ChatGPT, який став найбільш швидко зростаючим додатком в історії, набравши понад 100 млн користувачів за два місяці. Інтеграція великих мовних моделей у пошукові системи може означати п’ятикратне збільшення обчислювальної потужності та величезні викиди вуглецю.
На початку лютого спершу Google, а потім Microsoft оголосили про серйозні зміни своїх пошукових систем. Обидва технічні гіганти витратили значні кошти на створення або придбання генеративних штучних інтелектів, які використовують великі мовні моделі (LLM) для розуміння складних запитань і відповідей на них (хоча ці чат-боти дуже дорого помиляються). Тепер вони намагаються інтегрувати їх у пошук, сподіваючись, що вони нададуть користувачам більш багатий і точніший досвід. Китайський пошуковий гігант Baidu оголосив, що піде по такому ж шляху.
Але захоплення цими новими інструментами приховує від публіки брудну таємницю. Гонка за створенням високопродуктивних пошукових систем на базі штучного інтелекту, швидше за все, вимагатиме різкого зростання обчислювальної потужності. Разом з цим потрібно буде досягти значного збільшення кількості енергії, необхідної технологічним компаніям, що тягне зростання кількості викидів вуглецю.
«Існують величезні ресурси, задіяні в індексуванні та пошуку інтернет-контенту, але впровадження штучного інтелекту потребує іншого типу потужності, — каже Алан Вудворд, професор кібербезпеки в Університеті Суррея у Великій Британії. — Для цього потрібна обчислювальна потужність, а також пам’ять і ефективний пошук. Кожного разу, коли ми спостерігаємо зміни в онлайн-обробці, ми спостерігаємо значне збільшення ресурсів живлення та охолодження, необхідних для великих центрів обробки. Я думаю, що це може бути таким кроком».
Навчання великих мовних моделей (LLM), таких як ті, що лежать в основі ChatGPT OpenAI (працює в пошуковій системі Bing від Microsoft) і аналогом Google Bard, означає аналіз і обчислення зв’язків у величезних обсягах даних.
«Навчання цих моделей потребує величезної обчислювальної потужності, — каже Карлос Гомес-Родрігес, комп’ютерний науковець з Університету Корунья в Іспанії. — Зараз їх можуть навчити лише великі технологічні компанії».
Незважаючи на те, що ні OpenAI, ні Google не повідомили, яка вартість обчислювальної техніки їхніх продуктів, сторонні дослідники підрахували, що навчання GPT-3, на якому частково базується ChatGPT, спожило 1287 МВт-год і призвело до викидів понад 550 тонн еквівалента вуглекислого газу — стільки ж, скільки одна людина здійснить 550 поїздок туди й назад між Нью-Йорком і Сан-Франциско (відстань між містами 4 129 км).
«Це не так вже й погано, але тоді ви повинні взяти до уваги, що вам потрібно не тільки навчити його, але ви повинні запустити його та обслуговувати мільйони користувачів», — говорить Гомес-Родрігес.
Також є велика різниця між використанням ChatGPT, який, за оцінками інвестиційного банку UBS, має 13 мільйонів користувачів на день, як окремого продукту, та інтеграцією його в Bing, який щодня обробляє півмільярда пошукових запитів.
Мартін Бушар, співзасновник канадської компанії центрів обробки даних QScale, вважає, що, виходячи з його прочитання планів Microsoft і Google щодо пошуку, додавання генеративного штучного інтелекту до процесу потребуватиме щонайменше «в чотири-п’ять разів більше обчислень на пошук».
Це вимагатиме значних інвестицій в обладнання. «Поточні центри обробки даних та інфраструктура, яку ми маємо, не зможуть впоратися з гонкою генеративного штучного інтелекту, — каже Бушар. — Це занадто».
За даними Міжнародного енергетичного агентства, на центри обробки даних вже припадає приблизно один відсоток світових викидів парникових газів. Очікується, що цей показник зросте зі збільшенням попиту на хмарні обчислення, але компанії, які займаються пошуком, пообіцяли зменшити свій чистий внесок у глобальне нагрівання.
«Це точно не так погано, як транспорт чи текстильна промисловість, — каже Гомес-Родрігес. — Але штучний інтелект може внести значний внесок у викиди».
Корпорація Майкрософт взяла на себе зобов’язання стати вуглецево від’ємною до 2050 року. Цього року компанія має намір придбати 1,5 мільйона метричних тонн вуглецевих кредитів. Google зобов’язався досягти нульових викидів у своїй діяльності та ланцюжку створення вартості до 2030 року.
Вплив на навколишнє середовище та енергетичні витрати на інтеграцію штучного інтелекту в пошук можна зменшити, перевівши центри обробки даних на чистіші джерела енергії та перепроектувавши нейронні мережі, щоб вони стали ефективнішими, зменшивши так званий «час висновку» — кількість обчислювальної потужності, необхідної алгоритму для роботи з новими даними.
«Ми маємо працювати над тим, як скоротити час висновків, необхідний для таких великих моделей», — каже Нафізе Садат Мусаві, викладач обробки природної мови в Університеті Шеффілда, яка працює над стійкістю обробки природної мови.
Речник Google Джейн Парк розповіла WIRED, що Google спочатку випускав версію Bard, яка базувалася на більш легкій мовній моделі.
«Ми також опублікували дослідження, в якому детально описано витрати на енергію найсучасніших мовних моделей, включаючи більш ранню та більшу версію LaMDA, — каже Парк. — Наші результати показують, що поєднання ефективних моделей, процесорів і центрів обробки даних із чистими джерелами енергії може зменшити вуглецевий слід системи [машинного навчання] у 1000 разів».
Питання полягає в тому, чи варто додаткова обчислювальна потужність і клопоти для того, що може бути, принаймні у випадку Google, незначним приростом точності пошуку. Але Мусаві каже, що, незважаючи на те, що важливо зосередитися на кількості енергії та вуглецю, що генерується LLM, існує потреба в певній перспективі.
«Чудово, що це дійсно працює для кінцевих користувачів, — каже вона. — Тому що попередні великі мовні моделі були доступні не всім».
За матеріалами: Wired
Підписуйтесь на канал в Telegram та читайте нас у Facebook. Завжди цікаві та актуальні новини!
