Тед Чан: “Искусственный интеллект – это новая компания McKinsey?”

Перевела статью фантаста Теда Чана, многократного лауреата “Хьюго” и “Небьюлы” (по его рассказу сняли “Прибытие”), которую он написал для New Yorker.  Речь идет о том, как ИИ подпитывает власть корпораций в ущерб интересам отдельных людей, и можно ли этого избежать.  Оригинал доступен здесь.

Искусственный интеллект – это новая компания McKinsey?

Сейчас технология выглядит как средство еще больше концентрировать богатство корпораций и лишать рабочих прав. Возможна ли альтернатива?

Говоря об искусственном интеллекте, мы полагаемся на метафоры – как и всегда, когда имеем дело с незнакомыми вещами. Все метафоры по своей природе несовершенны, но все равно стоит подбирать их аккуратно, ведь плохие могут сбить с пути. Например, мощные AI сравнивают с джиннами из сказок. Такое сравнение призвано подчеркнуть, как сложно заставить мощные сущности подчиняться вашим командам. Аналитик данных Стюарт Рассел привел притчу о царе Мидасе, который требовал, чтобы все, к чему он прикасается, превращалось в золото, чтобы проиллюстрировать опасность прямолинейного исполнения инструкций искусственным интеллектом. ИИ делает то, что вы говорите, а не то, чего вы хотите (что подразумеваете).

Эта метафора весьма проблематична, но главный ее недостаток в том, что она извлекает неверные уроки из истории, на которую ссылается. Смысл притчи о Мидасе: жадность губит, а погоня за богатством может стоить вам всего, что по-настоящему важно. Читать эту притчу как “формулировать желания для богов нужно очень, очень тщательно” – ошибка.

Я хочу предложить другую метафору для описания рисков искусственного интеллекта. Предлагаю думать об ИИ как о консалтинговой фирме по вопросам управления вроде McKinsey & Company. Фирмы вроде McKinsey нанимают по самым разным причинам, и системы ИИ имеют столь же широкий спектр задач. Но сходство между McKinsey, консалтинговой компанией, работающей с 90% фирм из списка самых богатых бизнесов Fortune 100, и искусственным интеллектом лежит на поверхности. Скажем, компании соцсетей используют машинное обучение, чтобы удержать пользователей в своих алгоритмических лентах. Тем же образом компания Purdue Pharma использовала McKinsey, чтобы выяснить, как можно резко увеличить продажи оксиконтина во время опиоидной эпидемии в США. Так же, как ИИ обещает менеджерам найти дешевую замену живым работникам, McKinsey и подобные фирмы помогли нормализовать практику массовых увольнений как способ повышения цен на акции и вознаграждения руководителей, способствуя уничтожению среднего класса в США.

Бывший сотрудник McKinsey назвал компанию “добровольными палачами капитала”: если вы хотите сделать что-то неприятное, но не хотите пачкать руки, McKinsey сделает это за вас. Такой уход от ответственности – и есть одна из самых ценных услуг, предоставляемых консультантами по менеджменту. Начальники ставят перед собой определенные цели, но не хотят, чтобы их обвиняли в действиях, необходимых для достижения этих целей; нанимая консультантов, руководство может сказать, что следовало советам независимых экспертов. Даже в своей нынешней зачаточной форме ИИ уже стал для компаний способом уходить от ответственности, говоря, что она просто следует указаниям “алгоритма”, что это он так решил, хотя именно компания и заказала алгоритм.

Вопрос, которым стоит задаться, таков: как удержать ИИ от превращения в очередную версию McKinsey по мере развития его мощности и гибкости? Этот вопрос стоит рассмотреть в разных разрезах значения термина “искусственный интеллект”. Если рассматривать ИИ как широкий набор технологий, предлагаемых компаниям, чтобы урезать расходы, как удержать технологии от превращения в “добровольных палачей капитала”? Если представить ИИ как полуавтономную программу, решающую поставленные перед ней людьми проблемы, как не допустить, чтобы программа помогала корпорациям и ухудшала жизнь людей в целом? Предположим, мы создали полуавтономный ИИ, полностью подчиняющийся человеку, – такой, который неоднократно проверяет, не истолковал ли он полученные инструкции неверно. Это мечта разработчиков ИИ. Но такой ИИ легко может причинить столько же вреда, сколько McKinsey.

Обратите внимание, что вы не можете создать ИИ, который будет предлагать только просоциальные, полезные для общества решения проблем. Это равносильно заявлению, что вы хотите убрать угрозу со стороны McKinsey, создав конкурирующую фирму, которая будет предлагать только “добрые”, общественно полезные решения. Реальность такова, что компании из Fortune 100 наймут McKinsey вместо вашей просоциальной фирмы, потому что McKinsey увеличит стоимость акций. Всегда можно создать ИИ, который будет стремиться именно к увеличению прибыли, – и большинство компаний на рынке предпочтут использовать его, а не ваш принципиальный продукт.

Существует ли способ заставить ИИ делать что-то кроме натачивания ножа капитализма? Когда я говорю о капитализме, я не имею в виду обмен товарами и услугами по ценам, определяемым рынком, что является свойством многих экономических систем. Говоря о капитализме, я подразумеваю конкретные отношения между капиталом и трудом, при которых частные лица, имеющие большой доход, наживаются на усилиях других. Поэтому, критикуя капитализм, я не критикую идею продажи товаров. Я критикую идею того, что люди, имеющие много денег, получают огромную власть над людьми, которые действительно работают. Конкретнее – я критикую постоянно растущую концентрацию богатства среди все меньшего количества людей, которая может быть или не быть свойством капитализма вообще, но абсолютно точно характеризует капитализм в том виде, в котором он практикуется сегодня.

В своем нынешнем виде ИИ – это попытка заставить алгоритм выполнять те задачи, которые умеют делать люди, и их заменить. По загадочному совпадению это та же проблема, что заботит руководство компаний. В результате ИИ помогает капиталу за счет лишенных рабочих мест людей. Нет никаких консалтинговых компаний, отставающих интересы трудящихся. Может, ИИ стоит взять эту роль? Может ли искусственный интеллект сделать что-то, чтобы помочь рабочим, а не менеджменту?

Кто-то скажет, что в задачи ИИ не входит противостояние капиталу. Возможно, это так, но укрепление капитализма тоже не входит в основные задачи ИИ, однако именно этим он сейчас и занимается. Если мы не сможем придумать способ влияния ИИ на концентрацию богатства уже богатых, ИИ никогда не будет нейтральной технологией, не говоря уже о том, чтобы быть полезной.

Многие считают, что внедрение ИИ приведет к росту безработицы, и предлагают введение безусловного базового дохода как решение проблемы. В целом мне нравится идея всеобщего базового дохода, но со временем я стал очень скептически относиться к разработчикам ИИ, предлагающим базовый доход как решение проблемы безработицы, вызванной ИИ. Если бы базовый доход у нас УЖЕ был, и разговор был бы иным, но у нас его нет. Поэтому когда разработчики ИИ о нем говорят, они просто стараются переложить вину на правительство. По сути они усиливают проблемы, создаваемые капитализмом, и ждут, что когда проблемы настолько усилятся, что у правительства не останется другого выбора кроме как вмешаться. Это не похоже на стратегию улучшения мира.

Может, вы помните, как в преддверии выборов 2016 года актриса Сьюзан Сарандон, горячо поддерживавшая Берни Сандерса, сказала, что лучше голосовать за Трампа, чем за Хиллари Клинтон, потому что это быстрее приведет к революции. Не знаю, насколько серьезно Сарандон над этим размышляла, но словенский философ Славой Жижек говорил то же самое, а он уж точно поразмыслил над этим вопросом. Он утверждал, что избрание Трампа станет таким шоком для системы, что это приведет к переменам.

В этом случае Жижек выступал за идеи политической философии, известной как акселерационизм. Есть много версий акселерационизма, но общей нитью, объединяющей разные течения, служит идея, что единственный способ сделать лучше – делать хуже. Акселерационизм заявляет, что противостоять капитализму или реформировать его бесполезно, вместо этого нужно усугублять худшие его черты, пока система не разрушится. Единственный способ выйти за рамки капитализма – нажимать на педаль газа неолиберализма, пока двигатель не взорвется.

Возможно, это один из путей к лучшему миру, но если индустрия ИИ руководствуется им, я хочу быть уверен, что они четко понимают, чего добиваются. Создавая ИИ для работ, которыми занимаются люди, исследователи ИИ увеличивают концентрацию богатства до такого экстремального уровня, что единственным способом для правительства будет вмешаться. Намеренно или нет, но это похоже за попытку изменить мир к лучшему, голосуя за Трампа. И приход Трампа проиллюстрировал риски акселерационизма как стратегии: все может стать очень плохо и оставаться ужасным еще очень долго, прежде чем действительно станет лучше. Но в случаее ИИ вы понятия не имеете, сколько времени нужно, чтобы ситуация улучшилась, а вот в том, что в среднесрочной перспективе мир заполнится болью и страданиями, вы можете быть уверены точно.

Меня несильно впечатляют заявления о том, что ИИ опасен для человечества потому, что может выработать собственные цели и помешать себя отключить. Но я считаю, что ИИ опасен в той мере, в которой он усиливает власть капитализма. Сценарий конца света – это не производственный ИИ, превращающий всю планету в скрепки, как было представлено в одном известном мысленном эксперименте. Конец света – это мощно усиленные ИИ корпорации, уничтожающие среду и рабочий класс в погоне за акционерной стоимостью. Капитализм – та машина, что сделает все возможное, чтобы мы не могли ее выключить, и самым успешным оружием в ее арсенале стала кампания, направленная на создание ощущения отсутствия альтернатив капитализму.

Людей, критикующих новые технологии, любят называть луддитами, но полезно вспомнить, чего на самом деле хотели луддиты. Они протестовали против того, что их зарплата падала одновременно с непомерным ростом прибыли владельцев фабрик, а также цен на продукты. Они также протестовали против небезопасных условий труда, использования труда маленьких детей и производства некачественных товаров, дискредитирующих текстильную промышленность. Луддиты не уничтожали машины без разбора – если владелец хорошо платил рабочим, они оставляли его в покое. Луддиты не были противниками технологий как таковых, они хотели экономической справедливости. Они разрушали машины, чтобы привлечь внимание капиталистов. Тот факт, что слово “луддит” сейчас используется как оскорбление, способ назвать кого-то неразумным или невежественным, – это результат клеветнической кампании сил капитала.

Когда кого-то обвиняют в луддизме, стоит разобраться – действительно ли обвиняемый против технологий? Или же он выступает за экономическую справедливость? Хочет ли обвиняющий “луддита” улучшения жизни людей? Или просто пытается увеличить частное накопление капитала?

Сегодня мы находимся в ситуации, когда технология смешалась с капитализмом, а тот, в свою очередь, стал смешиваться с самим понятием прогресса. Стоит вам начать критиковать капитализм, как вас обвиняют в противостоянии технологиям и прогрессу. Но что такое прогресс, если он не включает в себя улучшение жизни людей? Какой смысл в повышении эффективности компаний, если сэкономленные деньги не идут никуда кроме банковских счетов акционеров? Нам стоит стать луддитами, так как важно озаботиться экономической справедливостью больше, чем увеличением очередного частного капитала. Мы должны уметь критиковать вредное использование технологий – а в их число входит использование, не приносящее выгоды работникам – и не быть при этом противниками технологий как таковых.

Представьте себе идеализированное будущее через лет сто, в котором люди не будут вынуждены работать в местах, которые они не любят, и каждый сможет тратить время на то, что приносит им наибольшую личную пользу. Очевидно, что на текущий момент крайне сложно представить, как туда попасть. Давайте рассмотрим два возможных сценария на следующие десятилетия. В одном из них менеджмент и силы капитала станут еще могущественнее, чем сейчас, другом – более могущественной станет рабочая сила. Какой из этих сценариев кажется более вероятным, чтобы оказаться в идеализированном будущем? И к какому нас подталкивает ИИ в его нышнем виде?

Конечно, есть важный аргумент, что новые технологии в долгосрочной перспективе повышают уровень жизни, что компенсирует создаваемую ими в краткосрочной перспективе безработицу. Этот аргумент имел вес на протяжение большей части периода после промышленной революции, но за последние полвека утратил свою силу. В США с 1980 года ВВП на душу населения почти удвоился, в то время как медианный доход домохозяйств серьезно от этого показателя отстает. Этот период включает в себя информационно-технологическую революцию. Получается, что экономическая ценность, создаваемая персональным компьютером и Интернетом, по большей части послужила увеличению богатства одного процента верхушки, а не повышению уровня жизни в целом.

Конечно, теперь у всех нас есть Интернет, и Интернет – это потрясающе. Но цены на недвижимость, плата за обучение в колледже и медобслуживания растут быстрее инфляции. В 1980-м году содержать семью на доход одного члена семьи было обычным делом, сейчас это редкость. Так действительно ли мы так продвинулись за последние 40 лет?

Да, делать покупки в интернете быстро и легко, а смотреть фильмы дома – здорово, но думаю, многие люди променяли бы все эти удобства на возможность владеть собственным домом, отправлять детей в колледж, не залезая в долги на всю жизнь, и ходить в больницу, не боясь обанкротиться в результате. Не технологии виноваты в том, что средний доход не поспевает за ростом ВВП. В основном, это вина Рональда Рейгана и Милтона Фридмана. Но определенная ответственность лежит и на политике управления таких генеральных директоров, как Джек Уэлч, руководивший General Electric c 1981 по 2001 год, а также на консалтинговых фирмах типа McKinsey. Я не обвиняю компьютер в росте материального неравенства. Я хочу подчеркнуть, что утверждение о том, что более современные технологии обязательно повысят жизнь людей, – это неправда.

Тот факт, что компьютеры сами по себе не повысили средний доход, особенно актуален при размышлении о возможных преимуществах ИИ. Часто говорят, что исследователи должны сосредоточиться на том, как ИИ может повысить производительность отдельных работников, а не заменить их. Это называют путем аугментации (расширения) в отличие от пути автоматизации. Цель достойная, но сама по себе она не улучшит экономическую судьбу людей. Программное обеспечение, работающее на компьютерах, – отличный пример аугментации, а не автоматизации: программы обработки текстов заменили печатные машинки, а не машинисток, а электронные таблицы заменили бумажные таблицы, а не бухгалтеров. Но повышение производительности труда, вызванное этим расширением, не сопровождалось повышением уровня жизни работников.

Технология может повысить уровень жизни только тогда, когда существует экономическая политика, правильно распределяющая преимущества технологий. В течение последних сорока лет у нас такой политики не было, а без нее нет причин считать, что ИИ повысит средний доход, даже если он значительно улучшит производительность конкретных работников. ИИ, конечно, сильно снизит стоимость рабочей силы и увеличит прибыль корпораций, но это совершенно не то же самое, что повышение уровня жизни.

Удобно было бы разрабатывать технологии для утопического будущего, словно оно уже не за горами. Но полезная в такой утопии технология совершенно необязательно полезна сейчас. Сторонники акселерационизма могут утверждать, что образование огромного количества отходов послужит стимулом для изобретения преобразователя отходов, но насколько это убедительно? Мы оцениваем воздействие технологий на окружающую среду в контексте имеющихся сейчас средств защиты, а не исходя из вымышленных будущих средств защиты. Точно так же мы не можем оценивать опасности ИИ, представляя, как полезен он будет в мире с универсальным базовым доходом, которого еще нет. Мы должны оценивать его в свете текущего дисбаланса между капиталом и трудовыми ресурсами, и в этом контексте ИИ представляет угрозу.

Бывший партнер компании McKinsey защищал действия компании, говоря: “Мы не занимаемся политикой. Мы занимаемся исполнением решений”. Но это слабое оправдание. Пагубные политические решения с большей вероятностью принимаются, когда консалтинговые фирмы или новые технологии предлагают способы для их легкой реализации. Текущий ИИ облегчает компаниям увольнение людей. Есть ли способ разработать ИИ, который это усложнит?

В своей книге “Как быть антикапиталистом в 21 веке” Эрик Олин Райт предлагает таксономию стратегий реагирования на вред капитализма. Две из упомянутых стратегий – сокрушение капитализма и демонтаж капитализма, вероятно, выходят за рамки текущей статьи. Более актуальны для нас стратегии укрощения капитализма и сопротивления капитализму. Грубо говоря, укрощение капитализма – это государственное регулирование, а сопротивление – это низовой активизм и профсоюзы. Есть ли способы укрепить их с помощью ИИ? Есть ли возможности расширить действия профсоюзов или сообществ рабочих?

В 1976 году рабочим корпорации Lucas Aerospace в Бирмингеме грозили увольнения из-за сокращения расходов на оборону. В ответ на это профсоюзные работники сделали документ, получивший название “План Лукаса”, в котором описывались полторы сотни “общественно полезных продуктов” от аппаратов для диализа до ветряных турбин и гибридных двигателей для автомобилей, которые рабочие могли бы создавать вместо увольнения, используя уже имеющиеся навыки и оборудования. Руководство корпорации отклонило это предложение, но оно остается ярким современным примером того, как рабочие пытаются направить капитализм в более человечное русло. Нечто подобное возможно делать с помощью современных компьютерных технологий.

Так должен ли капитализм быть настолько вредоносным, как сегодня? Возможно, нет. Три десятилетия после Второй мировой войны называют золотым веком капитализма. Этот период отчасти стал результатом более эффективной государственной политики США, но правительство сделало это не самостоятельно: корпоративная культура в ту эпоху тоже была иной. В годовом отчете за 1953 год General Electrics хвасталась тем, сколько она платит налогов и сколько тратит на оплату труда. Там прямо говорилось, что “максимальное обеспечение занятости – главная цель компании”. Основатель Johnson&Johnson заявил, что ответственность компании перед работниками выше, чем ответственность перед акционерами. Тогда у корпораций было радикально иное представление о своей роли в обществе, чем сегодня.

Есть ли способ вернуться к таким ценностям? Это кажется маловероятным, но вспомните, что золотой век капитализма наступил после огромного неравенства в богатстве до этого. Сейчас мы живем в новый такой период, когда неравенство в благосостоянии такое же, как в 1913 году, так что не исключено, что мы способны перейти к новому золотому веку. Правда, между периодом неравенства и “золотым веком капитализма” было две мировых войны и Великая Депрессия. Сторонники акселерационизма могут сказать, что именно эти события и привели к золотому веку, но я думаю, что большинство из нас хотели бы такие условия пропустить. Мы должны придумать, как технологии могут помочь перейти к золотому веку без очередной Великой Депрессии.

Мы все живем в капиталистической системе, поэтому все ее участники, нравится это или нет. Вполне резонно задаться вопросом, можете ли вы что-то сделать. Если вы работаете ученым-пищевиком в компании Frito-Lay, а ваша работа заключается в изобретении новых вкусов картофельных чипсов, я не собираюсь говорить, что вы обязаны уволиться, т.к. являетесь частью двигателя консюмеризма. Вы используете свое образование, чтобы обеспечить покупателям приятные впечатления. Это вполне разумный способ зарабатывать на жизнь.

Но многие из тех, кто работает в разработке ИИ, считают свою работу гораздо важнее изобретения новых вкусов чипсов. Они утверждают, что их технология меняет мир. Если это и впрямь так, они обязаны найти способы сделать мир лучше с помощью ИИ, а не ухудшить его. Может ли ИИ исправить несправедливость мира, не ставя человечество на грань общественного краха? Если ИИ так мощен, как утверждают его апологеты, они должны быть в состоянии найти ИИ другое применение кроме усиления безжалостностного давления капитала.

Если и есть урок в истории о джиннах, исполняющих желания, так это то, что желание получить что-то без усилий, и есть настоящая проблема. Вспомните историю “Ученика колдуна”, в которой ученик произносит заклинание, чтобы заставить метлы нести воду, но не может заставить их остановиться. Урок истории не в том, что магию нельзя контролировать: в конце колдун возвращается и сразу же исправляет устроенный учеником беспорядок. Урок тут в том, что нельзя увильнуть от тяжелой работы. Ученик хотел избежать работы по дому – и поиски легкого пути привели к неприятностям.

Склонность думать об ИИ как волшебной палочке – результат желания избежать тяжелой работы, которая необходима для построения лучшего мира. Эта работа включает в себя решение проблемы неравенства и укрощение капитализма. Для фанатов технологий самая трудная работа – это подвергнуть сомнению предположение о том, что чем больше технологий, тем лучше, а также оспорить веру в то, что они могут делать, что хотят, а дела наладятся сами собой. Никто не любит думать о своей причастности к несправедливости мира, но крайне важно, чтобы люди, создающие технологии, занимались таким критическим самоанализом. Именно от их готовности бесстрастно взглянуть на собственную роль в системе зависит, приведет ли ИИ к лучшему или худшему миру.

___________

Мой подкаст “Heresy Hub #47 Надзирающий капитализм (Шошана Зубофф, Брюс Шнайер, Доктороу)” – https://soundcloud.com/heresyhub/heresy-hub-47-nadzirayushchiy-kapitalizm-shoshana-zuboff-bryus-shnayer-doktorou

Еще один текст Теда Чана на тему ИИ: https://vc.ru/future/607460-chatgpt-eto-razmytyy-jpeg-interneta

Перевод статьи Кори Доктороу о конце глобализма “Переход к крепостному праву завершен” – https://mor.yasher.net/2022/11/24/kori-doktorou-put-k-krepostnomu-pravu/

Текст из рассылки Кэтрин Валенте о деградации сетевых сообществ и соцсетей  “Прекратите болтать друг с другом и начинайте покупать”: три десятилетия выживания в пустыне социальных сетей”