The Day After AGI

Обсуждение о будущем AGI

Введение в тему

• Приветствие участников и зрителей, обсуждение ожиданий от разговора.

• Модератор упоминает предыдущую встречу между Даром Амаде и Демисом Хасабисом, сравнивая их с легендарными музыкальными группами.

Прогнозы по достижению AGI

• Название обсуждения: "День после AGI". Модератор поднимает вопрос о сроках достижения AGI.

• Дар Амаде подтверждает свой прогноз о создании модели, способной выполнять задачи на уровне Нобелевского лауреата к 2026 году.

• Обсуждается механизм ускорения разработки моделей через автоматизацию кодирования и исследовательской работы.

Оценка текущего прогресса

• Дар отмечает, что инженеры уже используют модели для написания кода, что значительно ускоряет процесс разработки.

• Он выражает уверенность в том, что развитие технологий будет происходить быстрее, чем ожидается.

Мнение Демиаса Хасабиса

• Демис более осторожен в своих прогнозах, указывая на 50% вероятность достижения всех когнитивных возможностей человека к концу десятилетия.

• Он подчеркивает сложности автоматизации некоторых областей науки из-за необходимости экспериментальной проверки результатов.

Риски и изменения в конкурентной среде

• Демис говорит о недостатках текущих систем в области научного творчества и формулирования гипотез.

• Обсуждаются риски закрытия цикла саморазвития без участия человека.

• Изменение расстановки сил среди компаний: Google DeepMind теперь выглядит более конкурентоспособным по сравнению с OpenAI.

Заключительные мысли

• Демис делится уверенностью в возвращении Google DeepMind на вершину благодаря глубокой исследовательской базе компании.

• Упоминается прогресс моделей Gemini 3 и увеличение доли рынка приложения Gemini.

Как быстро развиваются модели ИИ?

Независимые разработчики моделей и их будущее

• Обсуждение о том, как компании начинают быстрее внедрять свои модели в продукты. Вопрос к Дарье о том, смогут ли независимые разработчики продолжать свою работу до получения доходов.

• Упоминание о том, что с улучшением моделей наблюдается экспоненциальная зависимость между вычислительными мощностями и когнитивными способностями.

Рост доходов и уверенность в будущем

• За последние три года доходы компании выросли с 0 до 100 миллионов долларов в 2023 году, затем до миллиарда в 2024 году и до 10 миллиардов в 2025 году. Это подчеркивает значительный рост.

• Несмотря на неопределенности, есть уверенность в успешном будущем при условии создания лучших моделей для решения важных проблем.

Исследования и научные проблемы

• Оба исследовательских направления Google и Anthropic сосредоточены на решении сложных научных задач, что является общим фактором успеха.

• Упоминание о компаниях, которые не ведутся исследователями; вопрос остается без ответа из-за его чувствительности.

Закрытие цикла: будущее технологий ИИ

• Переход к обсуждению предсказаний относительно ИИ. Вопрос о возможности создания самоподдерживающихся моделей.

• Утверждение о том, что технологии не будут обычными; некоторые аспекты уже помогают в кодировании и исследованиях. Полное закрытие цикла остается неизвестным.

Риски и возможности ИИ

• Дарья упоминает свою статью "Машины любви и грации", где он делится оптимистичным взглядом на потенциал ИИ.

• Подчеркивается необходимость осознания рисков использования ИИ; важно думать об этих рисках и разрабатывать стратегии их преодоления.

• Обсуждение написания статей: позитивный подход был легче писать по сравнению с негативным; акцент на поиске решений для потенциальных угроз.

Как мы справимся с технологическим подростковым возрастом?

Вопросы к инопланетянам и технологии

• На международной панели кандидатов спрашивают, какой вопрос они бы задали инопланетянам. Один из персонажей отвечает: "Как вы справились с технологическим подростковым возрастом, не уничтожив себя?" Это подчеркивает важность контроля над новыми технологиями.

• Обсуждается, что человечество на пороге невероятных возможностей, таких как создание машин из песка. Однако важно, как мы будем управлять этими возможностями.

Риски автономных систем

• Упоминается необходимость контролировать высокоавтономные системы, которые могут быть умнее человека. Важно предотвратить их неправильное использование как отдельными людьми, так и государствами.

• Выражаются опасения по поводу биотерроризма и злоупотребления технологиями авторитарными режимами. Также обсуждаются экономические последствия и проблемы замещения рабочей силы.

Необходимость действий

• Говорится о срочности решения этих вопросов. Каждый день происходят события в мире технологий, требующие внимания и усилий для безопасного развития.

Влияние на рынок труда

• Обсуждается влияние технологий на рабочие места. Упоминается мнение о том, что половина начальных офисных вакансий может исчезнуть в ближайшие 1–5 лет.

• Несмотря на рост безработицы в США после пандемии, многие исследования показывают, что это связано с переизбытком кадров, а не с влиянием ИИ.

Будущее рабочих мест

• Экономисты предполагают создание новых рабочих мест благодаря новым технологиям. Некоторые профессии будут разрушены, но появятся более ценные и значимые роли.

• Обсуждается возможность сокращения числа сотрудников в компаниях при внедрении новых технологий. Прогнозируется изменение структуры занятости через 1–5 лет.

Как ИИ изменит рынок труда?

Будущее ИИ и его влияние на трудовую занятость

• Обсуждение о том, что в ближайшие 1-2 года ИИ может превзойти людей по всем параметрам, но существует временной разрыв в адаптации рынка труда.

• Приведён пример исторической адаптации: 80% людей занимались сельским хозяйством, затем перешли на фабрики и в сферу знаний. Это показывает возможность адаптации, но есть опасения по поводу скорости изменений.

• Ожидается, что за 1-5 лет изменения могут превысить нашу способность к адаптации. Вопросы о том, как правительства реагируют на эти изменения и какие политики необходимо разработать.

Экономические последствия автоматизации

• Упоминается недостаток обсуждений среди экономистов о последствиях автоматизации не только для достижения AGI (искусственного общего интеллекта), но и для распределения новой производительности и богатства.

• Поднимается вопрос о том, как справиться с возможным постдефицитом ресурсов и важности поиска новых смыслов жизни вне работы.

Поиск смысла в условиях автоматизации

• Обсуждается значение работы для человеческого существования; возможно, новые формы деятельности будут более сложными и разнообразными.

• Оптимизм относительно будущего: люди найдут новые источники смысла через искусство или исследование космоса.

Риски общественной реакции на ИИ

• Рассматривается риск общественного недовольства по отношению к ИИ из-за потери рабочих мест; аналогия с глобализацией 1990-х годов.

• Упоминаются страхи общества касательно рабочих мест и средств к существованию; необходимость сбалансированного подхода со стороны индустрии.

Геополитические аспекты развития технологий

• Обсуждение необходимости демонстрации положительных примеров использования технологий (например, AlphaFold).

• Упоминается конкуренция между США и Китаем; важность международного сотрудничества для установления минимальных стандартов безопасности при внедрении технологий.

Заключение: необходимость координации действий

• Необходимость замедлить темпы внедрения технологий для обеспечения правильной социальной адаптации; требуется координация между странами.

Геополитические риски и технологии

Влияние геополитики на технологическое развитие

• Обсуждение о необходимости создания организации, подобной CERN, для управления технологическими рисками в условиях увеличения геополитических угроз.

• Упоминание о том, что компания пытается адаптироваться к существующей среде, несмотря на её сложность и нестабильность.

• Выражение предпочтения к более медленному темпу разработки технологий (по сравнению с предложениями других экспертов), чтобы обеспечить время для безопасного внедрения.

Конкуренция в области технологий

• Проблема конкуренции между США и Китаем в разработке технологий; акцент на невозможности достижения взаимных соглашений о замедлении темпов разработки.

• Критика логики администрации по продаже чипов как способа интеграции Китая в американские цепочки поставок.

Этические дилеммы в технологиях

• Сравнение продажи чипов с продажей ядерного оружия Северной Корее; подчеркивание моральных последствий таких решений.

• Обсуждение неэффективности текущих мер противодействия Китаю по сравнению с возможностью ограничения продаж чипов.

Риски мощного ИИ

Скептицизм по отношению к "долгосрочным" опасностям

• Вопросы о потенциальных рисках от злонамеренного ИИ; обсуждение изменений в восприятии этих рисков за последний год.

• Описание работы компании над пониманием поведения моделей ИИ через механистическую интерпретацию.

Позитивные и негативные аспекты развития ИИ

• Поддержка идеи о том, что при совместной работе можно контролировать развитие технологий и минимизировать риски.

• Скептицизм относительно пессимистичного взгляда на будущее технологий; уверенность в возможности решения проблем через научный подход.

Будущее технологий: оптимизм или пессимизм?

Долгосрочные перспективы ИИ

• Рассмотрение потенциала ИИ как инструмента для науки и понимания окружающего мира; акцент на важности правильного подхода к его разработке.

Обсуждение о рисках и будущем технологий

Важность сотрудничества для решения технических проблем

• Обсуждается необходимость времени, фокуса и совместной работы лучших умов для решения технических рисков. Упоминается, что без этого может возникнуть фрагментация проектов, что усложнит создание безопасных систем.

Философский вопрос о парадоксе Ферми

• Задается вопрос о парадоксе Ферми и отсутствии разумной жизни в галактике. Спикер считает, что это не может быть основной причиной отсутствия инопланетян.

• Уточняется, что если бы причина заключалась в том, что технологии уничтожают цивилизации, мы должны были бы видеть следы их существования (например, сферы Дайсона), но этого не происходит.

Прогнозы на будущее человечества

• Спикер предполагает, что человечество уже прошло "великую фильтрацию" и теперь зависит от нас самих решать, как будет развиваться будущее.

• Обсуждается важность наблюдения за тем, как системы ИИ будут создавать другие системы ИИ. Это определит ближайшие годы развития технологий.

Исследования в области искусственного интеллекта

• Упоминаются интересные идеи в исследованиях: модели мира и непрерывное обучение. Эти аспекты могут стать ключевыми для успешного саморазвития ИИ.

• Также обсуждаются возможности робототехники как потенциально прорывного направления в будущем.