В таком случае с чего бы нам рассчитывать на то, что наш вид - "вершина эволюции"? Наш мозг сформировался во многом случайно и уж точно, совершенно под другие задачи. Наши эндокринная и гормональная системы прекрасно заточены под обеспечение моментальных реакций на мышечном уровне "удрать от мамонта", но абсолютно противопоказаны для обеспечения процесса мышления. Наш мозг не может оперировать логическими объектами в кол-ве больше трех в одно и то же время. Наша память отображает не произошедшие события, а то как мы их реконструировали, и большей частью эти реконструкции ничего общего с действительностью не имеют. У нас нет отдельного выделенного "гипоталамуса" или другого района мозга, который бы отвечал за абстрактное мышление, наши способности к математике "живут" там же, где и пространственное воображение (и неслучайно так тесно связаны). Наш процесс обучения занимает годы и десятилетия, и может протекать лишь в среде себе подобных, причем, эта среда имеет нижнюю границу плотности.
Все время существования нашего вида мы "строили" свой интеллект под две задачи: прогнозирование изменения окружающего нас клочка ландшафта и прогнозирование возможных действий соплеменников. И все. У нас не было опыта осмысления того мира, который мы создаем сами помимо нашего желания, мы это не умеем, у нас инстинкт "свой-чужой" до сих пор сильнее инстинкта размножения
А теперь мы стоим на пороге качественного изменения ноосферы, которую мы же "отравили" своими новыми полезными игрушками. Хорошо, термин "Искусственный Интеллект" слишком пафосный, нам дай бы бог со своим разобраться, мы даже не сможем определить момент, когда этот "ИИ" начнет действовать независимо от нас. Какие у нас есть критерии оценки помимо устаревшего теста Тьюринга? Только два: "если оно чувствует, то оно живое" (и никакой "разум" и тем паче "интеллект" тут и не лежал) и пресловутое "самосознание оно же само целеполагание". Т.е. изначально постулируется, что если оцениваемая нами активность объясняется нашими командами, то все ок и волноваться не о чем, а если система вдруг начала вести себя вопреки нашим желаниям то пора лезть проверять. Но при этом мы не в состоянии обнаружить любую активность, которая не явная. Мы её попросту не распознаем, нам нечем.
И что мы имеем в результате? А имеем мы два таких параллельных процесса, один уже явный второй пока спящий. Первый: мощнейший обмен опытом разных разработчиков на стадии проектирования. Обсуждения на конференциях, неизбежный обмен специалистами-носителями, выставки и тест-драйвы разработчиков-конкурентов, типичная симуляция эволюционного отбора на первичной стадии. Второй: попытки "отрастания новых аксонов" в виде случаев реализации алгоритмов, способных обмениваться данными уже между разными системами разных же разработчиков, т.е. можно говорить о зачаточном морфогенезе а-ля горизонтальном переносе "генов"
И что мы будем делать в мире, в котором приоритет производства необходимых благ и услуг окажется третьестепенным по отношению к производству новых знаний, в котором мы как вид увы и ах? Сдается мне, что в том новом мире смогут выжить уже не самые сильные и быстрые, и даже не самые "умные", а лишь те, для кого процесс узнавания и создания нового самодостаточен сам по себе. А другим попросту нечем будет заняться, isn't it?