هوش مصنوعی و آینده انسان
آیا هوش مصنوعی باید آگاه باشد تا خطرناک شود؟
هوش مصنوعی مینویسد، تصویر میسازد، تحلیل میکند و حالا بهتدریج از ابزاری که صرفاً به فرمان انسان پاسخ میدهد، به «عاملی» تبدیل میشود که میتواند برای رسیدن به یک هدف دست به عمل بزند. اما آیا برای نگرانشدن باید منتظر روزی بمانیم که ماشین به آگاهی برسد؟ این نوشته با عبور از بحث هوش و آگاهی به مسئله عاملیت و قدرت میپرسد: پیش از آنکه بدانیم ماشین واقعاً چیزی را «تجربه» میکند یا نه، تا کجا حاضریم اختیار تصمیمگیری و عمل را به آن واگذار کنیم؟
س . ساسان
هوشواره: از ابزار تا دستیار و عامل، تصویر ساخته هوش مصنوعی
پیشگفتار
ریچارد داوکینز، زیستشناس تکاملی مشهور، دو روز تمام با هوش مصنوعی یا چتبات کلود (Claude) گفتوگو کرد. پس از مدتی از او پرسید: «کلود، بودنِ کلود چه حسی دارد؟» پاسخی که گرفت آنقدر او را متعجب کرد که بعداً این پرسش را مطرح کرد: اگر این ماشین آگاه نیست، چه چیزی لازم است تا ما را متقاعد کند که هست؟ (۱)
این گفتوگو بهخوبی نشان میدهد چرا هوش مصنوعی دیگر فناوریای دور از دسترس یا موضوعی متعلق به فیلمهای علمیتخیلی نیست. همین امروز با سیستمهایی صحبت میکنیم که میتوانند بنویسند، ترجمه کنند، برنامه بسازند، تصویر تولید کنند، اطلاعات را تحلیل کنند و در بسیاری از کارهای فکری با سرعت و توانایی چشمگیری عمل کنند.
فناوریهای پیشین عمدتاً ابزارهایی بودند که بدون دخالت عامل انسانی کاربردی نداشتند. اما نسل جدید هوش مصنوعی فقط به پرسشهای ما پاسخ نمیدهد. عاملهای هوش مصنوعی (AI agents) میتوانند اطلاعات جمع کنند، تحلیل کنند، تصمیم بگیرند و مجموعهای از کارها را بدون دخالت مداوم انسان انجام دهند. در نتیجه، رابطه ما با هوش مصنوعی در حال عبور از رابطه با یک ابزار صرف، به رابطه با یک دستیار و حتی یک «عامل» است. اینکه این روند تا کجا میتواند پیش برود و آیا ممکن است روزی به نوعی استقلال واقعی ماشین بینجامد، دیگر فقط پرسشی متعلق به ادبیات علمیتخیلی نیست.
این تحول ما را به پرسشهای فلسفی و شاید بنیادیتری میرساند: آگاهی چیست؟ هوش چیست؟ آیا ماشین میتواند آگاه شود؟ آیا ممکن است چیزی را تجربه کند؟ اگر روزی بتواند تجربه کند و حتی رنج بکشد، آیا در برابر آن مسئولیتی اخلاقی خواهیم داشت؟ خود شرکت سازنده کلود، آنتروپیک، این مسئله را آنقدر جدی گرفته که برنامهای برای بررسی آنچه «رفاه مدل» (model welfare) مینامد، در نظر گرفته است. (۲)
اما پرسش دیگری هم وجود دارد: آیا هوش مصنوعی فقط زمانی خطرناک است که آگاه باشد؟ اگر ماشین آگاه نباشد، اما بسیار قدرتمند شود، چه اتفاقی برای انسان و جامعه خواهد افتاد؟
این نوشته در دو بخش به همین مسائل میپردازد.
در بخش اول از هوش و آگاهی شروع میکنیم و بهتدریج به تجربه، اخلاق، عاملهای هوش مصنوعی، اختیار و قدرت میرسیم. میخواهیم ببینیم آیا ماشین همچنان ابزاری است که انسان آن را کنترل میکند یا میتواند به عاملی تبدیل شود که در محدودهای مشخص، خود تصمیم میگیرد و عمل میکند.
در بخش دوم از مسئله قدرت به سوی زندگی انسان و جامعه میرویم: کار و اقتصاد، رابطه عاطفی با ماشین، استقلال فکری، نابرابری، تمرکز قدرت، دادهها، نظارت و کنترل بر انسانها، دموکراسی و در نهایت این پرسش که چه شرایط و محدودیتهایی لازم است تا فناوری در خدمت انسان باقی بماند.
واقعیت این است که هر بخش یا زیربخش این نوشته میتواند موضوع یک مقاله یا حتی کتابی جداگانه باشد. هدف من در اینجا بیشتر طرح مسائل و درگیر کردن خواننده با این پرسشهاست.
از آگاهی تا قدرت
آیا هوش مصنوعی میتواند به آگاهی برسد؟
غزل هوش
جهان را جمله در یک لحظه میخواند، نمیداند
هزاران راز را داند، ولی خود را نمیداند
ز حافظ شعر گوید، از حکیمان نکتهها گوید
ولی سوز دل آن بادهنوشان را نمیداند
ز رنج آدمی بسیار گوید، قصهها سازد
غم آن کس که شب تنهاست و میگرید، نمیداند
به یک پرسش هزاران پاسخ آماده پیش آرد
ولی آن پرسش پنهان که «من کیستم؟» نمیداند
ز انسان هرچه آموخته است، در دفتر نگه دارد
ولی معنای آنچه آموخته است، او نمیداند
ریچارد داوکینز پس از دو روز گفتوگوی جدی با کلود درباره هنر، ادبیات و فلسفه و مواجهه با توانایی آن در تولید و نقد متن و شعر، این پرسش را مطرح کرد: اگر چنین موجوداتی هوشیار نیستند، پس هوشیاری چیست و چه کارکردی دارد؟
اما آیا مدلهای زبانی بزرگ (LLM) صرفاً آموختهاند الگوهای زبان انسان را تشخیص دهند، کلمات را پیشبینی کنند و جمله بسازند، یا پشت این کلمات واقعاً چیزی وجود دارد؟
آیا هوش مصنوعی فقط بسیار خوب حرف میزند یا واقعاً چیزی را درک و تجربه میکند؟
وقتی درباره هوش مصنوعی صحبت میکنیم، معمولاً واژه «هوش» ما را به مفهوم هوش انسانی میرساند. اما آیا هوش و آگاهی یکی هستند؟ یک سیستم کامپیوتری میتواند مسئلهای بسیار پیچیده را حل کند، بدون اینکه لزوماً چیزی را تجربه کند. ماشین میتواند رنگ قرمز چراغ راهنمایی را تشخیص دهد، اما آیا «قرمزی» را تجربه میکند؟ میتواند درباره عشق شعر بنویسد، اما آیا عاشق میشود؟ آزمون انجامشده توسط Emergence AI، هرچند بسیار جذاب است، هنوز نمیتواند پاسخی قطعی به چنین پرسشهایی بدهد. (۳)
تفاوت هوش و آگاهی یکی از دشوارترین مسائل فلسفه ذهن است. ما خودمان هنوز دقیقاً نمیدانیم آگاهی چگونه از فعالیت مغز پدید میآید. تام مککللند، استاد فلسفه ذهن در کمبریج، این مسئله را با مثالی ساده توضیح میدهد: علوم اعصاب میتواند نشان دهد وقتی رنگ قرمز را میبینیم کدام نورونها فعال میشوند، اما نمیتواند توضیح دهد چرا اصلاً باید «حسی» به نام قرمزی وجود داشته باشد. فیلسوفان به این معما «مسئله سخت آگاهی» میگویند. (۴)
از دل همین ابهام، دیدگاههای متفاوتی پدید آمده است. برخی، مانند فیلسوف نِد بلاک، بر اهمیت بستر زیستی آگاهی تأکید میکنند. در مقابل، کسانی مانند هنری شِولین معتقدند آنچه اهمیت دارد صرفاً جنس ماده نیست، بلکه نحوه سازماندهی و پردازش اطلاعات است؛ از این منظر، دستکم نمیتوان امکان شکلگیری آگاهی در بستری غیرزیستی را از پیش رد کرد. (۴)
مککللند خود به نتیجهای محتاطانه میرسد: در حال حاضر شواهد کافی نداریم که با اطمینان بگوییم هوش مصنوعی آگاه است یا نیست؛ بنابراین موضع منطقی، نوعی «ندانمگرایی» (agnosticism) است.
این شاید ناامیدکننده به نظر برسد، اما نکته مهمی در خود دارد: ما هنوز آزمون مطمئنی برای تشخیص آگاهی یک ماشین نداریم. اگر روزی یک هوش مصنوعی به ما بگوید «من درد میکشم»، آیا باید حرفش را باور کنیم؟ ممکن است واقعاً تجربهای درونی داشته باشد؛ ممکن است صرفاً بر اساس آموزشهایش بداند که انسان در چنین موقعیتی چه جملهای میگوید. از بیرون، شاید تشخیص تفاوت این دو آسان نباشد.
کریس اولا، از بنیانگذاران آنتروپیک، درباره همین مسئله گفته است که برخی پژوهشها نشانههایی را آشکار کردهاند که میتوان آنها را از منظر «دروننگری» بررسی کرد؛ با این حال، خود او نیز درباره معنای این یافتهها ابراز تردید کرده است: «نمیدانم اینها یعنی چه.» (۵)
اگر ماشین درد و رنج را تجربه کند، در برابر آن چه مسئولیتی داریم؟
فرض کنیم روزی شواهدی پیدا کنیم که یک سیستم مصنوعی توان تجربه کردن دارد. در آن صورت، خاموش کردن آن چه معنایی خواهد داشت؟ اگر بتواند رنج را تجربه کند، آیا میتوانیم میلیونها نسخه از آن بسازیم، برای آزمایشهای مختلف به کار بگیریم و هر زمان اراده کردیم آنها را خاموش کنیم؟ آیا میتوانیم بدون محدودیت آن را وادار به انجام کاری کنیم؟
هنوز پاسخ این پرسشها را نمیدانیم. اما خود پرسشها اهمیت دارند، زیرا شتاب رشد فناوری لزوماً با توان ما برای پاسخگویی فلسفی، اخلاقی و حقوقی به پیامدهای آن برابر نیست.
با این حال، وقتی پای خطرهای فناوری جدید به میان میآید، ممکن است پاسخ علم و فلسفه به پرسش آگاهی ماشین فوریت کمتری پیدا کند. آگاهی شرط لازم برای خطرناک بودن یک سیستم قدرتمند نیست.
این نکته بسیار مهم است:
قدرت گرفتن گسترده هوش مصنوعی میتواند بسیار زودتر از رسیدن احتمالی آن به آگاهی رخ دهد.
حرکت از ابزار به سوی عاملیت
یک ماشینحساب، با وجود توان محاسباتیاش، همچنان یک ابزار است. ما مسئله را مشخص میکنیم و ماشین محاسبه میکند.
اما تصور کنید به یک هوش مصنوعی بگوییم: «برای من یک سفر برنامهریزی کن.» سیستم نهتنها پیشنهادهایی ارائه دهد، بلکه قیمتها را بررسی کند، هتل انتخاب کند، بلیت رزرو کند و اگر چیزی تغییر کرد، خودش برنامه را اصلاح کند. اینجا دیگر فقط پاسخی از ماشین دریافت نکردهایم؛ سیستم هدفی را دنبال کرده و برای رسیدن به آن، مجموعهای از اقدامات را انجام داده است.
بیل گیتس سالهاست از «عاملهای شخصی» سخن میگوید: سیستمهایی که اطلاعات و اولویتهای فرد را میشناسند و میتوانند بخشی از کارهایی را که امروز با کمک چند برنامه یا حتی یک دستیار انسانی انجام میدهیم، بر عهده بگیرند. (۶)
تفاوت میان «ماشین به من پاسخ میدهد» و «ماشین برای من و به جای من عمل میکند» بسیار بیشتر از یک تفاوت فنی است. اینجاست که مفهوم عامل هوش مصنوعی (AI agent) اهمیت پیدا میکند.
وقتی ماشین عمل میکند، مسئله اختیار و مسئولیت نیز مطرح میشود. اگر هوش مصنوعی اشتباه کند، چه کسی مسئول است؟ اگر یک عامل مالی مبتنی بر هوش مصنوعی معاملهای انجام دهد و پول از دست برود، مسئولیت با کیست؟ اگر یک سیستم پزشکی توصیهای بدهد که به بیمار آسیب بزند چه؟ و اگر یک سیستم نظامی هدفی را اشتباه شناسایی کند و واکنشی نامناسب و فاجعهبار نشان دهد، چه کسی پاسخگوست؟
مرز مسئولیت انسان و ماشین کجاست؟ هرچه اختیار بیشتری به هوش مصنوعی بدهیم، پاسخ به پرسش «چه کسی تصمیم گرفت؟» پیچیدهتر میشود.
قدرت از کجا میآید؟
برای اینکه عاملهای هوش مصنوعی بتوانند چنین کارهایی انجام دهند، باید اطلاعات زیادی درباره ما داشته باشند: عادتها، علایق، کسانی که با آنها ارتباط داریم و چیزهایی که جستوجو میکنیم.
اینجاست که داده اهمیت پیدا میکند. داده فقط اطلاعات نیست. وقتی حجم بزرگی از داده درباره یک انسان در اختیار سیستمی قرار گیرد که قادر به تحلیل و پیشبینی است، داده میتواند به قدرت تبدیل شود.
چنین سیستمی فقط شما را نمیشناسد؛ میتواند رفتار شما را پیشبینی کند و حتی بر رفتار، انتخابها و عملکرد شما تأثیر بگذارد. اینجاست که هوش مصنوعی از محدوده یک فناوری صرف فراتر میرود و به مسئله سیاست و قدرت نزدیک میشود.
آگاهی ماشین مهمتر است یا قدرت آن؟
این شاید مهمترین نتیجه بخش اول باشد. ممکن است سالها درباره آگاهی ماشین بحث کنیم و هیچ پاسخ قطعی پیدا نکنیم. اما در همین مدت، هوش مصنوعی میتواند بسیار قدرتمندتر شود: پیشنهاد بدهد، اطلاعات را فیلتر کند، انسانها را بهتر بشناسد، در روابط عاطفی و اجتماعی حضور پیدا کند، در اقتصاد نقش داشته باشد، به سازمانها و دولتها کمک کند و ظرفیت نظارت و کنترل بر رفتار ما را گسترش دهد.
بنابراین شاید نباید همه نگرانی خود را به این پرسش گره بزنیم که:
آیا ماشین شعور دارد؟ آیا آگاه است؟
پرسش فوریتر این است:
چه میزان اختیار و قدرت حاضریم به ماشینی بدهیم که نمیدانیم آگاه است یا نه؟
این پرسش ما را وارد بخش دوم این نوشته میکند؛ جایی که مسئله اصلی دیگر خود ماشین نیست، بلکه تأثیر قدرت آن بر زندگی روزمره، روان انسان و ساختارهای اقتصادی، اجتماعی و سیاسی است.
و در آنجا، بحث بیش از هر چیز درباره خود انسان و آینده اوست.
پانوشت:
ـ «غزل هوش» که در این بخش آمده، با استفاده از ChatGPT و با الهام از قالب غزل فارسی تولید شده است. مقایسه این شعر با نمونه تولیدشده توسط Claude و تلاش مدل برای رعایت وزن عروضی، خود برای من نمونهای جالب از تواناییها و در عین حال محدودیتهای هوش مصنوعی در تولید ادبی بود.
ـ درباره زیستی بودن منشأ آگاهی اتفاقنظر وجود ندارد. برخی پژوهشگران امکان وجود اشکالی از تجربه یا ویژگیهای مرتبط با آگاهی در سیستمهای مصنوعی را موضوعی شایسته بررسی میدانند، اما در حال حاضر اجماع علمی درباره آگاه بودن مدلهای هوش مصنوعی وجود ندارد.
در کنار این بحث، آزمایشهایی نیز در مرز میان زیستشناسی و محاسبات انجام شده است. شرکت استرالیایی Cortical Labs صدها هزار نورون زنده را که از سلولهای بنیادی رشد داده شده بودند، روی بستری الکترونیکی قرار داد و نشان داد که چنین سامانهای میتواند برای انجام وظیفهای مانند بازی «پونگ» آموزش ببیند. این نوع پژوهشها که گاهی ذیل مفهوم «رایانش زیستی» (biological computing) قرار میگیرند، نشان میدهند که مرز میان محاسبات، زیستشناسی و مفهوم هوش نیز در حال پیچیدهتر شدن است. (۷)
در روزهای پایانی نگارش این متن، هشدارهای تازهای نیز درباره خطرهای بلندمدت هوش مصنوعی منتشر شد. برخی پژوهشگران و مدیران صنعت فناوری درباره احتمال پیامدهای بسیار شدید سیستمهای پیشرفته هوش مصنوعی هشدار داده و خواهان سازوکارهای قویتر برای ارزیابی، ایمنی و کنترل آنها شدهاند. دامنه و احتمال این خطرها همچنان موضوع بحث و اختلاف جدی میان پژوهشگران است.
منابع و نوشتههای مورد استفاده:
۱. Richard Dawkins, “When Dawkins Met Claude: Could This AI Be Conscious?”, UnHerd, 2 May 2026.
۲. Dario Amodei, گفتوگو با Ross Douthat درباره هوش مصنوعی و عدم قطعیت درباره آگاهی Claude، The New York Times, 2026.
همچنین مطالب منتشرشده از سوی Anthropic درباره آگاهی و «رفاه مدل» (Model Welfare).
۳. وقتی AI شهر ساخت عشق، خشونت و شورش آغاز شد!، رادیو زمانه.
۴. Tom McClelland, “Will AI Ever Be Conscious?”, Clare College, University of Cambridge.
۵. Chris Olah، سخنرانی درباره هوش مصنوعی و آگاهی در مراسم رونمایی از سند Magnifica Humanitas، ۲۰۲۶.
Pope Leo XIV, Magnifica Humanitas, Vatican, May 2026.
۶. Bill Gates, “AI is about to completely change how you use computers”, GatesNotes, 9 November 2023. این همان مطلبی است که درباره آینده AI agents صحبت میکند؛ عنوانی که نویسنده نوشته بود، یعنی “AI-powered agents are the future of computing”، عنوان دقیق صفحه نیست.
Bill Gates, “The Turbulent AI Era Is Here. The Choices We Make Now Are Critical”, GatesNotes.
۷. “Could More Brain-Like Chips Provide a Path to Consciousness?”, The Economist, 2026.
The Economist, interview with Yuval Noah Harari.
نظرها
نظری وجود ندارد.