رقابت بین هوش مصنوعی و خبرنگاران علمی؛ کدام برنده خواهد بود؟

آزمایشی طولانی مدت برای بررسی قابلیت‌های چت‌جی‌پی‌تی

"انجمن پیشبرد علوم آمریکا"(AAAS) که ناشر مجله معتبر علمی ساینس(Science) است، اخیراً حکمی صادر کرده که ممکن است برای علاقه‌مندان به هوش مصنوعی موجب غافلگیری باشد.

این سازمان اعلام کرد که چت‌جی‌پی‌تی(ChatGPT) توانایی لازم برای تبدیل تحقیقات علمی پیچیده به مطالب قابل فهم و جذاب را ندارد.

انجمن پیشبرد علوم آمریکا از دسامبر ۲۰۲۳ تا دسامبر ۲۰۲۴، بیش از ۶۴ مقاله علمی دشوار را برای آزمایش قدرت چت جی پی تی انتخاب کرد. این مقالات شامل اصطلاحات تخصصی، اکتشافات پیشگامانه و چارچوب‌های غیرمعمول بودند.

هوش مصنوعی؛ موفقیتی محدود یا شکست کامل؟

چت‌جی‌پی‌تی سه مجموعه دستورالعمل مختلف با جزئیات متفاوت دریافت کرد و به کمک جدیدترین نسخه‌های مدل GPT-4 و GPT-4o در دسترس عموم، شروع به خلاصه‌نویسی مقالات کرد. خلاصه‌های تولید شده توسط این فناوری، سپس توسط خبرنگاران حرفه‌ای که برای ساینس و یورک‌الرت محتوا تولید می‌کنند، ارزیابی شدند.

نتایج آزمایش، نشان داد که میانگین امتیاز خلاصه‌های چت‌جی‌پی‌تی فقط ۲.۲۶ از ۵ بود. عامل "جذاب بودن" حتی امتیاز پایین‌تری معادل ۲.۱۴ دریافت کرد. تنها یکی از خلاصه‌ها موفق شد امتیاز کامل بگیرد، در حالی که ۳۰ مورد از ۶۴ خلاصه، پایین‌ترین امتیاز ممکن را از آن خود کردند.

خطاهای بنیادی هوش مصنوعی؛ از حذف مفاهیم کلیدی تا اغراق

پژوهشگران مشاهده کردند که چت‌جی‌پی‌تی دائماً "همبستگی" را با "علیت" اشتباه می‌گیرد، که این اشتباه اساسی دقت علمی را به شدت کاهش می‌دهد. همچنین این فناوری اغلب اطلاعات کلیدی را که برای فهم درست تحقیقات ضروری است، حذف می‌کند.

یکی از مشکلات جدی این هوش مصنوعی، علاقه مفرط آن به استفاده از واژه‌هایی چون "پیشگامانه" و "جدید" بود که در نهایت باعث بزرگ‌نمایی موضوعات معمولی شد.

هنوز برای جایگزینی خبرنگاران انسانی آماده نیست

"ابیگیل آیزنشتات"، نویسنده انجمن پیشبرد علوم آمریکا، اظهار داشت: فناوری‌های هوش مصنوعی شاید بتوانند در آینده سیستم‌های مفید برای نویسندگان علمی شوند، اما در حال حاضر به هیچ وجه آماده نیستند تا جای گزارشگران انسانی را بگیرند.

چت‌جی‌پی‌تی تنها در بخش رونویسی اولیه مقالات عملکرد مناسبی نشان داد اما خبرنگاری علمی مستلزم ترجمه است، نه رونویسی. این یعنی خبرنگاران باید مقالات پیچیده را به گونه‌ای بازنویسی کنند که خوانندگان بتوانند مفاهیم را درک کنند.

مشکلات در تحلیل و ترکیب داده‌ها

خبرنگاری علمی واقعی نیازمند تحلیل عمیق روش‌ها، پذیرش محدودیت‌ها و مرتبط ساختن نتایج با اثرات گسترده‌تر است. زمانی که مقالات علمی تناقض‌های مختلف داشتند یا نیاز به ترکیب داده‌های دو پژوهش بود، هوش مصنوعی به‌طور کامل شکست خورد.

همچنین مشخص شد که حتی استفاده از چت‌جی‌پی‌تی به عنوان نقطه آغاز، نه تنها مفید نیست، بلکه زمان بیشتری نسبت به شروع از ابتدا را از خبرنگاران می‌گیرد. نیاز به بررسی دقیق اطلاعات تولید شده، هرگونه صرفه‌جویی زمانی را از بین می‌برد.

قابلیت اطمینان پایین هوش مصنوعی در مستندنگاری

تحقیقات قبلی نیز نشان داده‌اند که هوش مصنوعی به طور قابل توجهی به منابع نادرست استناد می‌کند؛ موضوعی که در زمینه‌های علمی غیرقابل قبول است.

اگرچه بررسی‌های انجام شده نتوانست سوگیری انسانی خبرنگاران را به طور کامل لحاظ کند، اما نتایج ضعیف هوش مصنوعی چنان چشمگیر بود که سوگیری انسانی به تنهایی نمی‌توانست عملکرد ضعیف آن را توضیح دهد.

آینده چت‌جی‌پی‌تی و خبرنگاری علمی

گرچه چت‌جی‌پی‌تی توانست تا حدی ساختار و لحن گزارش‌های علمی را تقلید کند، اما بدون محتوای دقیق، نمی‌توان استانداردهای حرفه‌ای را تأمین کرد. بنابراین، نویسندگان همچنان نقش اصلی را در تبدیل محتوای علمی به مقالات جذاب بر عهده خواهند داشت.

در حال حاضر، هنر پیچیده تبدیل اکتشافات علمی به مطالب قابل فهم برای عموم همچنان در دستان انسان‌ها باقی مانده است. مهارت، دقت و قضاوت کارشناسان؛ عواملی هستند که هنوز با هوش مصنوعی قابل جایگزینی نیستند.