تحقیقات جدید در حوزه فراعلم نشان می دهد که دیدگاه های شخصی و ایدئولوژیک پژوهشگران می تواند تحلیل داده های پیچیده را منحرف کند و شناخت دقیق تاثیر باورها بر نتایج علمی برای بهبود بازتولیدپذیری در پژوهش ها ضروری است.
یه تحلیل جدید از شیوه های علمی نشون می ده که دیدگاه های سیاسی شخصی یک محقق ممکنه روی نتایجی که موقع تحلیل داده های پیچیده به دست می آره، تاثیر بذاره. این مطالعه شواهدی رو ارائه می ده که نشون میده وقتی متخصص ها به طور مستقل برای پاسخ به یک سؤال واحد از داده های یکسانی استفاده می کنن، نتیجه گیری هاشون معمولا با باورهای ایدئولوژیک قبلی شون همسو می شه. این همسویی، تاثیر باورها بر نتایج علمی را به وضوح نشان می دهد. این یافته ها در مجله Science Advances منتشر شده است.
این تحقیق توسط جورج جی. بورخاس و نیت برزنو انجام شده. بورخاس یک اقتصاددان کوبایی-آمریکایی هست که به عنوان استاد کرسی رابرت دبلیو. اسکریونر در رشته اقتصاد و سیاست گذاری اجتماعی در مدرسه کندی هاروارد فعالیت می کنه. برزنو هم محقق اصلی در مؤسسه آموزش بزرگسالان آلمان – مؤسسه لایبنیتس برای یادگیری مادام العمره.
انگیزه این مطالعه از یک آزمایش بزرگ قبلی به نام «ابتکار بازتولید جمع سپاری شده» (the Crowdsourced Replication Initiative) شکل گرفت. در اون پروژه اصلی، به تیم های تحقیقاتی مستقل داده های یکسانی داده شد تا به یک سؤال جامعه شناختی خاص پاسخ بدن. بورخاس داده های در دسترس عموم اون ابتکار رو بررسی کرد و متوجه همبستگی بین نظرات اعلام شده محقق ها درباره مهاجرت و نتایج آماری تولید شده توسط اون ها شد.
بررسی تاثیر باورها بر نتایج علمی در تحقیقات مهاجرت
برزنو به سای پست (PsyPost) گفت: «واضحه که دلایل زیادی وجود داره که محقق ها تحت تاثیر اشکال مختلف سوگیری (سوگیری تایید، سوگیری انتشار، موقعیت طلبی و غیره) قرار بگیرن؛ این درست مانند تاثیر روان شناختی عناوین جنجالی بر باور مخاطبان است که در درازمدت مسیر فکری افراد را تغییر می دهد. کاملا منطقیه که محقق ها بخون به نتایج خاصی برسن که با ترجیحات ایدئولوژیک خودشون همخوانی داشته باشه؛ یعنی همون طوری که دوست دارن دنیا باشه یا دوست دارن دنیا اون طوری به نظر برسه. کاملا منطقیه که محقق ها بخواهند به نتایج خاصی برسند که با ترجیحات ایدئولوژیک خودشان همخوانی داشته باشد؛ این نشان دهنده تاثیر باورها بر نتایج علمی است.»
«من شخصا به بحران بازتولیدپذیری و پیدا کردن راه هایی برای مقابله با کمبود جدی بازتولیدپذیری در علم علاقه مندم. مثلا وقتی داریل بم «شواهدی» برای ادراک فراحسی (ESP) پیدا کرد رو در نظر بگیرید. اون شخصا به ESP باور داشت. به نظر نمی رسه این موضوع اتفاقی باشه. تمام تلاش ها برای بازتولید آزمایش های اون تا الان شکست خورده.»
با این حال، برزنو در ابتدا نسبت به مشاهدات بورخاس مشکوک بود. اون حدس می زد که این ارتباط آماری احتمالا یک تصادف یا اتفاق گذراست که در آزمایش های دقیق تر از بین می ره. اون تصور می کرد که اگه مدل های آماری متفاوتی به کار گرفته بشن، این ارتباط پابرجا نمی مونه. برای آزمایش این موضوع، نویسنده ها تصمیم گرفتن یک تحلیل جامع انجام بدن تا تعیین کنن که آیا ایدئولوژی سیاسی واقعا در نحوه طراحی تحقیق و تفسیر یافته ها توسط دانشمندها نقشی داشته یا نه. این مسئله مستقیما به موضوع تاثیر باورها بر نتایج علمی بازمی گردد.
در این مطالعه از داده های 158 محقق استفاده شد که در قالب 71 تیم مجزا سازماندهی شده بودن. این تیم ها در آزمایشی شرکت کرده بودن که در اون ازشون خواسته شده بود تعیین کنن آیا مهاجرت بر حمایت عمومی از برنامه های رفاه اجتماعی تاثیر می ذاره یا نه. به محقق ها داده هایی از برنامه بررسی اجتماعی بین المللی (the International Social Survey Program) داده شد که کشورهای مختلف رو در بر می گرفت و بازه زمانی سال های 1363 تا 1395 رو پوشش می داد.
قبل از اینکه تیم ها تحلیل خودشون رو شروع کنن، یک نظرسنجی رو پر کردن. یکی از سوالات درباره موضع اون ها در مورد سیاست های مهاجرتی بود. به طور مشخص، ازشون پرسیده شد که آیا قوانین مهاجرت باید تسهیل بشه یا سخت گیرانه تر بشه. پاسخ های اون ها در یک مقیاس بین صفر تا شش ثبت شد.
سپس تیم ها به تحلیل داده ها پرداختن. وظیفه اون ها تکرار یک مطالعه معروف قبلی بود که هیچ ارتباطی بین مهاجرت و حمایت از رفاه پیدا نکرده بود. بعد از بازتولید اون مطالعه، به تیم ها دستور داده شد که تحقیق رو با استفاده از داده های جدید ارائه شده گسترش بدن. اون ها در انتخاب روش های آماری و متغیرهای خودشون برای آزمایش فرضیه آزاد بودن.
در مجموع، 71 تیم حدود 1,253 مدل آماری متمایز رو تخمین زدن. نتایج به طور قابل توجهی متفاوت بود. برخی تیم ها به این نتیجه رسیدن که مهاجرت به شدت حمایت عمومی از برنامه های اجتماعی رو کاهش می ده. تیم های دیگه متوجه شدن که مهاجرت به شدت این حمایت رو افزایش می ده. بسیاری از تیم های دیگه هم هیچ اثر معناداری پیدا نکردن.
چگونه باورها مسیر تحقیقات را شکل می دهند؟ تاثیر باورها بر نتایج علمی
بورخاس و برزنو یک الگوی سیستماتیک در این تفاوت ها پیدا کردن. تیم هایی که از محقق هایی با طرفداری از سیاست های مهاجرتی شفاف تر تشکیل شده بودن، تمایل داشتن نتایجی ارائه بدن که نشون می داد مهاجرت تاثیر مثبتی بر همبستگی اجتماعی داره. تیم هایی که محقق های طرفدار قوانین مهاجرتی سخت گیرانه تر داشتن، تمایل داشتن نتایجی رو نشون بدن که اثر منفی رو ثابت می کرد. این یافته ها به طور واضح تاثیر باورها بر نتایج علمی را برجسته می کند.
نویسنده ها سعی کردن مکانیسم پشت این واگرایی رو درک کنن. اون ها متوجه شدن که این تفاوت ناشی از خطای محاسباتی نبوده، بلکه از انتخاب های خاصی ناشی شده که تیم ها موقع طراحی مدل های آماری شون انجام داده بودن. در علوم اجتماعی، محقق ها اغلب باید تصمیمات زیادی درباره نحوه سازماندهی داده ها بگیرن.
برای مثال، محقق ها باید تصمیم بگیرن که چطور سطح مهاجرت رو اندازه گیری کنن. اون ها می تونن اون رو به عنوان درصد کل ساکنان متولد خارج اندازه گیری کنن، یا می تونن نرخ ورودی های جدید در هر سال رو بسنجن. اون ها همچنین باید تصمیم بگیرن کدوم کشورها رو در مقایسه بگنجونن و کدوم سال های خاص رو تحلیل کنن. اون ها همچنین باید تصمیم بگیرن که چطور انواع مختلف برنامه های رفاه اجتماعی رو به صورت ریاضی گروه بندی کنن.
این مطالعه پنج تصمیم خاص در طراحی تحقیق رو شناسایی کرد که به شدت روی نتایج نهایی تاثیر می ذاشتن. این تصمیمات تقریبا 68 درصد از تفاوت در یافته های بین تیم های موافق مهاجرت و مخالف مهاجرت رو توضیح می دادن. تحلیل ها نشون داد که تیم ها تمایل داشتن ترکیب خاصی از نقاط داده و ابزارهای اندازه گیری رو انتخاب کنن که نتایجی مطابق با ترجیحات ایدئولوژیکشون ایجاد می کرد. این مورد یک نمونه بارز از تاثیر باورها بر نتایج علمی است.
برای اطمینان از استحکام یافته هاشون، برزنو و بورخاس یک «تحلیل چندجهانی» انجام دادن. این کار شامل اجرای 883 مدل آماری مختلف برای آزمایش ارتباط بین ایدئولوژی و نتایج تحقیق بود. اون ها متوجه شدن که در تقریبا 88 درصد از این مدل ها، اثر ایدئولوژی از نظر آماری معنادار بود. این موضوع برزنو رو متقاعد کرد که همبستگی ای که در ابتدا بهش شک داشت، واقعا وجود داره.
این مطالعه همچنین کیفیت تحقیقات تولید شده توسط تیم های مختلف رو بررسی کرد. در آزمایش اصلی، طراحی تحقیق هر تیم توسط سایر شرکت کننده ها در یک فرآیند دو سو کور بررسی شده بود. داورها نمی دونستن چه کسی مطالعه رو نوشته یا دیدگاه های سیاسی شون چیه.
تحلیل ها نشون داد تیم هایی با دیدگاه های ایدئولوژیک قوی، چه موافق مهاجرت و چه مخالف مهاجرت، نمرات پایین تری از همکارانشون دریافت کردن. تیم هایی که دیدگاه های میانه رو درباره مهاجرت داشتن، تمایل داشتن مدل هایی رو طراحی کنن که رتبه های بالاتری از نظر کیفیت دریافت می کرد. این نشان می دهد که تاثیر باورها بر نتایج علمی می تواند کیفیت پژوهش را نیز تحت تاثیر قرار دهد. این نشون می ده که استانداردهای تحقیقاتی پذیرفته شده، بیشتر توسط محقق هایی رعایت شده که دیدگاه های سیاسی افراطی در مورد این موضوع نداشتن.
برزنو گفت: «مهمه به یاد داشته باشیم که دانشمندها هم انسان هستن. مغز پیچیده اون ها به طور همزمان انواع عوامل رو برای تعیین نحوه فکر و رفتار می سنجه. اون ها خطاناپذیر نیستن و در کارشون کاملا بی طرف عمل نمی کنن.»
«به همین دلیله که ایجاد محافظ های ایمنی در فرآیند علمی مهمه، مثل اینکه دیگران کار هم رو چک کنن و از روش های بیشتری برای اطمینان از استحکام کار استفاده بشه – کاری که ما در اینجا با اجرای مجموعه ای از مدل های مختلف با دقت انجام دادیم؛ مدل هایی که تقریبا همه شون همبستگی ای رو نشون دادن که جورج در ابتدا پیدا کرده بود و بنابراین شواهد محکمی از یک اثر رو ارائه می دن.»
نویسنده ها هشدار می دن که مطالعه اون ها، مثل هر تحقیق دیگه ای، محدودیت های خاصی داره. آزمایش اصلی به طور خاص برای تست سوگیری ایدئولوژیک طراحی نشده بود، بنابراین شواهد بیشتر اکتشافی هستن تا تاییدی. تعداد محقق هایی که به طور علنی به دیدگاه های ضد مهاجرتی اعتراف کردن در مقایسه با کسانی که دیدگاه های موافق مهاجرت داشتن، کم بود. این عدم توازن باعث می شه نتیجه گیری قطعی درباره میزان سوگیری در جبهه مخالف مهاجرت دشوار بشه.
همچنین احتمال سوگیری مطلوبیت اجتماعی در پاسخ های نظرسنجی وجود داره. محقق ها ممکنه در ابراز احساسات ضد مهاجرتی در یک محیط دانشگاهی تردید کرده باشن. این می تونه به این معنی باشه که برخی تیم هایی که به عنوان میانه رو یا موافق مهاجرت طبقه بندی شدن، در واقع اعضایی با دیدگاه های شخصی متفاوت داشتن.
نویسنده ها همچنین اشاره می کنن که نمی تونن فرآیندهای فکری درونی محقق ها رو مشاهده کنن. مشخص نیست که آیا تیم ها آگاهانه مدل هایی رو انتخاب کردن که با سوگیری هاشون همخوانی داشت یا این فرآیند ناخودآگاه بوده. درک این پدیده برای کاهش تاثیر باورها بر نتایج علمی ضروری است. محقق ها ممکنه صرفا به محض اینکه به نتیجه ای رسیدن که براشون منطقی به نظر می رسید، جستجو برای خطاها یا مدل های جایگزین رو متوقف کرده باشن.
تحقیقات آینده می تونن از مشاهده جریان کار علمی به صورت لحظه ای بهره مند بشن. ردیابی هر تصمیمی که یک محقق می گیره، می تونه دقیقا روشن کنه که چه زمانی و چگونه ایدئولوژی وارد فرآیند می شه. این کار مستلزم یک فضای آزمایشی هست که در اون هر مرحله از تحلیل داده ها ثبت بشه.
برزنو با پیش بینی اینکه ممکنه نتایجشون مورد بررسی دقیق قرار بگیره، تاکید کرد که نویسنده ها از بررسی های جامع استفاده کردن تا مطمئن بشن خودشون مرتکب همون سوگیری انتخابی نشدن که دارن دربارش تحقیق می کنن.
اون گفت: «برخی واکنش ها با انگیزه های سیاسی به کار ما وجود داره. این خطرناکه. ما برای اطمینان از استحکام یافته هامون تلاش زیادی کردیم. ما با آگاهی از اینکه ایدئولوژی می تونه روی هر محققی از جمله خودمون تاثیر بذاره، تقریبا هر مدل جایگزین ممکنی رو شبیه سازی کردیم. بنابراین، فراتر از یک استاندارد سخت گیرانه، ثابت کردیم که نتایجمون رو از بین بسیاری از مدل های محتمل دیگه گلچین (p-hack) نکردیم.»
برزنو اضافه کرد: «من شخصا طرفدار پر و پا قرص علم باز و فراعلم هستم. خودم رو عضوی از جنبش علم باز می دونم. من در این زمینه از روان شناسی چیزهای زیادی یاد گرفتم. من به حمایت از روش های علمی باز، شفاف، فراگیر و بازتولیدپذیر ادامه خواهم داد.»
مطالعه «سوگیری ایدئولوژیک در تولید یافته های پژوهشی ،» توسط جورج جی. بورخاس و نیت برزنو نوشته شده.
درک این موضوع که دانشمندان به عنوان انسان، از سوگیری های ناخودآگاه مصون نیستند، اهمیت شفافیت و متدولوژی های باز را بیش از پیش نشان می دهد. تلاش برای جداسازی دیدگاه های شخصی از تحلیل های آماری، کلید دستیابی به دانشی است که بتوان به آن اعتماد کرد و بر پایه آن سیاست گذاری های اجتماعی و علمی دقیقی انجام داد.
158 scientists used the same data, but their politics predicted the results
