گزارش ISC در مورد فهرست نویسندگان دو درصد

طبق گزارش نظارت و ارزیابی ISC بررسی تحلیلی از فهرست اسامی نویسندگان دو درصد برتر استنفورد نشان می دهد، برخی از پراستنادترین نویسندگان تقریبا مقاله تاثیرگذاری به صورت انفرادی یا به عنوان نویسنده اول و آخر (در مقالات گروهی) منتشر نکرده بودند. این مسئله تاکیدی بر اهمیت کار گروهی در افزایش کیفیت و تاثیرگذاری علمی پژوهش ها است و در عین حال نشان می دهد که موفقیت یک نویسنده نتیجه کار در گروه های پژوهشی و هم افزایی پژوهشگران است. با این حال، نمی توان گفت شاخص C که این محققان برای ارائه یک تصویر دقیق از تاثیرگذاری علمی نویسندگان معرفی کرده اند می تواند هدف آن ها را برآورده سازد.

در چند سال اخیر، تعدادی از پژوهشگران دانشگاه استنفورد با استفاده از داده های پایگاه اسکوپوس اقدام به ایجاد دیتاست‌هایی و محاسبه شاخصی به نام شاخص استنادی مرکب (composite citation index) می کنند. تازه ترین به روزرسانی این دیتاست (نسخه 3) در 19 اکتبر 2021 (27 مهرماه 1400) منتشر شده است که دامنه پوشش داده ها را از سال 1960 تا 2020 گسترش می دهد. این فهرست در کشور ما با نام «فهرست دانشگاه استنفورد» شناخته شده و مورد توجه رسانه ها و موسسات قرار می گیرد. هدف این دیتاست – به گفته پژوهشگران دانشگاه استنفورد – ارائه مجموعه‌ای از سنجه های استنادی استاندارد شده برای ارزیابی تاثیر استنادی دانشمندان در رشته ها و حوزه های علمی مختلف است. شاخص استنادی مرکب  (به اختصار C) مجموعه ای از شش شاخص استنادی مجزا است که پژوهشگران دانشگاه استنفورد در مقاله سال 2016 خود معرفی و محاسبه کرده اند. بنابراین، ما در این تحلیل سیر تکاملی انتشار این فهرست و محاسبه شاخص مرکب را از سال 2016 تا 2021 مورد بررسی قرار خواهیم داد.

فهرست سال 2016 (https://doi.org/10.1371/journal.pbio.1002501)

شاخص استنادی مرکب (C) مجموعه ای از شش شاخص استنادی مجزا است که همگی در یک فرمول ریاضی با استفاده از لگاریتم و با وزن یکسان محاسبه شده است (NC, H, Hm, NCS, NCSF, NCSFL). در مقاله سال 2016، پژوهشگران استنفورد ضریب همبستگی این شش شاخص را با یکدیگر محاسبه کرده اند. برای مثال، آن ها دریافتند که در نمونه مورد بررسی (84116 نویسنده)، ضریب همبستگی مثبت بالایی بین تعداد کل استنادها و اچ ایندکس وجود دارد (r = 0.88) و نتیجه می گیرند که در اکثر مواقع تعداد کل استنادها و اچ ایندکس اطلاعات یکسانی در مورد رتبه و تاثیراستنادی یک نویسنده ارائه می دهند. در عین حال، بین برخی از شاخص ها نیز همبستگی منفی یا عدم وجود همبستگی مشاهده شد. محققان دانشگاه استنفورد سعی کرده اند از طریق سه شاخص (NS, NSF, NSFL) به استنادهای دریافتی نویسندگان در جایگاه های نویسندگی مختلف بر اساس میزان احتمالی تاثیرگذاری آن ها در هر پژوهش وزن های متفاوتی بدهند. البته استفاده از این سه شاخص می تواند به طور بالقوه ایراداتی در محاسبه شاخص C ایجاد کند زیرا در برخی مقالات، ترتیب نویسندگان به صورت الفبایی و نه بر حسب میزان مشارکت و اثرگذاری هر فرد در پژوهش است.

این محققان دریافتند که برخی از پراستنادترین نویسندگان تقریبا مقاله تاثیرگذاری به صورت انفرادی یا به عنوان نویسنده اول و آخر (در مقالات گروهی) منتشر نکرده بودند. این مسئله تاکیدی بر اهمیت کار گروهی در افزایش کیفیت و تاثیرگذاری علمی پژوهش ها است و در عین حال نشان می دهد که موفقیت یک نویسنده نتیجه کار در گروه های پژوهشی و هم‌افزایی پژوهشگران است. این مسئله بیش از همه در رشته فیزیک نمایان است به طوری که قوی ترین همبستگی منفی بین تعداد کل استنادات و تعداد استناد به مقالات فردی (تک نویسنده) در این رشته مشاهده شد. با این حال، نمی توان گفت شاخص C که این محققان برای ارائه یک تصویر دقیق از تاثیرگذاری علمی نویسندگان معرفی کرده‌اند می تواند هدف آن ها را برآورده سازد. برای مثال، شاخص NSFL همزمان اجزای دو شاخص دیگر (NS, NSF) را نیز در خود دارد و به نوعی افزونگی محسوب می شود. از طرفی، بین شاخص مجموع استنادات (NC) و NSFL در اکثر رشته‌ها و حوزه های موضوعی ضریب همبستگی بالای 0.7 وجود دارد زیرا این دو شاخص همپوشانی زیادی دارند و احتمالا اگر یک فاکتور M (نویسنده میانی) فرضی را هم به آن اضافه کنیم، این همبستگی به 1.00 می رسد. واضح است که استفاده از چند شاخص تصویر بهتری از تاثیرگذاری علمی یک نویسنده ارائه می کند اما نمی توان مطمئن بود که جمع لگاریتمی تمامی این شاخص ها بتواند چنین تصویری ارائه کند به خصوص اینکه میزان بالایی هم پوشانی و افزونگی بین شاخص ها وجود دارد.

در فهرست استنفورد – به اذعان محققان استنفورد – هم برندگان جوایز نوبل حضور دارند و هم نویسندگانی که متهم به سوءرفتار علمی هستند. محققان استنفورد پروفایل استنادی تمامی برندگان جوایز نوبل در بین سال های 2011 تا 2015 (47 نفر) را بررسی کرده اند. نتایج نشان داد که در سال استنادی مورد بررسی (2013)، بسیاری از این دانشمندان در برخی شاخص های تفکیکی از جمله NC، H و Hm و همچنین شاخص مرکب (C) در جمع نویسندگان برتر قرار نمی‌گرفتند. این نشان می دهد که نه تنها یک شاخص ترکیبی (مانند C) بلکه مجموعه ای از شاخص ها هم نمی توانند به درستی بیانگر میزان تاثیرگذاری علمی یک پژوهشگر باشند. محققان استنفورد اذعان دارند که شاخص های استنادی محدودیت هایی دارند و بایستی با احتیاط زیاد مورد استفاده قرار گیرند. از طرفی، درک شاخص های استنادی مفرد راحت‌تر و مفهوم آن ها واضح تر از شاخص های ترکیبی و پیچیده است و بنابراین شاخص هایی مانند مجموع استنادات، ضریب تاثیر (برای نشریات) و اچ ایندکس (برای نویسندگان) به خوبی درک می شوند و تاثیر مقادیر پرت (outlier) در شاخص ها قابل شناسایی است. به طور کلی، محققان استنفورد در مقاله سال 2016 با نگاهی نقادانه به معرفی و آزمایش شاخص C پرداخته اند و نقاط ضعف و قوت احتمالی آن را برشمرده اند. آن ها اشاره می کنند که یک شاخص مرکب – در صورتی که بتواند از نقاط قوت هر یک از شاخص های مفرد به خوبی استفاده کرده و منجر به تشدید ضعف های آن ها نشود – می تواند معیاری غنی تر و پرمعنی تر نسبت به شاخص های مفرد باشد.

فهرست سال 2019 (https://doi.org/10.1371/journal.pbio.3000384)

محققان استنفورد در مقاله سال 2019 دیتاست خود را گسترش داده و به محاسبه سنجه های استنادی برای یکصدهزار نویسنده پراستناد در 22 حوزه موضوعی اصلی و 176 حوزه فرعی می پردازند. برای هر یک از نویسندگان در این فهرست، مقادیر شاخص ها به همراه نمره شاخص C با لحاظ و عدم لحاظ خوداستنادی محاسبه شده اند. در این فهرست، بیش از هزار نویسنده با نرخ خوداستنادی بالای 40% شناسایی شده اند در حالی که بیش از هشت هزار نویسنده هم نرخ خوداستنادی بالای 25% داشتند. میانگین نرخ خوداستنادی برای کل نویسندگان 12.7% است. یکی دیگر از شاخص‌هایی که در این فهرست برای نویسندگان محاسبه شده است، نسبت تعداد استنادات به تعداد مقالات استنادکننده (cprat) است. بیش از پنج هزار نویسنده در این فهرست نسبت cprat بزرگتر از 2 دارند (cprat>2.0). محققان استنفورد تاکید می کنند که در این موارد نیاز به بررسی دقیق تر وجود دارد زیرا این موارد می تواند بیانگر احتمال دستکاری در استنادها باشد. در این مقاله، شاخص مرکب با فرمول زیر محاسبه شده است.

در این فرمول جمع لگاریتم طبیعی شش شاخص مجزای استنادی برای مقادیر استخراج شده از پایگاه اسکوپوس در بازه زمانی 1996 تا 2017 محاسبه شده است. این شش سنجه مستقل از یکدیگر نبوده و دارای ضرایب همبستگی متفاوتی با یکدیگر هستند.  

فهرست سال 2020 (https://doi.org/10.1371/journal.pbio.3000918)

مقاله سال 2020 محققان استنفورد در تاریخ 16 اکتبر 2020 (اواخر مهر ماه 99) منتشر شد و دربرگیرنده اسامی نویسندگانی است که جزو یکصدهزار نویسنده برتر از لحاظ نمره شاخص استنادی مرکب هستند. همچنین، نویسندگانی به این فهرست افزوده شده اند که جزو یکصدهزار نویسنده برتر نیستند اما به لحاظ تاثیر استنادی در جمع نویسندگان دو درصد برتر در زیرحوزه تخصصی مطالعاتی خود قرار می گیرند. بنابراین، این فهرست حدود یکصد و شصت هزار نویسنده را در مجموع در خود جای داده است. در این به روزرسانی نیز جمع لگاریتمی شش شاخص (NC, H, Hm, NCS, NCSF, NCSFL) برای محاسبه شاخص C مورد استفاده قرار گرفته است.

محققان استنفورد بیان می کنند که حدود 5% از نویسندگانی که در این فهرست جزو دو درصد برتر پراستناد در زیرحوزه تخصصی خود قرار می گیرند در صورت حذف خوداستنادی در محاسبات، از جمع دو درصد خارج می شوند و حتی تعدادی از آن ها به زیر 10% برتر سقوط می کنند. در فهرست ارائه شده توسط نویسندگان دانشگاه استنفورد، بیش از 2100 نویسنده با نرخ خوداستنادی 40% و بالاتر حضور دارند که برخی از آن ها نمره مرکب (C) بالایی نیز دریافت کرده اند.

فهرست سال 2021 (DOI: 10.17632/btchxktzyw.3)

تازه ترین به روزرسانی این دیتاست (نسخه 3) در 19 اکتبر 2021 (27 مهرماه 1400) منتشر شده است که دامنه پوشش داده ها را از سال 1960 تا 2020 گسترش می دهد. این فهرست دربرگیرنده اسامی یکصدهزار نویسنده پراستناد برحسب نمره C و همچنین نویسندگانی است که جزو دو درصد پراستناد در زیرحوزه تخصصی خود قرار می گیرند. در مجموع بیش از 186000 نویسنده در این فهرست مورد ارزیابی قرار گرفته اند. در این فهرست، 247 نفر دارای خوداستنادی بالای 60% هستند و 2480 نویسنده نیز نرخ خوداستنادی بالاتر از 40% دارند. نسبت تعداد استنادات به مقالات استنادکننده برای حدود 500 نفر از نویسندگان 3≥ است. همچنین از جمله اشکالات عمده این دیتاست، خطا در تفکیک نام افراد است به طوری که افرادی که نام مشابه داشته اند، مقالات و ارجاعاتشان با هم جمع شده است. برای مثال، در فایل اصلی دیتاست که داده های مربوط به طول دوره کاری پژوهشگران را از سال 1960 تا 2020 پوشش می دهد، یک ستون (firstyr) تاریخ اولین سال انتشار مقاله و یک ستون نیز آخرین سال (lastyr) انتشار توسط هر نویسنده را نشان می دهد. در این جدول، تعداد 34 نویسنده فهرست شده اند که اولین مقاله خود را در سال های سدۀ 1800 میلادی نوشته اند. با تفریق اولین و آخرین سال انتشار برای تمام نویسندگان این فهرست، مشخص می شود که 51 نویسنده طول عمر کاری بالای صد سال دارند (دامنه 101 تا 186 سال) و 468 نویسنده نیز دوره کاری 70 تا 99 سال دارند. این اعداد بسیار غیرمحتمل به نظر می رسند و احتمالا نتیجه ترکیب اسامی نویسندگانی است که نام های مشابه دارند. در پژوهشی که توسط دو پژوهشگر بنگلادشی بر روی فهرست استنفورد صورت گرفته است، تخمین زده می شود که این فهرست در شناسایی نویسندگان پراستناد بنگلادشی حدود 41% خطا دارد. این خطاها شامل شناسایی نادرست وابستگی سازمانی نویسندگان، ترکیب اسامی نویسندگان با نام های مشابه و شمارش نادرست تعداد مدارک هر نویسنده است.

از طرفی، بررسی موردی ما نشان می دهد که تعدادی از نویسندگان پراستناد و باسابقه که واجد شرایط حضور در این فهرست بوده و پروفایل مشخصی در پایگاه اسکوپوس دارند در این فهرست قرار نگرفته اند. مسئله دیگر در این فهرست، نحوه رتبه بندی پژوهشگران بر اساس شاخص C است (rank(ns)). در حالی که حدود 186000 نویسنده در این فهرست قرار گرفته اند، رتبه نویسندگان اعداد بسیار متفاوتی را نشان می دهد به طوری که بالاترین رتبه 2,618,991 است و مشخص نیست این رتبه بندی چگونه صورت گرفته و رتبه ها چگونه تعیین شده است. 

نقد و بررسی فهرست استنفورد  

در پی انتشار فهرست استنفورد در سال 2019، مقاله ای در نشریه نیچر (Nature) منتشر شد که به بررسی این موضوع پرداخت (https://doi.org/10.1038/d41586-019-02479-7). در این گزارش اشاره می شود که حداقل 250 نویسنده در فهرست استنفورد دارای نرخ خوداستنادی بالای 50% هستند در حالی که میانگین نرخ خوداستنادی در کل دیتاست 12.7% است. در گزارش نیچر به یک پژوهشگر هندی اشاره می شود – که در فهرست استنفورد دارای بیشترین درصد خوداستنادی (%94) است – و در سال 2018 به پاس مقالات و استنادات خود موفق به دریافت جایزه از یکی از مقامات هندی (وزیر محیط زیست) شده است. در بروزرسانی سال 2021 فهرست استنفورد، درصد خوداستنادی این نویسنده هندی به حدود 85% کاهش یافته است. هر چند تمرکز فهرست استنفورد بر روی خوداستنادی نیست و دامنه گسترده ای از شاخص ها و سنجه های مختلف را برای ارزیابی و مقایسه نویسندگان پراستناد در حوزه های موضوعی مختلف ارائه می کند، اما اطلاعات مفیدی در مورد میزان خوداستنادی در رشته های مختلف به صورت مقایسه ای فراهم می آورد.

بررسی فهرست استنفورد نشان می دهد که در طول سال های اخیر هم نحوه محاسبه شاخص ها و هم تنوع سنجه‌ها تغییراتی داشته است و مرتبا در حال بروزرسانی بوده است. فرمول محاسبه شاخص مرکب C به گونه ای است که هر خطایی در شاخص های مفرد وجود داشته باشد، در آن بازتاب داده می شود و در عمل نمی تواند خطای شاخص های سازه‌ای خود را پوشش دهد. برای مثال، با در نظر گرفتن مجموع استنادات (بدون حذف خوداستنادی)، مقدار C برای بسیاری از نویسندگانی که درصد خوداستنادی بسیار بالا دارند در محدوده 3 تا 4 محاسبه شده است. این در حالی است که بیشترین مقدار C در این فهرست 5.6 و میانگین نمره شاخص C برای کل نویسندگان 3.5 است.

شاخص ها و سنجه های آماری و علم سنجی منبع غنی، سریع و بهینه ای برای ارزیابی وضعیت علم، پژوهش و پویایی قلمروهای علمی هستند. اما استفاده نادرست از این شاخص ها و عدم شناخت از کارکرد واقعی و منطق درونی هر سنجه می تواند آسیب هایی را در پی داشته باشد. با گسترش مراکز پژوهشی و دانشگاه ها، افزایش ظرفیت پژوهش، افزایش چشمگیر تعداد پژوهشگران و رشد فزاینده انتشارات علمی، شاخص های علم سنجی و کتاب سنجی توسعه یافته اند تا امکان ارزیابی های آماری و عینی از عملکرد پژوهشی، میزان تاثیرگذاری علمی پژوهش ها و میزان کارآمدی هزینه­کرد در بخش تحقیق و توسعه وجود داشته باشد. پایگاه های استنادی ملی، منطقه ای و بین المللی در جهان منبع اصلی گردآوری اطلاعات مدارک علمی و پژوهشی و انتشار آمار و اطلاعات کتاب شناختی در مورد این منابع هستند. این اطلاعات آماری منبع ارزشمندی برای مقایسه، معیارسنجی و ارزیابی عملکرد پژوهشی افراد، موسسات و کشورها هستند.

فهرست استنفورد تنها فهرست از پژوهشگران پراستناد نیست. برخی از پایگاه های اطلاعات علمی و سامانه های استنادی نیز فهرست های درصدی از نویسندگان و موسسات برتر ارائه می کنند. علی رغم اینکه در تمام این فهرست ها ایرادات روش شناختی و نقص در داده ها وجود دارد، اما همچنان می توانند دیدی کلی از وضعیت تاثیرگذاری علمی پژوهشگران رشته های مختلف در موسسات و کشورهای مختلف ارائه کنند. نکته مهم در خصوص این ارزش گذاری ها این است که این فهرست ها جامعیت و مانعیت کافی ندارند. همه پژوهشگران برتر و تاثیرگذار در این فهرست ها قرار نمی‌گیرند و حتی شاید بتوان گفت کسانی که در این فهرست ها قرار می گیرند لزوما برترین پژوهشگران نیستند. از این رو، این فهرست ها همواره درصدی مثبت کاذب و منفی کاذب دارند. به علاوه، با تغییر روش شناسی ها فهرست ها و اسامی هم تغییر می‌کنند. بنابراین، باید توجه داشت که هر یک از سنجه های استنادی یا  رتبه بندی های پژوهشگران بیانگر نوع متفاوتی از عملکرد و دستاورد پژوهشی است.

گاهی اوقات انتشار این فهرست ها بازتاب های گسترده ای در سطح کشور پیدا می کند و حتی تعبیرهای نادرستی از آن‌ها صورت می گیرد. یکی از مهم ترین ایرادات این فهرست ها عدم توجه لازم به زیست بوم علمی است. نویسندگان پراستنادی که در این فهرست ها وارد می شوند اغلب در طول دوره فعالیت آکادمیک خود با تیم های مختلف و پژوهشگران مختلفی همکاری داشته اند. آن ها در برخی از پژوهش ها نقش پژوهشگر ارشد و در برخی نقش جنبی، محدود و یا شاید افتخاری داشته اند. لذا نقش ها و میزان همکاری آن ها در پژوهش های مختلف متفاوت است و نمی توان تمام اثرگذاری علمی و استنادهای دریافتی را به یک میزان برای آن ها وزن دهی کرد. سوال مهم این است که آیا پژوهشگران دیگری که در طول سالیان مختلف با یک پژوهشگر پراستناد مشارکت داشته اند نیز در این فهرست ها جای گرفته اند یا خیر؟ در اصل، چنین رویکردهایی معطوف به فردگرایی و تقلیل گرایی است در حالی که پژوهش های علمی در جهان معاصر ماهیتی مشارکتی و مبتنی بر همکاری تیمی دارد.

در عین حال، آنچه به عنوان فهرست استنفورد در کشور شناخته می شود و مورد توجه رسانه ها و موسسات قرار می گیرد یک دیتاست از نویسندگان پراستناد در رشته های علمی مختلف به همراه انواع مختلفی از سنجه های استنادی استانداردشده است که می تواند به عنوان منبعی کمکی برای ارزیابی تاثیرگذاری علمی پژوهشگران رشته های مختلف مورد استفاده قرار گیرد. اما باید توجه داشت که هرگونه استفاده از داده های آن و شناسایی یک نویسنده به عنوان نویسنده تاثیرگذار یا پراستناد بایستی با توجه به مقایسه عملکرد در همه شاخص ها و بررسی مقادیر نرمال یا غیرنرمال نسبت به حوزه های علمی تخصصی و در مقایسه با سایر همتایان صورت گیرد به ویژه اینکه ایرادات آشکاری در این دیتاست وجود دارد. کلاریوت آنالیتیکس در اعلام فهرست سالانه پژوهشگران پراستناد دنیا (Highly Cited Researchers) مدارک همه نویسندگان را بررسی کرده و مواردی مانند مقالات ابطال شده، سوء رفتار علمی و نرخ بالای خوداستنادی را بررسی می کند. در نتیجه، برخی از نویسندگان از فهرست حذف می شوند و تعداد زیاد استنادات یک نویسنده ضامن قرارگیری در فهرست نویسندگان پراستناد دنیا نیست. اما محققان استنفورد هیچ گونه پردازش کیفی بر روی فهرست خود انجام نمی‌دهند و بر اساس محاسبات و حدود آستانه آماری فهرست خود را تدوین می کنند. بنابراین، کاربران بایستی برحسب نیاز خود و بدون پیش داوری از چنین داده هایی استفاده کنند و منطق محاسبه هر شاخص، ضعف ها و قوت ها و کاربردهای آن را مدنظر قرار دهند.

با توجه به مباحث فوق و ضعف های موجود در چنین فهرست هایی، پایگاه استنادی علوم جهان اسلام (ISC) هر ساله پس از رفع خطاهای موجود در فهرست های مستخرج از پایگاه استنادی وب علوم (Web of Science) و با استفاده از روش های آماری و تحلیل های علم سنجی، فهرست نرمال‌شده نویسندگان یک درصد برتر ایران را به دانشگاه های مربوطه اعلام می‌نماید. به این منظور، پایگاه ISC روش مشخص و استانداردی را برای شناسایی و معرفی پژوهشگران پراستناد برتر ایران توسعه داده است. همچنین، پایگاه ISC با اتکاء به منابع اطلاعاتی و پایگاه‌های داده خود، هر ساله فهرستی از نویسندگان پراستناد ایرانی در حوزه های علوم انسانی، اجتماعی و هنر را نیز شناسایی و به جامعه علمی معرفی می کند.