گزارش کیفیت مدلهای مختلط خطی تعمیم یافته در روانشناسی: یک بررسی سیستماتیک

این یک مقاله با دسترسی آزاد است که تحت شرایط مجوز انتساب Creative Commons (CC توسط) توزیع شده است. استفاده ، توزیع یا تولید مثل در سایر انجمن ها مجاز است ، مشروط بر اینکه نویسنده اصلی (ها) و مالک (های) دارای حق چاپ (دارایی) اعتبار داشته باشند و انتشار اصلی در این ژورنال مطابق با عمل دانشگاهی پذیرفته شده استناد می شود. بدون استفاده ، توزیع یا تولید مثل مجاز است که این شرایط را رعایت نمی کند.

داده های مرتبط

داده های خام که از نتیجه گیری این مقاله پشتیبانی می کنند ، توسط نویسندگان و بدون رزرو غیرقانونی در دسترس خواهد بود.

خلاصه

مدلهای مخلوط خطی تعمیم یافته (GLMM) اثرات ثابت و تصادفی را تخمین می زنند و به ویژه هنگامی که متغیر وابسته باینری ، معمولی ، شمارش یا کمی اما به طور عادی توزیع نمی شود ، مفید هستند. آنها همچنین مفید هستند که متغیر وابسته شامل اقدامات مکرر باشد ، زیرا GLMM ها می توانند همبستگی را مدل کنند. این مطالعه با هدف تعیین چگونگی استفاده و چند بار از GLMM در روانشناسی و خلاصه چگونگی ارائه اطلاعات در مورد آنها در مقالات منتشر شده است. تمرکز ما از این نظر عمدتاً روی مدلهای مکرر بود. به منظور مرور مطالعات مربوط به استفاده از GLMM در روانشناسی ، ما در وب علوم برای مقالاتی که در دوره 2014-2018 منتشر شده بود ، جستجو کردیم. در مجموع 316 مقاله تجربی برای مطالعه روند از سال 2014 تا 2018 انتخاب شدند. ما سپس یک بررسی منظم از 118 تجزیه و تحلیل GLMM از 80 مقاله تجربی که در گزارش های استناد به ژورنال در طول سال 2018 نمایه شده اند به منظور ارزیابی کیفیت گزارش انجام دادیم. نتایج نشان داد که استفاده از GLMM با گذشت زمان افزایش یافته و 86. 4 ٪ از مقالات در مجلات کوارتیل اول یا دوم منتشر شده است. اگرچه GLMM ها ، در سالهای اخیر ، به طور فزاینده ای در روانشناسی مورد استفاده قرار می گیرند ، اما بیشتر اطلاعات مهم در مورد آنها در اکثر مقالات بیان نشده است. کیفیت گزارش باید مطابق با توصیه های فعلی برای استفاده از GLMM بهبود یابد.

واژه‌های کلیدی: مدلهای مختلط خطی تعمیم یافته ، بررسی سیستماتیک ، تحقیقات تجربی ، کیفیت گزارش ، بررسی روش شناختی

معرفی

استراتژی های تجزیه و تحلیل داده ها در پیچیدگی متفاوت است. ساده ترین تکنیک ها بر اساس مدل خطی کلی ، مانند تجزیه و تحلیل واریانس (ANOVA) یا تجزیه و تحلیل رگرسیون است ، و اینها رایج ترین مورد استفاده در علوم بهداشتی و اجتماعی هستند. این آزمایشات ، برای متغیرهای کمی ، به داده های توزیع شده عادی ، همگن بودن واریانس و استقلال خطاها نیاز دارند ، فرضیاتی که همیشه در تنظیمات زندگی واقعی راضی نیستند. مدل خطی عمومی (GLM) و مدل مخلوط خطی (LMM) سطح تجزیه و تحلیل پیشرفته تری را ارائه می دهند. GLM تعمیم رگرسیون خطی است. LMM امکان درج عوامل اثرات تصادفی را فراهم می کند و در صورت نقض فرضیات استقلال و واریانس ثابت ، مفید است. سرانجام ، در سطح بالاتری از پیچیدگی ، مدل مخلوط خطی تعمیم یافته (GLMM) شامل اثرات تصادفی است و LMM را به سایر متغیرهای پاسخ تعمیم می دهد. بنابراین انتخاب مدل به متریک متغیر پاسخ و توزیع آن بستگی دارد و آیا ما فقط با اثرات ثابت یا همچنین متغیرهای اثرات تصادفی سر و کار داریم. به طور خلاصه ، هر یک از مدلهای فوق اهداف متفاوتی دارند و برای انواع خاصی از داده ها مناسب است. در این مقاله ما به استفاده از GLMM در روانشناسی می پردازیم. برای بحث عمیق در مورد GLMM ، خوانندگان ممکن است با دین و نیلسن (2007) و استروپ (2013) مشورت کنند.

داده های به دست آمده در بهداشت ، علوم اجتماعی و تحقیقات آموزشی غالباً دارای ارزش و مقادیر کورتوز هستند که به وضوح از توزیع عادی منحرف می شوند (Micceri ، 1989 ؛ Lei and Lomax ، 2005 ؛ Bauer and Sterba ، 2011 ؛ Blanca et al. ، 2013 ؛ Aau etAl. ، 2014 ؛ Bono et al. ، 2020). در واقع ، Micceri (1989) و Blanca et al.(2013) نتیجه گرفت که توزیع داده های روانی واقعی معمولاً غیر طبیعی است. Micceri (1989) خصوصیات توزیع 440 اقدامات دستیابی و روان سنجی را بررسی کرد و چندین کلاس از غیر طبیعی بودن را شناسایی کرد. بلانکا و همکاران.(2013) 693 توزیع منعکس کننده توانایی شناختی و سایر متغیرهای روانشناختی را مورد تجزیه و تحلیل قرار داد و دریافت که بیشتر توزیع ها غیر عادی هستند. در یک بررسی منظم تر از مطالعات تجربی که بین سالهای 2010 و 2015 در زمینه های بهداشت ، آموزش و علوم اجتماعی منتشر شده است ، بونو و همکاران.(2017) درصد بالایی از توزیع های غیر عادی را پیدا کرد که بیشترین استفاده از آنها گاما ، دوتایی منفی ، چندمجمی ، دوتایی ، لگدال و نمایی است.

از این مطالعات مشخص است که داده های روانشناسی غالباً توزیع های غیر از حالت عادی را دنبال می کنند. این مهم است از آنجا که نشان داده شده است که ANOVA نسبت به غیر طبیعی بودن قوی است (Kanji ، 1976 ؛ Khan and Rayner ، 2003 ؛ Schmider et al. ، 2010 ؛ Ferreira et al. ، 2012 ؛ Blanca et al. ، 2017) ، ITبرای داده های چندمجمی یا معمولی مناسب نیست و با داده های شمارش نیز بهینه نیست (Aiken et al. ، 2015). در نتیجه ، محققان کاربردی باید به جای اینکه به دنبال یافتن راه هایی برای استفاده از رویکردهای کلاسیک در هر هزینه باشند (به عنوان مثال ، با تبدیل داده ها به منظور دستیابی به نرمال بودن یا استفاده از تجزیه و تحلیل های غیر پارامتری) ، یک تکنیک آماری مناسب برای داده های خود انتخاب کنند. نکته دیگری که باید در نظر گرفت این است که طرح های مطالعه که حاکی از عدم استقلال مشاهدات ناشی از نمونه گیری تو در تو یا اقدامات مکرر است ، در روانشناسی رایج است. اگرچه محققان کاربردی در روانشناسی می دانند که GLMM ها ابزاری انعطاف پذیر برای تجزیه و تحلیل چنین داده هایی هستند ، اما این مدل ها به ندرت به دلیل پیچیدگی آنها مورد استفاده قرار می گیرند. در حقیقت ، بررسی های مختلفی از تکنیک های تحلیلی که بیشتر در تحقیقات روانشناختی مورد استفاده قرار می گیرند ، نشان می دهد که ANOVA رایج ترین است (Edgington ، 1964 ، 1974 ؛ Reis and Stiller ، 1992 ؛ Schinka et al. ، 1997 ؛ Kieffer et al. ، 2001). اخیراً ، Skidmore و Thompson (2010) و Counsell و Harlow (2017) دریافتند که ANOVA ، همبستگی و رگرسیون بیشترین تکنیک های در روانشناسی است. بررسی توسط بلانکا و همکاران.(2018) از 663 روش تجزیه و تحلیل داده مورد استفاده در مطالعات تجربی در زمینه های مختلف روانشناسی و منتشر شده در مجلات برجسته در سال 2017 همچنین نشان داد که ANOVA همچنان پرکاربردترین تکنیک و به دنبال آن رگرسیون است.

Thiele و Markussen (2012) GLMM ها را به عنوان مدل های رگرسیون تعریف کردند که به محققان امکان می دهد از بین توزیع های مختلف و توابع پیوند انتخاب کنند تا طیف گسترده ای از متغیرهای وابسته را از طریق ترکیب های خطی از متغیرهای پیش بینی کننده یک یا چند (جلوه های ثابت) مدل کنند. عملکرد پیوند یک تابع مداوم است که مقادیر متغیر پاسخ را تغییر می دهد به طوری که آنها با مقیاس پیش بینی کننده های خطی مطابقت دارند. این بدان معنی است که بین توزیع و عملکرد پیوند مکاتبات وجود دارد. اولین مرحله از فرآیند مدل سازی ، یافتن یک تابع توزیع و پیوند مناسب برای داده های موجود است (گارسون ، 2013). به عنوان مثال ، توزیع طبیعی داده های شمارش پواسون است یا اگر واریانس بزرگتر از میانگین (بیش از حد) باشد ، توزیع دوتایی منفی. نسبت ها و نتایج باینری متغیرهای دوتایی و عملکرد پیوند مشترک Logit است. با این حال ، اگرچه یک عملکرد پیوند طبیعی برای هر توزیع وجود دارد ، اما گزینه های متداول کمتری نیز وجود دارد که ممکن است در برخی موارد متناسب با داده ها بهتر باشد (Thiele and Markussen ، 2012). به عنوان مثال ، داده های دوتایی ممکن است با پیوند پروب مدل سازی شوند ، در حالی که داده های شمارش با وسایل بزرگ ممکن است در برخی موارد با پیوند هویت مدل شوند. توزیع دوتایی منفی نیز می تواند با پیوند هویت مدل سازی شود. بسته به بسته نرم افزاری ، سایر توزیع ها و توابع پیوند ممکن است در دسترس باشد. Thiele و Markussen (2012) مدلهای متناسب با پیوندهای مختلف به داده ها را توصیه کردند و با استفاده از پیوندی که بهترین مدل تناسب و تفسیر پارامتر را به دست می آورد.

جنبه دیگری که باید در نظر داشته باشید این است که GLMM ها شامل اثرات تصادفی هستند که هنگام تکرار مطالعه می توانند تغییر کنند. نمونه هایی از اثرات تصادفی شامل افراد در یک مطالعه دارویی ، کلاسهای درس در یک مطالعه آموزش یا زمان در اندازه گیری های مکرر است. در مدل سازی چند سطحی ، همبستگی داخل سلولی (ICC) می تواند هنگام استفاده از اثرات تصادفی محاسبه شود. هوکس (2002) ICC را به عنوان میزان واریانس نتایج نتایج توضیح داده شده توسط ساختار گروه بندی توصیف می کند. ICC همچنین می تواند به عنوان همبستگی مورد انتظار بین هر دو فرد به طور تصادفی در همان گروه تعبیر شود (هوکس ، 2002). هک و همکاران.(2010 ، 2012) از ICC به عنوان نسبت واریانس کل در نتیجه به دلیل اختلاف درون واحد در سطوح بالاتر اشاره می کند.

بیش از حد بیش از حد مسئله مهم دیگری است که باید در رابطه با GLMM ها در نظر بگیرید. این پدیده باعث ایجاد خطاهای استاندارد نادرست می شود ، به این معنی که در داده هایی که توسط مدل آماری پیش بینی یا انتظار می رود ، واریانس بیشتری وجود دارد (بل و گرونوالد ، 2011). در داده های واقعی واریانس اغلب از میانگین فراتر می رود. میلانزی و همکاران.(2012) دریافت که هنگام نادیده گرفتن بیش از حد ، میزان خطای نوع I به طور قابل توجهی متورم شده است ، و این دلالت می کند که احتمال تشخیص یک اثر فریبنده افزایش می یابد. بنابراین بیش از حد می تواند منجر به نتیجه گیری نادرست در تحقیقات روانشناختی شود. نمونه ای از زمینه رفتار اعتیاد آور می تواند زمانی باشد که نتایج شمارش که با بسیاری از مشاهدات صفر (به عنوان مثال ، تعداد کل نوشیدنی ها ، تعداد مشروبات نوشیدن یا روزهای نوشیدن) به شدت کاهش یافته است ، با ارزیابی های مکرر ترکیب می شوند (به عنوان مثال ، پیگیری طولیبعد از مداخله). در این زمینه ، اتکینز و همکاران.(2013) با تجزیه و تحلیل داده های استفاده از مواد طولی با مدل های سلسله مراتبی یا چند سطحی ، به مشکل بیش از حد پرداخت پرداخت. مدلهای آماری که فرض می کنند باقیمانده های توزیع شده به طور عادی اعمال شده برای چنین داده هایی منجر به فواصل اعتماد به نفس نادرست و مقادیر p می شوند. علاوه بر این ، هنگام استفاده از GLMM ، داده هایی با بسیاری از صفرها را نمی توان با توزیع احتمال مربوطه مدل کرد. بنابراین ، GLMMS برای مدلهای رگرسیون شمارش ، مانند پواسون بیش از حد ، رگرسیون دوتایی منفی ، تورم صفر یا توبیت برای این نوع داده ها بسیار مناسب تر است (Atkins and Gallop ، 2007 ؛ Coxe et al. ، 2009 ؛ Hilbe ، 2011 ؛ Thieleeو مارکوسن ، 2012 ؛ آیکن و همکاران ، 2015).

اگرچه از GLMM ها به دلیل اندازه گیری های همبسته ، ناهمگونی استفاده می شود ، میلانزی و همکاران.(2012) نتیجه گرفت که ممکن است منابع اضافی ناهمگونی وجود داشته باشد که در صورت نادیده گرفتن می تواند بر استنتاج آماری تأثیر بگذارد. به عنوان مثال ، ناهمگونی ممکن است در داده های پواسون طولی ایجاد شود ، نه تنها به دلیل اندازه گیری های مکرر بلکه به دلیل افزایش بیش از حد اضافی.

همچنین ارائه اطلاعات در مورد روش تخمین نیز مهم است. بدون این اطلاعات ، ارزیابی نه تنها مناسب بودن مدل مورد استفاده بلکه قابلیت اطمینان نتایج به دست آمده و اعتبار تفسیرها نیز دشوار است. انتخاب روش تخمین به متغیر وابسته و اثرات تصادفی که باید در مدل گنجانده شود بستگی دارد (بولکر و همکاران ، 2009). با این حال ، انتخاب مناسب ترین روش از بین تعداد زیادی از گزینه های ممکن آسان نیست و باید جنبه های مختلفی در نظر گرفته شود. به عنوان مثال ، روش شبه احتمال مجازات (PQL) مجازات پارامتر مغرضانه را برآورد می کند اگر انحراف استاندارد از اثرات تصادفی بزرگ باشد ، به خصوص با داده های باینری (بولکر و همکاران ، 2009). به طور کلی ، برآورد PQL مغرضانه است که میانگین تعداد در گروه ها برای متغیرهای پواسون کمتر از پنج باشد ، یا اینکه میانگین تعداد موفقیت ها یا خرابی ها برای متغیرهای دوتایی کمتر از پنج باشد (Thiele and Markussen ، 2012). مثال دیگر این است که با داده های باینری ، تقریب لاپلاس با تعداد زیادی خوشه تخمین های مغرضانه کمتری به دست می آورد ، در حالی که تعصب با خوشه های کمتری بیشتر است (مک نیش ، 2016).

سرانجام ، باید به معیار اطلاعات توجه شود ، که برای ارزیابی یا مقایسه مدل های مختلف و در نظر گرفتن بهترین مدل مناسب استفاده می شود. معیار اطلاعات Akaike (AIC) برای این منظور بسیار مورد استفاده قرار می گیرد. معیار اطلاعات بیزی یا شوارتز (BIC) بسیار شبیه به AIC است ، اما کمتر مورد استفاده قرار می گیرد. BIC در مقایسه با AIC تمایل به مدلهای پیچیده کمتری دارد (Keselman و همکاران ، 1998). همچنین انواع AIC (به عنوان مثال ، AIC اصلاح شده برای اندازه نمونه های کوچک ، شبه AIC برای داده های بیش از حد) و همچنین سایر گزینه های معیار اطلاعات وجود دارد. انتخاب در اینجا به قضاوت محقق بستگی دارد ، زیرا شاخص های مختلف ممکن است به خوبی عمل کنند. در نتیجه ، نویسندگان گاهی اوقات تصمیم می گیرند شاخص های متفاوتی از مناسب بودن را در همان مطالعه محاسبه کنند.

نرم افزار آماری در استفاده از GLMM ها نقش داشته است. اگرچه تئوری و مفاهیم اساسی GLMM در اوایل دهه 1990 شروع به ظهور کردند ، اما ترکیب Proc Glimmix در SAS باعث شده است که این تکنیک ها در سراسر علوم رفتاری قابل دسترسی تر و کاربردی تر باشد (Chaigo et al. ، 2011). سایر سوئیت های مشهور نرم افزاری که شامل روش های مناسب برای GLMM ها است ، R ، Stata و SPSS هستند. با این حال ، با این حال ، در دسترس بودن این نرم افزار آماری ، این مدل ها پیچیده هستند. مسئله دیگر این است که الگوریتم های محاسبات GLMM ممکن است در همگرایی ناکام باشند ، به احتمال زیاد به دلیل ساختار اثرات تصادفی و ثابت پیچیده.

اگرچه GLMM ها به تدریج در روانشناسی محبوب تر می شوند ، اما هنوز هم کمتر از سایر رشته ها مانند اکولوژی مورد استفاده قرار می گیرند (Bolker et al. ، 2009 ؛ Johnson et al. ، 2015 ؛ Kain et al. ، 2015) ، Psychophysics (Moscatelli etآل. ، 2012) ، زیست شناسی (Thiele and Markussen ، 2012) ، پزشکی (Cnnan et al. ، 1998 ؛ Platt et al. ، 1999 ؛ Skrondal and Rabe-Hesketh ، 2003 ؛ Brown and Prescott ، 2006) ، و اخیراً، زبانشناسی (کوپه ، 2018 ؛ الوسوا و د بوک ، 2020). در زمینه طب بالینی ، استفاده و کیفیت گزارش GLMM در یک بررسی منظم توسط Casals و همکاران مورد بررسی قرار گرفت.(2014) ، که دریافت که در حالی که این مدل ها در دوره 2000-2012 در ادبیات پزشکی مورد استفاده گسترده تر قرار می گیرند ، کیفیت گزارش ضعیف بود. یک بررسی منظم از این نوع هنوز در روانشناسی انجام نشده است ، و از نظر ما چنین مطالعه ای به تقویت کاربرد صحیح GLMM در این زمینه کمک می کند.

مطالعه حاضر دو هدف داشت. اولین مورد این بود که تعیین کنیم که چند بار از GLMM در مطالعات منتشر شده در مجلات روانشناسی برجسته و تجزیه و تحلیل روند در این رابطه استفاده می شود. دوم ، و با توجه به توصیه تشویق استفاده از این مدلها و توضیح اینکه چه اطلاعاتی از تجزیه و تحلیل آماری ارائه می شود و چگونه باید تفسیر شود ، ما یک بررسی منظم برای نشان دادن استفاده از GLMM در روانشناسی انجام دادیم ، با تمرکز بیشتر روی آنمدل های مکرر. علاقه خاص ما در اینجا به کیفیت گزارش بود ، و از این رو بررسی کردیم که آیا مقالات منتشر شده در زمینه روانشناسی تمام اطلاعات مورد نیاز هنگام استفاده از GLMM را ارائه می دهند.

مواد و روش ها

به منظور پرداختن به اولین هدف مطالعه ، ما با شناسایی کلیه مطالعات تجربی در حوزه روانشناسی که بین سال های 2014 تا 2018 منتشر شده و در گزارش های استناد به ژورنال (JCR) منتشر شده است ، شروع کردیم. ما سپس با در نظر گرفتن عوامل تأثیر ، کوارتیل ها و دسته بندی ها طبق JCR ، کشورهای مجلات و کشورهای وابستگی نویسنده اول ، تجزیه و تحلیل روند استفاده از GLMM را انجام دادیم.

برای تحقق هدف مطالعه دوم ، ویژگی های مطالعات و GLMM های شرح داده شده در مقالات تجربی منتشر شده در سال 2018 را بررسی کردیم تا اطلاعات ارائه شده را تجزیه و تحلیل کنیم. این امر از طریق یک بررسی سیستماتیک که مطابق با دستورالعمل های PRISMA برای گزارش بررسی های سیستماتیک و متاآنالیزها انجام شده است ، حاصل شد (Moher et al. ، 2009). ضمیمه 1 تکمیلی (در ستون سمت راست) پاسخ ما به هر یک از موارد موجود در لیست چک Prisma را نشان می دهد.

جستجوی اطلاعات

این جستجو در 15 ژوئیه 2019 در وب علوم انجام شد و تصفیه شد که فقط سوابق موجود در حوزه روانشناسی را شامل می شود که در دوره 2014-2018 به زبان انگلیسی منتشر شده است. مباحث و ابتکاری در نظر گرفته شده همه به GLMM (به عنوان مثال ، مدل مخلوط خطی عمومی ، مدل خطی عمومی سلسله مراتبی ، مدل خطی عمومی چند سطحی ، GLMM و HGLM) و استراتژی جستجوی خاص این بود: "Generali ∗ Mix Mixed Linear" یا "Generali Hierarchicali∗ خطی "یا" Generali چند سطحی "یا GLMM ∗ یا HGLM. این مباحث می تواند در عنوان مقاله ، کلمات انتزاعی یا کلیدی ظاهر شود.

انتخاب مطالعات

انتخاب مطالعات به طور مستقل توسط دو داور (نویسنده اول و سوم) انجام شد. در گام اول، چکیده تمام رکوردهای بازیابی شده برای دوره 2014-2018، به استثنای موارد تکراری، مقالات کنفرانس، بررسی کتاب، مطالعات نظری (آزمون‌های آماری، رویه‌های جدید، پیشرفت‌های ریاضی، مقایسه مدل‌ها و غیره)، آموزش‌ها را غربال کردند. یا تصویری از استفاده از تکنیک های تحلیلی، توصیف نرم افزارهای آماری، بررسی های سیستماتیک، مطالعات شبیه سازی آزمایش مدل های تجزیه و تحلیل، و مطالعات تجربی در زمینه های غیر مرتبط با روانشناسی. گزارش‌هایی که به‌عنوان بازاریابی یا تبلیغات انجام می‌شدند، مانند مطالعات مربوط به موارد زیر حذف شدند: هزینه‌های خدمات بهداشتی، تجویز دارو یا واکسن و تأثیر آنها، متغیرهای پزشکی بیمار بدون اشاره به متغیرهای روان‌شناختی یا اختلالات روانی، ابزارهای تشخیصی، مراقبت از کودک و بارداری،تغذیه و بهداشت، جمعیت شناسی و تغییرات آب و هوایی. از 637 رکورد بازیابی اولیه، 312 مورد حذف شدند (چهار تکراری، چهار مقاله کنفرانس، یک مرور کتاب، چهار مطالعه نظری، هفت آموزش، دو توضیح از نرم افزار، چهار مرور سیستماتیک، 18 مطالعه شبیه سازی، و 268 مطالعه که مربوط بهرشته روانشناسی). از میان بقیه مقالات، 9 مقاله دیگر حذف شدند، زیرا مجله مربوطه در سال انتشار در JCR نمایه نشد. در مجموع 316 مقاله تجربی منتشر شده در طول دوره 2014-2018 در مجلات فهرست شده JCR و شامل متغیرهای روانشناختی (مانند افسردگی، اضطراب، استرس، پرخاشگری، مهارت ها، زبان، رشد روانی حرکتی و غیره) بودند. پایایی بین ارزیاب برای انتخاب مقالات با کاپا کوهن ارزیابی شد (کوهن، 1968). کاپا وزنی 80/0 بود که می توان آن را به عنوان توافق اساسی تفسیر کرد (لندیس و کوچ، 1977). درصد توافق بین دو ارزیاب 90 درصد بود. اختلافات با بحث حل و فصل شد.

در مرحله بعدی، ما متن کامل 88 مقاله تجربی منتشر شده در سال 2018 را بررسی کردیم. اگر مقالاتی فقط به‌کارگیری GLMM (مثلاً پروتکل‌های مطالعه) را پیشنهاد می‌کردند یا اگر حاوی ناسازگاری یا مشکل در کدگذاری متغیرها بودند، حذف شدند. توافق بین ارزیاب ها در این مرحله دوم 100% بود و در مجموع 80 مقاله منتشر شده در سال 2018 در بررسی سیستماتیک قرار گرفتند. شکل 1 روند انتخاب این مطالعات را نشان می دهد.