روایی محتوایی
122 Views
روایی محتوا نوعی روایی معیار است که نشان می‌دهد یک سنجش تا چه اندازه ساختاری را که قرار است بازنمایی کند، پوشش می‌دهد.
برای محققین مهم است که روایی محتوایی در کارشان داشته باشند تا مطمئن شوند که مطالعه آنها آنچه را که قصد اندازه گیری ش را دارد واقعا اندازه گیری می کند.
راه‌های مختلفی برای ایجاد اعتبار محتوا وجود دارد، از جمله نظرات متخصص، گروه‌های متمرکز و نظرسنجی.
توضیح کاملتر روایی محتوا
روایی محتوایی یعنی تا چه میزان یک ابزار می تواند تمام اجزای مربوط ساختاری که قصد اندازه گیریش را دارد پوشش دهد. که شامل جنبه‌هایی مانند تناسب آیتم‌ها، وظایف یا سؤال‌ها برای حوزه خاصی است که اندازه‌گیری می‌شود و اینکه آیا ابزار ارزیابی، طیف وسیعی از محتوا را پوشش می‌دهد تا بتوان در مورد ساختار هدف نتیجه‌گیری کرد.
یکی از نمونه‌های ارزیابی با اعتبار محتوایی بالا، آزمون مهارت‌های پایه آیووا (ITBS) است. آزمون ITBS یک آزمون استاندارد است که از سال 1935 برای ارزیابی پیشرفت تحصیلی دانش آموزان در پایه های 3-8 استفاده می شود.
این آزمون طیف گسترده ای از مهارت های تحصیلی، از جمله خواندن، ریاضی، هنرهای زبان و مطالعات اجتماعی را پوشش می دهد. موارد در آزمون به دقت توسعه داده شده و توسط گروهی از متخصصان بررسی می شود تا اطمینان حاصل شود که آنها منصفانه و معرف مهارت های مورد آزمایش هستند.
در نتیجه، ITBS اعتبار محتوایی بالایی دارد و به طور گسترده توسط مدارس و مناطق برای سنجش پیشرفت دانش‌آموزان استفاده می‌شود.
از آن طرف، اکثر آزمون های رانندگی اعتبار محتوایی پایینی دارند. سوالات در آزمون اغلب نشان دهنده مهارت های مورد نیاز برای رانندگی ایمن نیستند. به عنوان مثال، بسیاری از تست های مجوز رانندگی شامل سوالاتی در مورد نحوه پارک موازی یا نحوه تغییر مسیر نمی شوند.
در همین حال، آزمایش های گواهینامه رانندگی اغلب رانندگان را در شرایط غیر ایده آل مانند باران یا برف آزمایش نمی کنند. در نتیجه، این آزمایشات اندازه گیری دقیقی از توانایی فرد در رانندگی ایمن ارائه نمی دهد.
هر چه اعتبار محتوایی یک ارزیابی بالاتر باشد، می تواند با دقت بیشتری آنچه را که برای اندازه گیری در نظر گرفته شده است اندازه گیری کند، یعنی سازه هدف
چرا اعتبار محتوایی در تحقیق مهم است؟
روایی محتوا در تحقیق مهم است زیرا اطمینان می دهد یک ابزار آنچه را که قرار است اندازه گیری کند، واقعا اندازه گیری می کند.
این امر به ویژه در زمان توسعه اقدامات جدید یا تطبیق اقدامات موجود برای استفاده در جمعیت های مختلف موضوعیت دارد.
همچنین پیامدهایی برای تفسیر نتایج دارد، زیرا یافته‌ها را فقط می‌توان به طور دقیق برای گروه‌هایی اعمال کرد که اعتبار محتوایی معیار برای آنها ثابت شده است.
راهنمای گام به گام: چگونه اعتبار محتوا را اندازه گیری کنیم؟
یکی از اولین روشهای اندازه‌گیری اعتبار محتوا، روش دلفی بود که در سال 1940 توسط ناسا به عنوان روشی برای ایجاد سیستماتیک پیش‌بینی‌های فنی ابداع شد. این روش شامل گروهی از متخصصان است که پیش‌بینی‌هایی درباره آینده انجام می‌دهند و سپس درباره آن پیش‌بینی‌ها به اجماع می‌رسند. امروزه روش دلفی بیشترین کاربرد را در پزشکی دارد.
در یک مطالعه روایی محتوایی با استفاده از روش دلفی، از گروهی از متخصصان خواسته می‌شود تا موارد را در یک ابزار ارزیابی در مقیاسی رتبه‌بندی کنند. همچنین پنل متخصص این امکان را دارد که در مورد موارد نظر خود را اضافه کند.
پس از جمع‌آوری تمامی رتبه‌بندی‌ها، میانگین امتیاز آیتم محاسبه می‌شود. در دور دوم، کارشناسان نتایج خلاصه‌شده دور اول را دریافت می‌کنند و می‌توانند نظرات بیشتری ارائه دهند و پاسخ‌های دور اول خود را اصلاح کنند.
این رفت و برگشت ادامه می یابد تا زمانی که برخی از معیارهای همگنی – شباهت بین نتایج پژوهشگران – به دست آید (Koller et al., 2017).
لاوشه (1975) و لین (1986) روشهای عددی را برای ارزیابی اعتبار محتوا ایجاد کردند. هر دوی این روش ها نیازمند توسعه یک شاخص اعتبار محتوا (CVI) هستند. شاخص اعتبار محتوا معیاری آماری است از این که تا چه میزان ابزار ارزیابی حوزه محتوای مورد نظر را پوشش می دهد. این شاخص خودش مبتنی بر نسبت اعتبار محتوا (CVR) است (یعنی CVI میانگین CVR تک تک آیتم هاست). حالا تعریف CVR چیست؟ نسبت روایی محتوا (CVR) یعنی تبدیل خطی سطح متناسبی از توافق بر سر این موضوع که چند متخصص در یک پانل، آیتم را به عنوان “ضروری” تلقی می کنند.
برای محاسبه شاخص اعتبار محتوا دو مرحله وجود دارد:
- تعیین تعداد آیتم هایی که باید در ابزار ارزیابی گنجانده شود.
- تعیین درصد آیتم هایی که واقعاً در ابزار ارزیابی گنجانده شده است.
مرحله اول، تعیین تعداد آیتم هایی که باید در ابزار ارزیابی گنجانده شود، می تواند با استفاده از یکی از دو رویکرد انجام شود: نمونه گیری از آیتم ها یا اجماع کارشناسان.
نمونه گیری آیتم شامل انتخاب نمونه ای از آیتم ها از مجموعه بزرگتری از آیتم هاست که دامنه محتوا را پوشش می دهد. سپس از تعداد موارد موجود در نمونه برای تخمین تعداد کل آیتم های مورد نیاز برای پوشش دامنه محتوا استفاده می شود.
این رویکرد این مزیت را دارد که سریع و آسان است، اما اگر نمونه آیتم ها نماینده مجموعه بزرگتر نباشد، می تواند مغرضانه باشد (Koller et al., 2017).
رویکرد دوم، اجماع کارشناسان، شامل پرسیدن از گروهی از کارشناسان است که چه تعداد آیتم باید در ابزار ارزیابی گنجانده شود تا به اندازه کافی حوزه محتوا را پوشش دهد. این رویکرد این مزیت را دارد که عینی‌تر است، اما می‌تواند زمان‌بر و پرهزینه باشد.
متخصصان می توانند این موارد را به ابعاد ساختاری که قصد اندازه گیری آن را دارند اختصاص دهند و مقادیر مرتبط را برای تصمیم گیری در مورد اینکه آیا یک آیتم، معیاری قوی برای سازه است تخصیص دهند.
اگرچه تلاش‌های مختلفی برای دیجیتالی کردن فرآیند اندازه‌گیری اعتبار محتوا وجود دارد، اما هیچ روش سیستماتیکی وجود ندارد که بتوان از آن به عنوان یک دستورالعمل کلی برای ارزیابی اعتبار محتوا استفاده کرد.
چه زمانی از اعتبار محتوا استفاده می شود؟
ارزیابی آموزش
در زمینه ارزشیابی آموزشی، روایی یعنی تا چه حد ابزار ارزیابی به طور دقیق آنچه را که در نظر گرفته شده است اندازه گیری می کند. روایی برای هر کسی که در رابطه با یک دانش آموز/دانشجو بر اساس داده تصمیم می گیرد و استنباط انجام می دهد مهم است.
در واقع می تواند پیامدهای عمیقی برای تحصیل و آینده دانش آموزان داشته باشد. برای مثال، آزمونی که توانایی‌های دانش‌آموزان را به خوبی اندازه‌گیری می‌کند، می‌تواند باعث شود دانش آموز در دوره ای ثبت نام کدند که برایش نامناسب است و در نهایت به شکست او منجر شود (Obilor, 2022).
تعدادی از عوامل وجود دارد که به طور خاص بر اعتبار ارزیابی های داده شده به دانش آموزان تأثیر می گذارد، مانند (Obilor, 2018):
- دستورالعمل های نامشخص: اگر دستورالعملها به طور واضح به پاسخ دهنده نشان ندهند که چگونه باید به آیتم های ابزار پاسخ دهد، اعتبار ابزار کاهش می یابد.
- واژگان: اگر دایره لغات مخاطب ضعیف باشد و موارد را درک نکند، اعتبار ابزار تحت تأثیر قرار می گیرد.
- آیتم های آزمایشی ضعیف: اگر آیتم ها به گونه ای ساخته شوند که برای پاسخ دهندگان مختلف معانی متفاوتی داشته باشند، اعتبار آن تحت تأثیر قرار می گیرد.
- سطح دشواری آیتم ها: در یک آزمون موفقیت، آیتم های آزمونِ خیلی آسان یا خیلی دشوار بین دانش آموزان تمایز قائل نمی شوند و در نتیجه اعتبار آزمون را کاهش می دهند.
- تأثیر عوامل خارجی: عوامل خارجی مانند سبک بیان، خوانایی، مکانیک دستور زبان (املا، نقطه گذاری)، خط و طول ابزار و غیره بر اعتبار ابزار تأثیر می گذارد.
- محدودیت زمانی نامناسب: در تست سرعت، اگر محدودیت زمانی کافی داده شود، نتیجه به عنوان معیار سرعت باطل می شود. در تست قدرت، محدودیت زمانی نامناسب اعتبار آزمون را کاهش می دهد.
مصاحبه ها
چند دلیل وجود دارد که چرا مصاحبه ها ممکن است اعتبار محتوایی نداشته باشند. اولاً، مصاحبه‌کنندگان ممکن است سؤالات مختلفی بپرسند یا بر موضوعات خاصی در میان کاندیداهای مختلف تأکید متفاوتی داشته باشند. این می تواند مقایسه کاندیداها را در یک حوزه مشخص دشوار کند.
دوم، مصاحبه‌کنندگان ممکن است سوگیری‌های شخصی خود را داشته باشند که هنگام قضاوت در مورد نامزدها وارد عمل می‌شوند.
در نهایت، خود قالب مصاحبه ممکن است ناقص باشد. برای مثال، بسیاری از شرکت‌ها از برنامه‌نویسان بالقوه می‌خواهند بازی‌های فکری را تکمیل کنند – مانند محاسبه تعداد لوله‌کش‌ها در شیکاگو یا کدنویسی کارهایی که به شدت به دانش نظری ساختار داده‌ها متکی هستند – حتی اگر این دانش به ندرت یا هرگز در کار استفاده نشود.
پرسشنامه ها
پرسشنامه ها بر توانایی پاسخ دهندگان در یادآوری دقیق اطلاعات و گزارش صادقانه آن تکیه دارند. به‌علاوه، نحوه بیان سؤال‌ها می‌تواند بر پاسخ‌ها تأثیر بگذارد. برای افزایش اعتبار محتوا هنگام طراحی پرسشنامه، باید به انواع سوالاتی که پرسیده می شود توجه خاصی داشته باشید.
سؤالات باز معمولاً نسبت به سؤالات بسته سوگیری کمتری دارند، اما تجزیه و تحلیل آنها دشوارتر است.
همچنین مهم است که از سؤالات جهتدار که ممکن است پاسخ پاسخ دهندگان را در جهت خاصی تحت تأثیر قرار دهد، اجتناب کنید. جمله بندی سوالات باید واضح و مختصر باشد تا از سردرگمی جلوگیری شود (Koller et al., 2017).
سوالات متداول
اعتبار محتوا درونی است یا بیرونی؟
اکثر کارشناسان موافقند که اعتبار محتوا در درجه اول یک موضوع داخلی است. این بدان معناست که مفاهیم و آیتم های موجود در یک آزمون باید بر اساس تجزیه و تحلیل کامل از حوزه محتوای خاصی که اندازه گیری می شود، باشد.
آیتم ها همچنین باید معرف دامنه سطوح دشواری در آن حوزه محتوا باشند. عوامل خارجی، مانند نظرات متخصصان یا عموم مردم، می توانند بر اعتبار محتوا تأثیر بگذارند، اما لزوماً تعیین کننده اولیه نیستند.
در برخی موارد، مانند هنگام توسعه یک آزمون برای صدور مجوز یا گواهی، افراد خارجی درگیر در مسئله ممکن است در مورد آنچه در آزمون گنجانده شده است، نظر محکمی داشته باشند (Koller et al., 2017).
چگونه می توان اعتبار محتوا را بهبود بخشید؟
چند راه برای افزایش اعتبار محتوا وجود دارد. یکی ایجاد مواردی است که بیشتر معرف ساختار هدف هستند. راه دوم این است که تعداد موارد در ارزیابی را افزایش دهید تا محدوده بیشتری از محتوا را پوشش دهد. در نهایت، کارشناسان می توانند موارد موجود در ارزیابی را بررسی کنند تا مطمئن شوند که آنها منصفانه و معرف مهارت های مورد آزمایش هستند (کولر و همکاران، 2017).
چگونه اعتبار محتوایی یک پرسشنامه را آزمایش می کنید؟
چند راه برای آزمون اعتبار محتوایی پرسشنامه وجود دارد. یکی از راه‌ها این است که از متخصصان این حوزه بخواهید سؤالات را بررسی کنند و بازخوردی در مورد اینکه آیا آنها معتقدند سؤالات مرتبط هستند یا نه و همه موضوعات مهم را پوشش می‌دهند، ارائه دهند.
راه دیگر این است که پرسشنامه را برای گروه کوچکی از افراد اجرا کنید و سپس نتایج را تجزیه و تحلیل کنید تا ببینید آیا الگوها یا مضامینی از پاسخ ها ظاهر می شود یا خیر.
در نهایت، می توان از روش های آماری برای آزمون اعتبار محتوا نیز استفاده کرد، اگرچه این رویکرد پیچیده تر است و معمولاً نیاز به دسترسی به نرم افزارهای تخصصی دارد (Koller et al., 2017).
چگونه می توان تشخیص داد که یک ابزار از نظر محتوا معتبر است؟
چند راه برای تشخیص معتبر بودن یک ابزار وجود دارد. اولین مورد شامل بررسی دو زیرمجموعه اعتبار محتوا است: روایی صوری و روایی سازه.
اعتبار صوری معیاری است که نشان می دهد آیا آیتم های موجود در آزمون به نظر می رسد آنچه را که آنها ادعا می کنند اندازه می گیرند یا نه. البته که بسیار ذهنی و شخصی است اما برای ارزیابی راحت است.
راه دیگر این است که به اعتبار سازه نگاه کنیم، یعنی اینکه آیا آیتم های آزمون، آنچه را که قرار است اندازه گیری کنند، اندازه گیری می کنند یا نه. در نهایت، می‌توانید به اعتبار مربوط به معیار نیز نگاه کنید، یعنی اینکه آیا آیتم‌های آزمون عملکرد آینده را پیش‌بینی می‌کنند یا خیر.
تفاوت بین اعتبار محتوا و روایی معیار چیست؟
روایی محتوا معیاری است که نشان می دهد یک آزمون چقدر محتوایی را که قرار است پوشش دهد، پوشش می دهد.
در عین حال، روایی معیار، شاخصی است از میزان ارتباط یک آزمون با یک استاندارد مقایسه یا یک معیار.
به عنوان مثال، اگر سنجشی از رفتار مجرمانه معتبر باشد، باید بتوان از آن برای پیش بینی اینکه آیا فردی در آینده به دلیل تخلف مجرمانه دستگیر می شود، در حال حاضر قانون شکنی می کند و سابقه کیفری قبلی دارد، استفاده کرد.
آیا اعتبار محتوا و اعتبار سازه یکسان هستند؟
خیر.
روایی محتوا روشی است برای ارزیابی درجه ای است از این که چقدر یک سنجش محدوده محتوایی را که مد نظر اندازه گیری است پوشش می دهد.
در مقابل، روایی سازه روشی است برای ارزیابی درجه ای که یک معیار ساختار زیربنایی را که مد نظر اندازه گیری است، منعکس می کند.
توجه به این نکته حائز اهمیت است که اعتبار محتوا و اعتبار سازه با هم ناسازگار نیستند. یک سنجش از نظر محتوا و سازه می تواند هم معتبر و هم نامعتبر باشد.
با این حال، اعتبار محتوا شرط لازم اما نه کافی برای اعتبار سازه است. به این معنا که اگر معیاری ابتدا اعتبار محتوایی نداشته باشد، نمی‌تواند از نظر ساختار معتبر باشد (Koller et al., 2017).
به عنوان مثال، یک آزمون پیشرفت تحصیلی در ریاضی ممکن است دارای اعتبار محتوایی باشد اگر حاوی سؤالاتی از تمام زمینه های ریاضی باشد که انتظار می رود دانش آموز قبل از آزمون یاد گرفته باشد، اما اگر به نحوی با آزمون های مشابه مرتبط نباشد ممکن است اعتبار ساختاری نداشته باشد.
برای اعتبار محتوا به چند کارشناس نیاز است؟
هیچ پاسخ قطعی برای این سوال وجود ندارد زیرا به عوامل متعددی از جمله ماهیت ابزاری که اعتبارسنجی می‌شود و هدف از اجرای اعتبارسنجی بستگی دارد. با این حال، به طور کلی، حداقل از سه متخصص باید استفاده شود تا اطمینان حاصل شود که اعتبار محتوایی یک ابزار به اندازه کافی ایجاد شده است (Koller et al., 2017).
پاسخگوی سوالات و نظرات شما هستیم