Apa maksud kuersioner yang tervalidasi

Halo sobat statistik, kali ini jasa olah data USH Indonesia membahas uji reliabilitas dan validitas update untuk 2021. Kedua topik yang saling berdampingan tersebut termasuk paling dasar dan paling sering ditanyakan selama proses penelitian. Apalagi jika sobat statistik menggunakan metodologi penelitian berbahan kuesioner. Apa pun olah data atau uji statistiknya, semua perlu uji reliabilitas dan validitas. Karena kedua hal tersebut termasuk di dalam uji asumsi yang wajib dikerjakan.

Reliabilitas dan validitas sangat berkaitan meski keduanya berbeda. Suatu kuesioner bisa saja reliabel tetapi tidak valid. Namun jika ia sudah valid, biasanya reliabel.

Cukup banyak sobat statistik yang menghubungi jasa olah data USH lalu bertanya “kak apakah bisa kuesioner saya dibuat valid semua?” Ketika kami cek datanya, ternyata memang valid tanpa manipulasi. Apa yang terjadi adalah sobat statistik keliru dalam melakukan proses uji validitas.

Kesalahan tersering adalah adanya kunci negatif yang terselip di antara kunci positif. Contoh, skala likert seharusnya 0 untuk paling buruk dan 5 untuk paling baik. Namun ada 1 item pertanyaan dimana 0 adalah paling baik dan 5 paling buruk. Jika item tersebut dinilai validitasnya niscaya tidak valid bahkan minus. Oleh karena itu harus dilakukan penanganan terlebih dahulu terhadap data yang ada.

Terselipnya kunci negatif di antara kunci positif dapat terjadi ketika tidak memahami uji validitas kuantitatif. Contoh: pertanyaan skala likert berbunyi “Seberapa setuju kamu terhadap iklan jasa olah data di google?” 0 paling buruk dan 5 paling baik. Namun, di tengah-tengah kuesioner terselip pertanyaan dengan kalimat tanya negatif, contoh “Seberapa tidak setuju kamu menggunakan wanita untuk iklan jasa olah data?”

Kata “tidak” membuat kunci pada pertanyaan ini terbalik sendiri. Nantinya akan menjadi hasil negatif ketika uji validitas. Responden pun biasanya akan kebingungan karena pertanyaan kalimat negatif tiba-tiba muncul. Apalagi responden yang asal mengisi, biasanya akan keliru mengisi kuesioner. Sehingga nilai validitas selain negatif, juga menjadi rendah (tidak valid).

Kesalahan kedua adalah tidak mengelompokkan pertanyaan. Ada pertanyaan yang jawabannya cenderung di angka 4 dan 5. Namun, ada pula pertanyaan yang jawabannya cenderung di angka 2 dan 3. Oleh karena itu perlu mengelompokkan pertanyaan dibagi berdasarkan: a). Teori Keilmuan (Studi pustaka atau bab 2 sobat statistik) b). Perkiraan jawaban responden, pisahkan yang tendensi hasil jawabannya berbeda.

Cara Membuat Data Menjadi Valid (SPSS dan R)

Cara paling mudah adalah menggunakan aplikasi R / R Studio, aplikasi gratis yang canggih. Ketika menguji validitas menggunakan package “psych” gunakan syntax atau fungsi check.keys = TRUE. Semua kunci yang tadinya positif-negatif, diubah secara otomatis menjadi in-line semua (benar semua/positif semua).

Contoh: psych::alpha (#variabel, check.keys = TRUE)

Fungsi di atas akan otomatis mengganti kunci yang negatif sendiri di tengah-tengah kunci positif. Berbeda dengan aplikasi R / R Studio, SPSS sepaham kami belum memiliki fungsi otomatis tersebut. Mohon koreksi jika kami salah.

Sehingga apa yang perlu dilakukan di SPSS asli adalah mengubah input data. Memastikan responden menjawab dengan tepat dan mengonfirmasi jawaban. Lalu mengubah jawaban yang keliru menjadi kunci positif. Sehingga semua kunci sama dan tidak lagi menimbulkan hasil negatif atau hasil tidak valid.

Bingung uji reliabilitas dan validitas? hubungi jasa olah data USH Jogja, Bandung, Semarang, atau Indonesia.

Apa yang Perlu Dilakukan Ketika Tidak Valid

• Pastikan proses uji validitas di software statistik sudah benar.
  • Jika bingung, konsultasikan olah data sobat statistik ke jasa olah data atau konsultan statistik terpercaya
• Berbesar hati
  • Bisa jadi hasil uji statistik yang lain malah lebih baik
  • Jasa olah data USH Indonesia punya pengalaman banyak, setelah dilakukan intervensi data tanpa manipulasi. Hasil uji statistik malah lebih baik. Contoh: koefisien korelasi malah meningkat
  • Sobat statistik tidak perlu berkecil hati atau pusing terhadap item yang tidak valid
• Pastikan pengambilan sampel sudah benar.
  Cek kembali data yang ada, hapus jawaban yang ngasal
  • Pastikan item pertanyaan benar-benar dipahami responden
  • Pastikan item pertanyaan singkat namun jelas. Karena pertanyaan yang panjang membuat responden malas membaca dan akhirnya asal mengisi
  • Pastikan responden sudah pernah berada di situasi yang ditanyakan. Contoh yang salah: bertanya tentang fitur mobil kepada responden yang hanya memiliki motor
  • Pastikan responden mengisi dengan benar. Tidak asal mengisi seperti ketika malas
    • Jika terindikasi ada responden yang tidak tepat. Seperti: malas atau belum pernah berada di situasi yang ditanyakan. Lebih baik jawaban responden tersebut dihapus (dianggap sebagai data yang gagal)
• Mengganti / re-take pertanyaan yang tidak valid atau Menghapus pertanyaan yang tidak valid

Definisi reliabilitas

Reliabilitas adalah konsistensi sebuah pengukuran.

Pengukuran yang konsisten menandakan alat penelitian atau alat metodologi penelitian (metopen) baik. Jika hasil yang sama dapat dicapai secara konsisten dengan menggunakan metode yang sama dalam keadaan yang sama, pengukuran dianggap reliabel. Ketika suatu pengukuran itu reliabel, pengukuran tersebut baik.

Contoh: sobat statistik mengukur suhu tubuh beberapa kali dalam kondisi yang sama. Termometer menampilkan suhu yang sama (atau beda tipis) setiap kali pengukuran, maka hasil tersebut dianggap reliabel.

Definisi Validitas

Validitas adalah seberapa akurat suatu metode mengukur apa yang seharusnya diukur.

Jika penelitian memiliki validitas tinggi, maka berarti menghasilkan hasil yang sesuai dengan kenyataan. Contoh hal yang tidak valid tetapi reliabel: Termometer yang sobat statistik gunakan untuk menguji suhu badan memberikan hasil yang sama (reliabel). Namun, termometer belum dikalibrasi dengan benar, sehingga hasilnya 2 derajat lebih rendah dari nilai sebenarnya. Karena itu, pengukurannya tidak valid, tidak sesuai dengan yang seharusnya.

Contoh lain: sebuah jasa analisis data mencoba melakukan uji reliabilitas cronbach’s alpha. Alatnya pasti reliabel karena digunakan di seluruh jasa analisis data. Namun ternyata, mereka melakukan kesalahan dengan tidak mengubah kunci negatif yang terselip di antara kunci positif (lihat kesalahan tersering ketika uji reliabilitas dan validitas). Sehingga analisis data yang dilakukan tidak valid, karena tidak sesuai dengan yang seharusnya

Perbedaan Reliabilitas dan Validitas

Hubungan Reliabilitas dan Validitas

Reliabilitas yang tinggi adalah salah satu indikator bahwa suatu pengukuran valid. Jika suatu metode tidak reliabel, ada kemungkinan metode tersebut tidak valid.

Reliabel -> bisa valid bisa tidak

Valid <- umumnya reliabel

Reliabilitas dapat dinilai dengan membandingkan versi berbeda dari pengukuran yang sama. Validitas lebih sulit untuk dinilai, tetapi dapat dinilai dengan membandingkan hasil yang ada dengan data atau teori lain yang relevan. Metode estimasi reliabilitas dan validitas biasanya dibagi menjadi beberapa tipe:

Macam-macam Reliabilitas

• Test-ReTest: Tes-tes ulang mengukur konsistensi lintas waktu: apakah sobat statistik mendapatkan hasil yang sama ketika mengulangi pengukuran?

Contoh: Sekelompok peserta mengisi kuesioner yang dirancang untuk mengukur ciri-ciri kepribadian. Jika mereka mengulangi kuesioner di hari yang berbeda, terpisah beberapa minggu atau bulan. Lalu mereka memberikan jawaban yang sama, ini menunjukkan reliabilitas tes-tes ulang yang tinggi.

Uji reliabilitas Test-ReTest Consistency

1. Membuat scatter plot
2. menghitung r Pearson (melakukan uji korelasi).

Scatter plot atau uji korelasi membandingkan tes pertama dengan tes kedua yang terpisah oleh waktu. Jika r Pearson-nya tinggi, maka reliabilitasnya pun tinggi.

Catatan: uji korelasi untuk mengukur reliabilitas tes-reTest hanya untuk hal-hal yang sifatnya konsisten seperti IQ. Hal-hal yang berubah dalam hitungan detik seperti suasana hati, tidak perlu dilakukan uji korelasi untuk mengukur reliabilitas tes-reTest. Kalau pun diukur, suasana hati akan menghasilkan korelasi tes-tes ulang yang rendah selama periode sebulan. Hal tersebut tidak bermasalah.

• Inter-rater: Konsistensi ukuran di antara pengamat: apakah sobat statistik mendapatkan hasil yang sama ketika orang yang berbeda melakukan pengukuran yang sama?

Contoh: Berdasarkan daftar kriteria penilaian, lima penguji menyerahkan hasil yang sangat berbeda untuk proyek siswa yang sama. Ini menunjukkan bahwa daftar periksa penilaian memiliki reliabilitas antar penilai yang rendah (misalnya, karena kriteria terlalu subyektif).

Uji reliabilitas Inter-Rater Consistency

1. Cronbach’s α ketika penilaiannya untuk data kuantitatif
2. Kappa inter-rater atau Cohen’s κ (huruf Yunani kappa) untuk data kategorik

catatan: cronbach’s alpha akan dibahas di bawah. Sedangkan kappa inter-rater belum tercakup dalam pembahasan ini

• Internal Consistency: Konsistensi dari pengukuran itu sendiri: apakah sobat statistik mendapatkan hasil yang sama dari berbagai bagian tes yang dirancang untuk mengukur hal yang sama?

Contoh: sobat statistik merancang kuesioner untuk mengukur harga diri. Jika sobat statistik secara acak membagi hasil menjadi dua bagian, harus ada korelasi yang kuat antara dua set hasil. Jika dua hasil sangat berbeda, ini menunjukkan konsistensi internal yang rendah.

Uji reliabilitas Internal Consistency

1. Split-half correlation
2. Cronbach’s alpha

Split-half correlation: korelasi split-setengah, melibatkan pemisahan item menjadi dua set, seperti bagian pertama dan kedua dari item atau item genap dan ganjil. Kemudian skor dihitung untuk setiap set item, dan hubungan antara dua set skor dinilai dengan uji korelasi. Sebagai contoh, pearson r untuk sebuah data adalah .88 yang berarti korelasi split-setengah > .80, yang berarti konsistensi internal teranggap baik. Baik atau tidaknya bergantung pada hal apa yang diujikan, bersifat konsensus atau kesepakatan. Pun mau dibuat objektif, dapat melihat kekuatan hubungan suatu uji korelasi

Cronbach’s alpha: alpha cronbach, secara konseptual adalah rata-rata dari semua korelasi split-setengah yang terjadi untuk satu set item. Misalnya, ada 252 cara untuk membagi satu set 10 item menjadi dua set lima. Cronbach’s alpha akan menjadi rata-rata dari 252 korelasi separuh. Perhatikan bahwa ini bukan bagaimana α sebenarnya dihitung, tetapi ini adalah cara yang benar untuk menafsirkan makna statistik ini. Nilai +.60 atau lebih besar biasanya diambil untuk menunjukkan konsistensi internal yang baik. Sekali lagi, baik atau tidaknya bergantung pada hal apa yang diujikan, bersifat konsensus atau kesepakatan. Konsensus yang ada menganggap nilai cronbach’s alpha minimal yang dianggap baik adalah 0.6

Jika sobat statistik bingung bagaimana cara mengukur cronbach’s alpha di dalam suatu kuesioner. Serahkan konsultasi statistik ke konsultan statistik USH Indonesia: konsultan statistik menggunakan software asli. Uji Reliabilitas dan Validitas jadi lebih mudah

Macam-macam Validitas

• Construct validity: Kesamaan terhadap teori yang ada

Contoh: Kuesioner harga diri dapat dinilai dengan mengukur sifat-sifat lain yang diketahui atau diasumsikan terkait dengan harga diri. Korelasi yang kuat antara skor untuk harga diri dengan sifat-sifat yang terkait akan menunjukkan validitas konstruk yang tinggi.

• Content Validity: Sejauh mana pengukuran mencakup semua aspek yang perlu untuk diukur.

Contoh: Tes yang bertujuan untuk mengukur kelas olah data statistik berisi komponen membaca teori dan praktik di aplikasi, tetapi tidak ada komponen praktik mengerjakan manual. Para ahli sepakat bahwa pemahaman akan praktik menggunakan rumus secara manual itu penting, sehingga tes tersebut tidak memiliki validitas konten untuk mengukur keseluruhan tingkat kemampuan olah data statistik.

• Criterion Validity: Sejauh mana hasil suatu tindakan atau kuesioner sesuai dengan kenyataan

Contoh: Sebuah survei dilakukan untuk mengukur pendapat politik pemilih di suatu daerah. Jika hasilnya secara akurat memprediksi hasil pemilihan nanti di daerah itu, ini menunjukkan bahwa survei memiliki validitas kriteria tinggi.

• Internal Validity: Validitas internal mengacu pada tingkat kepercayaan bahwa hubungan sebab-akibat yang diuji dapat dipercaya dan tidak dipengaruhi oleh faktor eksternal

• External Validity: Validitas eksternal mengacu pada sejauh mana hasil dari suatu penelitian dapat diterapkan (digeneralisasi) untuk situasi lain, populasi, atau peristiwa.

Macam-macam Uji Validitas

1. Corrected item-total correlation
2. Expert Judgment
3. “R hitung > r tabel”

Apa pun validitas yang mau diuji, jenis ujinya pasti* corrected item–total correlation. Dianggap valid jika > 0,3 atau sedikit toleransi hingga di atas 0,25

*pasti = kebanyakan mahasiswa S1

Corrected item-total correlation

Corrected item–total correlation merupakan output dari analisis statistika kuantitatif. Item–total correlation merupakan nilai korelasi antara skor butir dengan skor total skala. Ketika suatu butir berkorelasi dengan keseluruhan skor skala, maka dapat dikatakan butir tersebut mengukur hal yang selaras. Mirip seperti reliabilitas. Oleh karena kerancuan dengan reliabilitas dan teori dasar yang luas. Nilai corrected item-total correlation sebenarnya dapat dijadikan satu makalah tersendiri di luar negeri. Berjudul “apakah corrected item-total correlation mampu menggambarkan validitas suatu kuseioner”

Namun di negeri +62, mahasiswa biasanya terima jadi dari dosen. “Kamu ukur nilai validitas pakai SPSS ya!” Maka yang dimaksud adalah corrected item-total correlation. Padahal di luar negeri, nilai validitas diukur dari metodologi penelitian yang dipilih. Tidak melulu dan tidak hanya corrected item-total correlation.

Sebenarnya, corrected item-total correlation hanyalah salah satu metode mudah (karena kuantitatif dan objektif) untuk mengukur validitas. Metode yang paling baik adalah bergantung pada jenis penelitian itu sendiri. Sehingga pada ujungnya, metode penilaian validitas terbaik adalah ada di penguji. Baik itu penguji eksternal (orang lain) atau penguji internal (diri sendiri atau tim).

Expert Judgment

Expert judgement merupakan satu cara untuk mendapatkan bukti validitas (Furr & Bacharach, 2013). Ketika pendapat expert terhadap teori dan konsep psikometri menunjukkan bahwa alat tersebut valid maka hal ini menjadi salah satu indikator validitas alat ukur tersebut.

“R hitung > r tabel”

Metode lain yang sebenarnya sama adalah menghitung r hitung. Jika r hitung > r tabel maka suatu item pertanyaan kuesioner dianggap valid. R hitung ini hakikatnya adalah corrected item – total correlation. Lalu r tabel didapatkan dari suatu referensi nilai kritis yang telah dibuat oleh pakar statistika. Jika belum punya, dapat menghubungi jasa olah data USH Indonesia

Salah satu alasan mengapa di Indonesia terkenal corrected-item total correlation dan r hitung > r tabel karena buku pedoman yang digunakan sama. Yaitu uji reliabilitas dan validitas menurut Sugiyono. Jasa olah data kami pun penasaran, apakah penulis skripsi benar-benar membaca kalimat yang disampaikan oleh pak Sugiyono atau hanya copy paste dari yang sudah ada.

Uji reliabilitas dan Validitas R

Lebih mudah dijelaskan melalui video, cek selengkapnya video dari jasa statistik USH: https://youtu.be/hfcsmN1Bs4k

Uji reliabilitas dan Validitas SPSS

Tutorial bagaimana cara uji reliabilitas di SPSS dapat sobat statistik nikmati di laman khusus kami yaitu uji reliabilitas SPSS (update terbaru 2020 dan lengkap) dan untuk uji validitas SPSS (update terbaru 2020 dan lengkap)

catatan: pastikan SPSS sobat statistik asli

baca juga: hukum menggunakan software bajakan

Jika lebih dari 0.6 dianggap reliabel (konsensus), lihat: https://link.springer.com/article/10.1007/s11165-016-9602-2

• Metode corrected item – total correlation

Jika lebih dari 0.25 dianggap valid (Azwar S, 2011)

• Metode r hitung > r tabel

Hitung r tabel berdasarkan jumlah sampel dan degree of freedom. Pdf r tabel tersedia bebas di internet atu bisa tanya ke jasa statistik USH. r Hitung hakikatnya adalah uji korelasi pearson, yaitu koefisien korelasi pearson’s correlation.

Penyebab Buruknya Validitas

• Confounding Factor: Faktor perancu, Faktor atau variabel tak terduga yang memengaruhi hubungan sebab-akibat yang diuji dalam penelitian ini.

Contoh: ingin mengukur kepuasan kinerja seorang manajer. Namun pengukuran dilakukan di masa awal baru masuk kerja. Manajer baru biasanya masih fresh sehingga pengukuran memiliki faktor perancu.

• Maturasi: Pematangan, ada faktor waktu yang memengaruhi variabel yang diuji.

Contoh: ingin mengukur kepuasan kinerja olah data. Selama percobaan enam bulan, karyawan menjadi lebih berpengalaman dan lebih baik dalam pekerjaan mereka mengolah data. Oleh karena itu, kepuasan kinerja dapat meningkat.

• Subjektivitas antar-grup: sampel di dalam grup kontrol seharusnya memiliki karakteristik yang sama dengan sampel di grup eksperimen. Karena jika terdapat perbedaan yang memengaruhi penelitian, membuat hasil validitas buruk.

Contoh: ingin mengukur peluang terkena kanker paru-paru. Di grup kontrol mayoritas perokok. Namun, di grup eksperimen ternyata mayoritas non-perokok

baca juga: USH, konsultan statistik halal

Mencegah dan Memperbaiki Hasil Uji Validitas yang Buruk

Reliabilitas dan validitas hasil tergantung pada pembuatan desain penelitian yang kuat, memilih metodologi penelitian dan sampel yang tepat, dan melakukan penelitian dengan hati-hati serta konsisten.

Jika sobat statistik menggunakan skor atau peringkat untuk mengukur suatu hal (contoh: kuesioner likert), penting bahwa hasil yang sobat statistik dapatkan mampu mencerminkan variasi nyata seakurat mungkin. Validitas harus dipertimbangkan pada tahap paling awal dari penelitian, ketika memutuskan bagaimana sobat statistik akan mengumpulkan data.

Pilihlah metode pengukuran yang tepat

Pastikan metode dan teknik pengukuran berkualitas tinggi dan ditargetkan untuk mengukur dengan tepat apa yang ingin diketahui. Metode tersebut harus diteliti secara menyeluruh (contoh: studi pustaka) dan didasarkan pada pengetahuan yang ada.

Misalnya, untuk mengumpulkan data tentang sifat kepribadian, sobat statistik dapat menggunakan kuesioner standar yang dianggap dapat reliabel dan valid. Jika sobat statistik mengembangkan kuesioner sendiri, maka harus didasarkan pada teori atau temuan-temuan penelitian sebelumnya, dan pertanyaan-pertanyaan tersebut harus ditulis dengan cermat dan tepat. Hati-hati juga di dalam translasi atau mengubah bahasa Inggris menjadi Indonesia. Bahasa yang sulit membuat subjek tidak memahami pertanyaan, sehingga nilai validitas menjadi jelek.

Pilih Subjek secara Bijak

Untuk menghasilkan hasil yang valid, tentukan dengan jelas populasi yang ingin diteliti (contoh: Orang-orang dari rentang usia tertentu, lokasi geografis, atau profesi tertentu). Pastikan sobat statistik memiliki cukup banyak peserta dan mereka mampu mewakili populasi.

Memastikan Reliabilitas

Reliabilitas harus dipertimbangkan selama proses pengumpulan data. Saat sobat statistik menggunakan alat atau teknik untuk mengumpulkan data, penting bahwa hasilnya tepat, konsisten dan dapat diproduksi ulang.

• Terapkan metode secara konsisten

Rencanakan metode dengan hati-hati untuk memastikan melakukan langkah yang sama dengan cara yang sama untuk setiap pengukuran. Ini sangat penting jika banyak peneliti terlibat.

Misalnya, jika sobat statistik melakukan wawancara atau observasi, tentukan dengan jelas bagaimana cara menghitung skornya atau bagaimana cara mencatat jawabannya, dan pastikan pertanyaan diungkapkan dengan cara yang sama setiap kali meskipun berbeda waktu bahkan berbeda penanya.

• Standarisasi kondisi penelitian

Saat sobat statistik mengumpulkan data, jaga keadaan sekonsisten mungkin untuk mengurangi pengaruh faktor eksternal yang dapat menciptakan variasi dalam hasil. Contoh: wawancara dilakukan setiap pagi dan tidak ada yang di sore hari.

Jasa statistik USH menyediakan paket uji reliabilitas dan validitas dengan free konsultasi statistik dan free revisi 1x

Referensi:

https://www.scribbr.com/methodology/reliability-vs-validity/

Saifuddin Azwar. (2011). Reliabilitas dan Validitas. Yogyakarta: Pustaka pelajar.

https://opentextbc.ca/researchmethods/chapter/reliability-and-validity-of-measurement/

Furr, M. R., & Bacharach, V. R. (2013). Psychometric: An Introduction (2nd ed.). Amazon: SAGE Publisher.

https://chfasoa.uni.edu/reliabilityandvalidity.htm