Dalam uji coba instrumen atau kuesioner, banyak ahli menyarankan bahwa jumlah sampel sebaiknya cukup besar. Nunally (1978) bahwa 300 adalah angka yang memadai untuk tujuan pengujian karena kita bias berkonsentrasi pada kelayakan item, sehingga bisa menghapus atau mengurangi variansnya. Namun banyak juga pihak yang berpendapat bahwa jumlah sampel uji di bawah 300 sudah cukup untuk dilakukan uji coba kuesioner. Akan tetapi dengan jumlah kecil (misal 20 atau kurang dari 300) harus berhati-hati atau memperhatikan 2 (dua) hal yaitu pertama, pola kovariansi diantara sesama item dan kedua, adanya kemungkinan pola yang masih belum stabil, ketika diperiksa dengan dua sampel yang berbeda.
Rasio jumlah item juga dapat menjadi acuan. Jika rasio berdasarkan skor alpha (reliabilitas), maka jumlah sampel yang kecil dapat mempengaruhi internal konsistensi kita. Jika rasio subject to item nya tidak besar dan sampel juga kecil, korelasi antar itemnya dapat terpengaruh dengan perubahan yang cukup banyak. Ketika skala yang itemnya dipilih dalam kondisi seperti ini, factor perubahan yang sebelumnya bisa memastikan reliabilitas item menjadi bagus, tidak lagi bisa diandalkan. Jadi alpha yang diperoleh pada kesempatan di luar studi pengembangan awal bisa lebih rendah dari yang diduga. Sebaliknya, item yang bisa berpeluang bagus bisa dibuang (tidak disertakan), karena korelasinya dengan item yang lain kecil akibat perubahan yang dilakukan.
Kelemahan lain jika sampel kecil, karakternya tidak mewakili populasi dimana skala ini nantinya ditujukan. Sampel yang kecil dapat memperbesar kemungkinan tidak terwakilinya karakter individu tertentu yang sedang diteliti. Simpelnya adalah ukuran dan komposisi sampel harus diperhatikan oleh peneliti. Dalam penelitian sosial, sampel setidaknya harus mampu mewakili populasi dalam dua bentuk. Pertama, tingkat atribut yang ada pada sampel dibandingkan dengan populasi yang diharapkan. Ilustrasi atas hal ini misalnya, jika atribut yang akan dicari/diteliti adalah respon individu terhadap pentingnya pendidikan pasca sarjana. Jika sampelnya adalah dosen maka jawabannya dipastikan akan berbeda dengan jawaban masyarakat umum, sehingga atribut penelitian tidak dapat terungkap secara valid, sementara populasinya adalah masyarakat secara keseluruhan.
Masalah lain dalam sampel yang non representative adalah berkaitan dengan adanya perbedaan kualitatif antara sampel dengan populasi. Pada sampel tertentu , bisa saja ada perbedaan dari responden dalam memaknai item yang disajikan, dibandingkan dengan masyarakat umum (atau populasi yang ingin diteliti). Resiko pada jenis sampel seperti ini, resiko untuk memperoleh hubungan antar itemnya akan berbeda dengan hubungan antar item yang ada pada populasi.
Jika kita menggunakan analisis faktor untuk menentukan pengelompokan itemnya, hasilnya kemungkinan juga akan berbeda. Sebagai pemahamannya, misal jika responden dari sampel yang dipilih tidak memahami kata kunci yang terkait dengan konstruk, maka responsnya bisa berbeda. Kekeliruan keterwakilan sampel seperti ini dapat merusak upaya kita mengembangkan skala yang baik. Struktur yang mendasari (underlying structure) dalam bentuk pola kovariansi antara item yang penting dalam hal reliabilitas tidak hadir sebagaimana mestinya, sehingga peneliti harus teliti/waspada dalam menafsirkan hasil penelitian ketika ada kecurigaan bahwa ada perbedaan semacam ini.