Khóa luận Nghiên cứu xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM VŨ MẠNH HOÀNG HẢI - NGUYẾN ĐÌNH NGỌC DUY XÂY DỰNG PHẦN MỀM QUẢN LÝ NGÂN HÀNG CÂU HỎI TRẮC NGHIỆM TUYỂN SINH ĐẠI HỌC KHÓA LUẬN CỬ NHÂN TIN HỌC TP. HCM, 2005 TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM VŨ MẠNH HOÀNG HẢI - 0112381 NGUYỄN ĐÌNH NGỌC DUY - 0112258 XÂY DỰNG PHẦN MỀM QUẢN LÝ NGÂN HÀNG CÂU HỎI TRẮC NGHIỆM TUYỂN SINH ĐẠI HỌC KHÓA LUẬN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN Th.s ĐỖ HOÀNG CƯỜNG NIÊN KHÓA 2001 – 2005 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học Ý KIẾN CỦA GIÁO VIÊN HƯỚNG DẪN --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- Thành phố Hồ Chí Minh, ngày tháng năm 2005 Chữ ký của giáo viên hướng dẫn Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học Ý KIẾN CỦA GIÁO VIÊN PHẢN BIỆN --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------- Thành phố Hồ Chí Minh, ngày tháng năm 2005 Chữ ký của giáo viên phản biện Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 1 LỜI CẢM ƠN Sau một thời gian thực hiện luận văn tốt nghiệp, đến nay, mọi công việc liên quan đến luận văn đã hoàn tất. Trong suốt thời gian này, chúng tôi đã nhận được rất nhiều sự giúp đỡ. Ở phần đầu tiên của luận văn, cho phép chúng tôi có đôi điều gửi đến những người chúng tôi vô cùng biết ơn. Xin gởi lời cảm ơn chân thành nhất đến Thầy Đỗ Hoàng Cường, người đã tận tình hướng dẫn, động viên, và giúp đỡ chúng tôi trong suốt thời gian qua. Nếu không có những lời chỉ dẫn, những tài liệu, những lời động viên khích lệ của Thầy thì luận văn này khó lòng hoàn thiện được. Tấm lòng chân thành nhất của chúng tôi cũng xin được gửi đến Thầy Lý Minh Tiên, Phó Trưởng Kkhoa Tâm lý Giáo dục của Trường Đại học Sư Phạm, Tp Hồ Chí Minh. Những tài liệu, những gợi ý của Thầy về trắc nghiệm đã giúp chúng tôi rất nhiều trong quá trình thực hiện đề tài. Cũng xin gửi lời biết ơn đến ba, đến mẹ, những người đã luôn dành những tình thương yêu nhất cho chúng tôi, những người đã luôn hỗ trợ, dõi theo những bước đi của chúng tôi trong tất cả các năm học vừa qua. Xin tri ân tất cả các Thầy Cô, những người dày công dạy dỗ, truyền cho chúng tôi rất nhiều tri thức quí báu. Cảm ơn tất cả bạn bè của chúng tôi, những người đã sát cánh cùng vui những niềm vui, cùng chia sẻ những khó khăn của chúng tôi và giúp đỡ chúng tôi rất nhiều trong quá trình thực hiện luận văn. Thành phố Hồ Chí Minh, tháng 7 năm 2005 Nhóm sinh viên thực hiện Vũ Mạnh Hoàng Hải- Nguyễn Đình Ngọc Duy Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 2 LỜI MỞ ĐẦU Hiện nay, giáo dục đang là quốc sách hàng đầu của đất nước. Nhiệm vụ của giáo dục là đào tạo con người trở thành các nhân lực hữu ích cho các ngành kinh tế của đất nước. Trong quá trình đào tạo, đo lường và đánh giá là công đoạn quan trọng nhất vì nó cho biết kết quả đào tạo. Từ trước đến nay, trong giáo dục đã có những hình thức đo lường kết quả học tập như vấn đáp, quan sát, viết … Trong thời gian gần đây, hình thức thi trắc nghiệm đã được áp dụng rộng rãi để đo lường và đánh giá kết quả học tập của học sinh. Đặc biệt là hiện nay, Bộ Giáo dục và Đào tạo đang có kế hoạch triển khai áp dụng trắc nghiệm vào kỳ thi tuyển sinh đại học trên cả nước. Đến lúc này, một vấn đề nảy sinh là việc tập hợp và quản lý các câu hỏi trắc nghiệm không thể quản lý thủ công, mà phải có sự trợ giúp của hệ thống máy tính. Với suy nghĩ đó, chúng em đã tiến hành nghiên cứu các lý thuyết về trắc nghiệm và xây dựng hệ thống hỗ trợ việc tập hợp và quản lý các câu trắc nghiệm phục vụ cho nhu cầu đo lường và đánh giá kết quả học tập của học sinh. Luận văn này gồm 6 chương : Chương 1. Trình bày lí do chọn đề tài, mục đích, đối tượng, phạm vi nghiên cứu. Chương 2. Lý thuyết trắc nghiệm. Chương 3. Trình bày về các hồ sơ phân tích hệ thống. Chương 4. Trình bày về các hồ sơ thiết kế hệ thống. Chương 5. Cài đặt, thực nghiệm và kiểm tra. Chương 6. Kết luận và trình bày về những hướng nghiên cứu tiếp theo. Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 3 Mục lục Danh sách các hình .............................................................................................. 10 Chương 1. Mở đầu ............................................................................................... 14 1.1 Yêu cầu thực tế và lý do chọn đề tài ...............................................................14 1.2 Mục đích, đối tượng và phạm vi nghiên cứu ..................................................14 Chương 2. Nghiên cứu lý thuyết trắc nghiệm ................................................... 16 2.1 Tổng quan về trắc nghiệm khách quan ...........................................................16 2.1.1 Luận đề và Trắc nghiệm khách quan .......................................................16 2.1.2 Những nguyên tắc chung của trắc nghiệm...............................................19 2.1.3 Những trường hợp dùng trắc nghiệm.......................................................20 2.1.4 Trắc nghiệm chuẩn mực và Trắc nghiệm tiêu chí....................................21 2.1.4.1 Trắc nghiệm chuẩn mực....................................................................21 2.1.4.2 Trắc nghiệm tiêu chí .........................................................................22 2.1.4.3 So sánh trắc nghiệm chuẩn mực và Trắc nghiệm tiêu chí ................22 2.2 Tính tin cậy và tính giá trị của bài trắc nghiệm ..............................................24 2.2.1 Tính tin cậy (Reliability)..........................................................................24 2.2.2 Tính giá trị (Validity) ...............................................................................27 2.2.3 Mối liên hệ giữa tính tin cậy và tính giá trị..............................................28 2.3 Quy hoạch một bài trắc nghiệm ......................................................................28 2.3.1 Xác định mục tiêu học tập........................................................................28 2.3.1.1 Các khái niệm....................................................................................28 2.3.1.2 Mục tiêu học tập là cơ sở cho việc soạn bài trắc nghiệm .................30 2.3.2 Phân tích nội dung môn học.....................................................................32 2.3.3 Thiết kế dàn bài trắc nghiệm....................................................................33 2.3.4 Số câu hỏi trong bài trắc nghiệm .............................................................34 2.3.5 Mức độ khó của các câu trắc nghiệm.......................................................35 2.4 Các hình thức câu trắc nghiệm........................................................................36 2.4.1 Câu trắc nghiệm Đúng-Sai (true-false question)......................................36 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 4 2.4.2 Câu trắc nghiệm đa lựa chọn (multiple choice question).........................37 2.4.3 Câu trắc nghiệm đối chiếu cặp đôi (matching question)..........................39 2.4.4 Câu trắc nghiệm điền khuyết (filling question) .......................................39 2.5 Phân tích câu trắc nghiệm ...............................................................................40 2.5.1 Độ khó của câu trắc nghiệm (difficulty index) ........................................41 2.5.1.1 Định nghĩa độ khó của câu trắc nghiệm............................................41 2.5.1.2 Công thức tính độ khó.......................................................................41 2.5.1.3 Độ khó vừa phải câu trắc nghiệm .....................................................41 2.5.2 Độ phân cách của câu trắc nghiệm (discrimination index)......................42 2.5.2.1 Định nghĩa độ phân cách của câu trắc nghiệm..................................42 2.5.2.2 Các phương pháp tính độ phân cách .................................................43 2.5.2.3 Kết luận từ độ phân cách...................................................................46 2.6 Độ tin cậy của bài trắc nghiệm.......................................................................46 2.6.1 Định nghĩa độ tin cậy ...............................................................................46 2.6.2 Các phương pháp tính độ tin cậy của bài trắc nghiệm.............................47 2.6.2.1 Trắc nghiệm hai lần (test - retest) .....................................................47 2.6.2.2 Các dạng trắc nghiệm tương đương (equivalent forms) ...................48 2.6.2.3 Phương pháp phân đôi bài trắc nghiệm (split halves method)..........48 2.6.2.4 Công thức Kuder – Richardson.........................................................50 2.6.3 Kết luận từ độ tin cậy ...............................................................................53 Chương 3. Phân tích ............................................................................................ 54 3.1 Phân tích hiện trạng.........................................................................................54 3.2 Xác định yêu cầu.............................................................................................54 3.2.1 Yêu cầu chức năng ...................................................................................54 3.2.2 Yêu cầu phi chức năng.............................................................................55 3.2.2.1 Yêu cầu hệ thống...............................................................................55 3.2.2.2 Yêu cầu về chất lượng.......................................................................55 3.2.3 Phương án thực hiện phần mềm...............................................................56 3.3 Sơ đồ sử dụng..................................................................................................57 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 5 3.4 Sơ đồ kiến trúc tổng thể (mức phân tích)........................................................60 3.5 Sơ đồ lớp .........................................................................................................61 3.5.1 Sơ đồ các lớp đối tượng (mức phân tích).................................................61 Danh sách các lớp đối tượng.............................................................................62 Chương 4. Thiết kế............................................................................................... 63 4.1 Sơ đồ kiến trúc tổng thể (mức thiết kế)...........................................................63 4.1.1 Danh sách các lớp đối tượng của phần mềm ...........................................65 4.2 Thiết kế dữ liệu ...............................................................................................68 4.2.1 Sơ đồ logic dữ liệu ...................................................................................68 4.3 Sơ đồ truyền động (sơ đồ hoạt động chi tiết) một số xử lý quan trọng ..........70 4.3.1 Nhập câu hỏi ............................................................................................70 4.3.2 Kết xuất câu hỏi ......................................................................................71 4.3.3 Trộn đề thi ................................................................................................72 Chương 5. Triển khai, thực nghiệm và kiểm tra .............................................. 73 5.1 Kỹ thuật Automation (tự động hóa) ................................................................73 5.1.1 Sơ nét về Automation...............................................................................73 5.1.2 Automation với Microsoft Office 2003 ...................................................75 5.1.2.1 Automation với Microsoft Office Word 2003 ..................................75 5.1.2.2 Automation với Microsoft Excel Word 2003 ...................................77 5.2 Thực hiện.........................................................................................................79 5.2.1 Cách tổ chức trong lập trình.....................................................................79 5.2.2 Các công thức được sử dụng....................................................................79 5.2.3 Qui tắc đặt tên các đối tượng ...................................................................79 5.2.4 Qui tắc đặt tên cho các điều khiển trong các màn hình ...........................80 5.2.5 Quy tắc đặt tên biến..................................................................................80 5.3 Thực nghiệm và kiểm tra ................................................................................81 Chương 6. Kết luận.............................................................................................. 85 6.1 Những kết quả đạt được ..................................................................................85 6.2 So sánh với một số chương trình liên quan.....................................................86 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 6 6.3 Các hướng phát triển .......................................................................................88 6.4 Nhận xét ..........................................................................................................88 Tài liệu tham khảo ............................................................................................... 90 Phụ lục A. Danh sách các mẫu nhập.................................................................. 91 A.1 Mẫu nhập câu hỏi trắc nghiệm .......................................................................91 A.2 Mẫu đề thi: .....................................................................................................92 A.3 Mẫu bảng trả lời .............................................................................................92 A.4 Mẫu đáp án .....................................................................................................94 A.5 Mẫu nhập đánh giá .........................................................................................94 Hồ sơ phân tích hệ thống..................................................................................... 95 A.1 Sơ đồ luồng dữ liệu ........................................................................................95 A.1.1 Quản lý tác giả.........................................................................................96 A.1.1.1 Thêm tác giả .....................................................................................96 A.1.1.2 Cập nhật tác giả ................................................................................96 A.1.1.3 Xóa tác giả........................................................................................97 A.1.2 Quản lý khối thi.......................................................................................98 A.1.2.1 Thêm khối thi ...................................................................................98 Cập nhật khối thi ...........................................................................................99 A.1.2.2 Xóa khối thi......................................................................................99 A.1.3 Quản lý môn thi.....................................................................................100 A.1.3.1 Thêm môn thi .................................................................................100 A.1.3.1 Cập nhật môn thi ............................................................................101 A.1.3.2 Xóa môn thi....................................................................................102 A.1.4 Quản lý nội dung môn học ....................................................................103 A.1.4.1 Thêm nội dung môn học ................................................................103 A.1.4.2 Cập nhật nội dung môn học ...........................................................103 A.1.4.3 Xóa nội dung môn học ...................................................................104 A.1.5 Quản lý mục tiêu môn học ....................................................................105 A.1.5.1 Thêm mục tiêu môn học.................................................................105 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 7 A.1.5.2 Cập nhật mục tiêu môn học............................................................105 A.1.5.3 Xóa mục tiêu môn học ...................................................................106 A.1.6 Nhập câu hỏi..........................................................................................107 A.1.7 Tìm kiếm câu hỏi...................................................................................107 A.1.8 Cập nhật câu hỏi ....................................................................................108 A.1.9 Soạn đề thi .............................................................................................109 A.1.10 Đánh giá đề thi và các câu trắc nghiệm...............................................110 A.2 Mô tả chi tiết các lớp đối tượng chính .........................................................110 A.2.1 Lớp Câu trắc nghiệm.............................................................................110 A.2.2 Lớp Câu trắc nghiệm đa lựa chọn .........................................................111 A.2.3 Lớp Câu trắc nghiệm đúng sai ..............................................................111 A.2.4 Lớp Phương án trả lời ...........................................................................112 A.2.5 Lớp Đề thi .............................................................................................112 A.2.6 Lớp Dàn bài trắc nghiệm.......................................................................112 A.2.7 Lớp Yêu cầu chi tiết ..............................................................................112 Phụ lục B. Hồ sơ thiết kế ................................................................................... 113 B.1 Chi tiết các bảng dữ liệu...............................................................................113 B.1.1 Bảng KHOI............................................................................................113 B.1.2 Bảng MON_HOC..................................................................................114 B.1.3 Bảng KHOI_MONHOC........................................................................114 B.1.4 Bảng NOI_DUNG_MON_HOC ...........................................................114 B.1.5 Bảng NOI_DUNG_CON ......................................................................115 B.1.6 Bảng MUC_TIEU_MON_HOC............................................................115 B.1.7 Bảng MUC_TIEU_CON.......................................................................115 B.1.8 Bảng TAC_GIA.....................................................................................117 B.1.9 Bảng CAU_HOI_DA_LUA_CHON.....................................................117 B.1.10 Bảng DANH_SACH_LUA_CHON....................................................119 B.1.11 Bảng CAU_HOI_DUNG_SAI ............................................................119 B.2 Thiết kế chi tiết các lớp đối tượng................................................................122 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 8 B.2.1 Thiết kế lớp đối tượng giao tiếp người dùng.........................................122 B.2.1.1 Lớp MH_Chinh ..............................................................................122 B.2.1.2 Lớp MH_TacGia ............................................................................123 B.2.1.3 Lớp MH_Khoi ................................................................................127 B.2.1.4 Lớp MH_MonHoc..........................................................................131 B.2.1.5 Lớp MH_NhapDanhSachMonHocThuocKhoi ..............................135 B.2.1.6 Lớp MH_NhapDanhSachKhoiChuaMonHoc ................................137 B.2.1.7 Lớp MH_NoiDungMonHoc...........................................................139 B.2.1.8 Lớp MH_MucTieuMonHoc ...........................................................144 B.2.1.9 Lớp MH_ThemCauHoi ..................................................................149 B.2.1.10 Lớp MH_ChinhSuaCauHoi..........................................................154 B.2.1.11 Lớp MH_TimKiemCauHoi ..........................................................159 B.2.1.12 Lớp MH_TuyChonPhatSinhCapNhat ..........................................163 B.2.1.13 Lớp MH_TaoDeThi......................................................................167 B.2.1.14 Lớp MH_TronDe..........................................................................173 B.2.1.15 Lớp MH_DanhGiaDeThi .............................................................176 B.2.2 Thiết kế lớp đối tượng xử lý nghiệp vụ .................................................177 B.2.2.1 Lớp CauTN.....................................................................................177 B.2.2.2 Lớp CauTN DaLuaChon ................................................................180 B.2.2.3 Lớp CauTNDungSai.......................................................................183 B.2.2.4 Lớp PhuongAnTraLoi ....................................................................185 B.2.2.5 Lớp YeuCau ...................................................................................185 B.2.2.6 Lớp TieuChuanTimKiem ...............................................................186 B.2.2.7 Lớp XL_CauHoi.............................................................................187 B.2.2.8 Lớp XL_Khoi .................................................................................191 B.2.2.9 Lớp XL_MonHoc...........................................................................192 B.2.2.10 Lớp XL_MucTieuMonHoc ..........................................................195 B.2.2.11 Lớp XL_NoiDungMonHoc ..........................................................199 B.2.2.12 Lớp XL_TacGia ...........................................................................202 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 9 B.2.2.13 Lớp ThongTinDanhGia ................................................................203 B.2.2.14 Lớp DisOrderTest.........................................................................204 B.2.2.15 Lớp ExcelRender..........................................................................206 B.2.2.16 Lớp WordParser ...........................................................................209 B.2.2.17 Lớp TestParser..............................................................................210 B.2.2.18 Lớp CauTNDaLuaChonParser .....................................................213 B.2.2.19 Lớp CauTNDungSaiParser...........................................................214 B.2.2.20 Lớp WordRender..........................................................................216 B.2.2.21 Lớp TestRender ............................................................................219 B.2.2.22 Lớp CauTNDaLuaChonRender....................................................219 B.2.2.23 Lớp CauTNDungSaiRender .........................................................220 B.2.3 Thiết kế lớp đối tượng xử lý lưu trữ ......................................................220 B.2.3.1 Lớp LT_Bang .................................................................................220 B.2.3.2 Lớp LT_Khoi..................................................................................222 B.2.3.3 Lớp LT_MonHoc ...........................................................................223 B.2.3.4 xLớp LT_TacGia............................................................................224 B.2.3.5 Lớp LT_NoiDungMonHoc ............................................................225 B.2.3.6 Lớp LT_MucTieuMonHoc.............................................................227 B.2.3.7 Lớp LT_CauTNDaLuaChon ..........................................................228 B.2.3.8 Lớp LT_CauTNDungSai................................................................231 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 10 Danh sách các hình Hình 1. Kiến trúc triển khai 1................................................................................. 56 Hình 2. Kiến trúc triển khai 2................................................................................. 57 Hình 3. Sơ đồ sử dụng tổng thể.............................................................................. 58 Hình 4. Sơ đồ kiến trúc tổng thể ............................................................................ 60 Hình 5. Sơ đồ các lớp đối tượng (Mức phân tích) ................................................. 61 Hình 6. Sơ đồ kiến trúc tổng thể ............................................................................ 63 Hình 7. Sơ đồ tổ chức các lớp xử lý tập tin Word ................................................. 64 Hình 8. Các lớp xử lý đọc tập tin Word ................................................................. 64 Hình 9. Các lớp xử lý kết xuất tập tin Word.......................................................... 65 Hình 10. Sơ đồ logic dữ liệu .................................................................................. 68 Hình 11. Sơ đồ truyền động xử lý nhập câu hỏi .................................................... 70 Hình 12. Sơ đồ truyền động xử lý kết xuất câu hỏi ............................................... 71 Hình 13. Sơ đồ truyền động xử lý trộn đề thi ........................................................ 72 Hình 14. Mô hình sử dụng Automation ................................................................ 74 Hình 15. Mô hình đối tượng Word ........................................................................ 76 Hình 16. Sơ đồ luồng dữ liệu mẫu ......................................................................... 95 Hình 17. Sơ đô sử dụng chi tiết Thêm tác giả........................................................ 96 Hình 18. Sơ đô sử dụng chi tiết Cập nhật tác giả................................................... 96 Hình 19. Sơ đô sử dụng chi tiết Xóa tác giả .......................................................... 97 Hình 20. Sơ đô sử dụng chi tiết Thêm khối thi ...................................................... 98 Hình 21. Sơ đô sử dụng chi tiết Cập nhật khối thi ................................................. 99 Hình 22. Sơ đô sử dụng chi tiết Xóa khối thi......................................................... 99 Hình 23. Sơ đô sử dụng chi tiết Thêm môn thi .................................................... 100 Hình 24. Sơ đô sử dụng chi tiết Cập nhật môn thi ............................................... 101 Hình 25. Sơ đô sử dụng chi tiết Xóa môn thi....................................................... 102 Hình 26. Sơ đô sử dụng chi tiết Thêm nội dung môn học ................................... 103 Hình 27. Sơ đô sử dụng chi tiết Cập nhật nội dung môn học .............................. 103 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 11 Hình 28. Sơ đô sử dụng chi tiết Xóa nội dung môn học...................................... 104 Hình 29. Sơ đô sử dụng chi tiết Thêm mục tiêu môn học ................................... 105 Hình 30. Sơ đô sử dụng chi tiết Cập nhật mục tiêu môn học .............................. 105 Hình 31. Sơ đô sử dụng chi tiết Xóa mục tiêu môn học ...................................... 106 Hình 32. Sơ đồ sử dụng chi tiết............................................................................ 107 Hình 33. Sơ đô sử dụng chi tiết Tìm kiếm câu hỏi .............................................. 107 Hình 34. Sơ đô sử dụng chi tiết Cập nhật câu hỏi................................................ 108 Hình 35. Sơ đô sử dụng chi tiết Soạn đề thi......................................................... 109 Hình 36. Sơ đô sử dụng chi tiết Đánh giá đề thi và các câu trắc nghiệm ............ 110 Hình 37. Màn hình chính ..................................................................................... 122 Hình 38. Màn hình quản lý tác giả ....................................................................... 123 Hình 39. Màn hình quản lý khối .......................................................................... 127 Hình 40. Màn hình quản lý môn học ................................................................... 131 Hình 41. Màn hình nhập môn học thuộc khối...................................................... 135 Hình 42. Màn hình nhập khối chứa môn học....................................................... 137 Hình 43. Màn hình quản lý nội dung môn học .................................................... 139 Hình 44. Màn hình quản lý mục tiêu môn học..................................................... 144 Hình 45. Màn hình thêm câu hỏi - Tab Nhập danh sách tập tin .......................... 149 Hình 46. Màn hình thêm câu hỏi - Tab Danh sách câu hỏi đọc được.................. 150 Hình 47. Màn hình chỉnh sửa câu hỏi - Tab Nhập danh sách tập tin................... 154 Hình 48. Màn hình chỉnh sửa câu hỏi - Tab Danh sách câu hỏi đọc được .......... 155 Hình 49. Màn hình tìm kiếm câu hỏi ................................................................... 159 Hình 50. Màn hình tùy chọn phát sinh cập nhật .................................................. 163 Hình 51. Màn hình tạo đề thi - Tab Nhập dàn bài trắc nghiệm ........................... 167 Hình 52. Màn hình tạo đề thi - Tab Câu trắc nghiệm phát sinh........................... 168 Hình 53. Màn hình trộn đề ................................................................................... 173 Hình 54. Màn hình đánh giá đề thi....................................................................... 176 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 12 Danh sách các bảng Bảng 1. Bảng so sánh khác biệt giữa luận đề và trắc nghiệm[1] ........................... 18 Bảng 2. So sánh trắc nghiệm chuẩn mực và trắc nghiệm tiêu chí[1]..................... 23 Bảng 3 So sánh mục tiêu học tập tổng quát và Kết quả học tập chuyên biệt[3]... 30 Bảng 4. Thí dụ về dàn bài trắc nghiệm[1].............................................................. 34 Bảng 5. Tương quan số lựa chọn và độ may rủi .................................................... 37 Bảng 6. Tương quan loại câu hỏi và tỉ lệ may rủi.................................................. 42 Bảng 7. Bảng ti lệ phần trăm làm đúng.................................................................. 44 Bảng 8. Điểm bài làm và điểm câu trắc nghiệm .................................................... 45 Bảng 9. Kết luận từ độ phân cách[3]...................................................................... 46 Bảng 10. Điểm số của mỗi thí sinh ........................................................................ 50 Bảng 11. Điểm bài làm của thí sinh ....................................................................... 52 Bảng 12. Tính pq................................................................................................... 52 Bảng 13. Kết luận từ độ tin cậy[3]......................................................................... 53 Bảng 14. Bảng qui ước ký hiệu sử dụng trong sơ đồ sử dụng ............................... 57 Bảng 15. Danh sách các nghiệm vụ ....................................................................... 59 Bảng 16. Danh sách các lớp đối tượng chi tiết ...................................................... 62 Bảng 17. Danh sách các bảng dữ liệu .................................................................... 69 Bảng 18. Qui tắc đặt tên các đối tượng .................................................................. 80 Bảng 19. Qui tắc đặt tên các điều khiển trên màn hình ......................................... 80 Bảng 20. Quy tắc đặt tên biến ................................................................................ 80 Bảng 21. Bài làm của các thí sinh .......................................................................... 81 Bảng 22. Điểm bài làm và điểm câu trắc nghiệm 1 ............................................... 82 Bảng 23. Độ khó và độ phân cách của các câu trắc nghiệm.................................. 83 Bảng 24. Tính pq.................................................................................................... 84 Bảng 25. Bảng so sánh chức năng của đề tài với chương trình đã được phát triển88 Bảng 26. Mẫu nhập câu hỏi.................................................................................... 92 Bảng 27. Mẫu đề thi .............................................................................................. 92 Bảng 28. Mẫu bảng trả lời...................................................................................... 93 Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học 13 Bảng 29. Mẫu đáp án ............................................................................................. 94 Bảng 30. Mẫu nhập đánh giá.................................................................................. 94 Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 14 Chương 1. Mở đầu 1.1 Yêu cầu thực tế và lý do chọn đề tài Trong cuộc sống thường ngày, nhu cầu đo lường và đánh giá chiếm một tỉ lệ lớn. Con người luôn luôn phải đối chiếu các hoạt động đang triển khai với mục đích đã định, hoặc thẩm định các kết quả đã làm để từ đó cải tiến. Tuy nhiên, muốn đánh giá được chính xác thì phải đo lường trước (cho dù dưới bất cứ dạng nào). Không có số đo thì không thể đưa ra những nhận xét hữu ích. Từ trước đến nay, trong giáo dục đã có những hình thức đo lường kết quả học tập như vấn đáp, quan sát, viết … để đánh giá học sinh. Trong đó, thì trắc nghiệm (1 dạng của hình thức viết) là một trong những hình thức đo lường có tính khách quan cao và đang được chọn để trở thành hình thức thi chính trong các kỳ thi tuyển sinh, đặc biệt là kỳ thi tuyển sinh đại học, vốn rất phức tạp trong việc ra đề thi, chấm thi … Tuy nhiên, để có thể áp dụng hình thức trắc nghiệm thì phải có được một tập hợp lớn các câu hỏi trắc nghiệm, gọi là ngân hàng câu hỏi, kèm theo đó là phải có một phương pháp quản lý hiệu quả các câu hỏi đó. Công việc đó đòi hỏi phải tốn rất nhiều công sức và không bảo đảm được sự chính xác cần thiết nếu thực hiện bằng các thao tác thủ công. Tuy nhiên, với sự trợ giúp của máy vi tính, các vấn đề đã nêu sẽ được giải quyết triệt để và hiệu quả. Đó là lý do vì sao vấn đề “Quản lý kho dữ liệu đề thi trắc nghiệm tuyển sinh đại học” được chúng tôi chọn làm luận văn tốt nghiệp. 1.2 Mục đích, đối tượng và phạm vi nghiên cứu Mục tiêu của đề tài đặt ra là xây dựng được hệ thống quản lý các câu hỏi trắc nghiệm, hỗ trợ quá trình xây dựng hệ thống câu hỏi, ra đề thi, và đánh giá các câu hỏi trắc nghiệm để nâng cao chất lượng câu hỏi trắc nghiệm trong ngân hàng. Đối tượng cần nghiên cứu là các lý thuyết về trắc nghiệm, các cách thức, quy tắc ra đề thi trắc nghiệm cũng như các công thức dùng để đánh giá độ khó, độ phân cách hay các độ đo khác của câu trắc nghiệm. Các công việc chính của đề tài bao gồm : Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 15 ¾ Tìm hiểu lý thuyết về trắc nghiệm nói chung và các loại hình trắc nghiệm chính được sử dụng trong các kỳ thi, đặc biệt là kỳ thi tuyển sinh đại học. ¾ Tìm hiểu về qui trình ra đề thi trắc nghiệm và xây dựng qui trình này dựa trên hệ thống các câu hỏi đã có sẵn trong ngân hàng hỗ trợ cho việc kết xuất đề thi, các bảng bài làm cho thí sinh, các bảng đáp án … ¾ Tìm hiểu về các cách đánh giá các câu trắc nghiệm và đánh giá đề thi sau khi đã có kết quả bài làm của các thí sinh và hỗ trợ một phần trong công việc chấm bài làm. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 16 Chương 2. Nghiên cứu lý thuyết trắc nghiệm 2.1 Tổng quan về trắc nghiệm khách quan 2.1.1 Luận đề và Trắc nghiệm khách quan Luận đề và trắc nghiệm khách quan đều là những phương tiện kiểm tra khả năng học tập, và cả hai đều là trắc nghiệm (tests). Các bài kiểm tra thuộc loại luận đề mà xưa nay vốn quen thuộc với chúng ta cũng là những bài trắc nghiệm nhằm khảo sát khả năng của học sinh về các môn học. Các chuyên gia đo lường gọi chung các hình thức kiểm tra này là “trắc nghiệm loại luận đề” (essay-type test) để phân biệt với loại trắc nghiệm gọi là “trắc nghiệm khách quan” (objective test). Thật ra, việc dùng từ “khách quan” này để phân biệt hai loại kiểm tra nói trên cũng không đúng hẳn, vì trắc nghiệm luận đề không nhất thiết là trắc nghiệm “chủ quan” và trắc nghiệm khách quan không phải là hoàn toàn “khách quan”. Tại Việt Nam, các tài liệu thường ghi là “trắc nghiệm khách quan”, không phải hiểu theo nghĩa đối lập với một đo lường chủ quan nào, mà nên hiểu là hình thức kiểm tra này có tính khách quan cao hơn cách kiểm tra, đánh giá bằng luận đề chẳng hạn. Chúng ta gọi tắt “luận đề” là trắc nghiệm luận đề và “trắc nghiệm” là trắc nghiệm khách quan. Dưới đây là chín điểm khác biệt và bốn điểm tương đồng giữa luận đề và trắc nghiệm. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 17 ™ Khác biệt: Luận đề Trắc nghiệm Một câu hỏi thuộc loại luận đề đòi hỏi thí sinh phải tự mình soạn câu trả lời và diễn tả câu trả lời bằng ngôn ngữ của chính mình. Một câu hỏi trắc nghiệm buộc thí sinh phải lựa chọn câu trả lời đúng nhất trong một số câu đã cho sẵn. Một bài luận đề gồm số câu hỏi tương đối ít và có tính cách tổng quát, đòi hỏi thí sinh phải triển khai câu trả lời bằng lời lẽ dài dòng. Một bài trắc nghiệm thường gồm nhiều câu hỏi có tính cách chuyên biệt chỉ đòi hỏi những câu trả lời ngắn gọn. Trong khi làm một bài luận đề, thí sinh phải bỏ ra phần lớn thời gian để suy nghĩ và viết. Trong khi làm một bài trắc nghiệm, thí sinh dùng nhiều thời gian để đọc và suy nghĩ. Chất lượng của một bài luận đề tùy thuộc chủ yếu vào kỹ năng của người chấm bài. Chất lượng của một bài trắc nghiệm được xác định một phần lớn do kỹ năng của người soạn thảo bài trắc nghiệm. Một bài thi theo lối luận đề tương đối dễ soạn, nhưng khó chấm và khó cho điểm chính xác. Một bài thi trắc nghiệm khó soạn, nhưng việc chấm và cho điểm tương đối dễ dàng và chính xác. Thí sinh có nhiều tự do bộc lộ cá tính của mình trong câu trả lời, và người chấm bài cũng có tự do cho điểm các câu trả lời theo xu hướng riêng của mình. Người soạn thảo trắc nghiệm có nhiều tự do bộc lộ kiến thức và các giá trị của mình qua việc đặt các câu hỏi, nhưng chỉ cho thí sinh quyền tự do chứng tỏ mức độ hiểu biết của mình qua tỉ lệ câu trả lời đúng. Trong các câu hỏi luận đề, nhiệm vụ học tập của người học và trên cơ sở đó giám khảo thẩm định mức độ Trong các câu hỏi trắc nghiệm, nhiệm vụ học tập của người học và trên cơ sở đó giám khảo thẩm định Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 18 hoàn thành các nhiệm vụ ấy không được phát biểu một cách rõ ràng. mức độ hoàn thành các nhiệm vụ ấy được phát biểu một cách rõ ràng. Một bài luận đề cho phép và đôi khi khuyến khích sự “lừa phỉnh” (chẳng hạn như bằng những ngôn từ hoa mỹ hay bằng cách đưa ra những bằng chứng khó có thể xác định được). Một bài trắc nghiệm cho phép và đôi khi khuyến khích sự phỏng đoán. Sự phân bố điểm số của một bài thi luận đề có thể được kiểm soát một phần lớn do người chấm (ấn định điểm tối đa và tối thiểu). Phân bố điểm số của thí sinh hầu như hoàn toàn được quyết định do bài trắc nghiệm. Bảng 1. Bảng so sánh khác biệt giữa luận đề và trắc nghiệm [1] ™ Tương đồng: 9 Trắc nghiệm hay luận đề đều có thể đo lường hầu hết mọi thành quả học tập quan trọng mà một bài khảo sát bằng lối viết có thể khảo sát được. 9 Trắc nghiệm và luận đề đều có thể được sử dụng để khuyến khích học sinh học tập nhằm đạt đến các mục tiêu: hiểu biết các nguyên lý, tổ chức và phối hợp các ý tưởng, ứng dụng kiến thức giải quyết các vấn đề. 9 Trắc nghiệm và luận đề đều đòi hỏi sự vận dụng ít nhiều phán đoán chủ quan. 9 Giá trị của cả hai loại trắc nghiệm và luận đề tùy thuộc vào tính khách quan và đáng tin cậy của chúng. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 19 2.1.2 Những nguyên tắc chung của trắc nghiệm Trắc nghiệm là một quy trình, và cũng như các quy trình khác, trắc nghiệm chỉ có thể được thực hiện một cách hiệu quả khi dựa trên một nguyên tắc vận hành hợp lý. Dưới đây là một số nguyên tắc chung của trắc nghiệm dựa theo Gronlund: ™ Xác định và làm rõ nội dung đo lường phải được đặt ở mức ưu tiên cao hơn bản thân quá trình đo lường Không bao giờ được thực hiện trắc nghiệm khi chưa xác định nội dung và mục đích đo lường, vì giá trị của các kết quả đạt không chỉ phụ thuộc vào mặt kỹ thuật của việc đo lường mà trước hết là vào việc xác định rõ cần phải đo cái gì và tại sao. ™ Kỹ thuật trắc nghiệm phải được lựa chọn dựa trên mục đích trắc nghiệm Rất nhiều khi một kỹ thuật trắc nghiệm được lựa chọn chỉ vì nó thuận tiện, dễ sử dụng, hoặc quen thuộc với nhiều người. Tất cả những điều này đều quan trọng, nhưng điều quan trọng nhất trong việc lựa chọn một kỹ thuật trắc nghiệm giáo dục là liệu nó có đo lường được một cách hiệu quả nhất những gì mà ta cần nó đo lường hay không? Bởi vì một kỹ thuật/phương pháp trắc nghiệm chỉ thích hợp nhất cho một vài mục đích cụ thể. ™ Việc đánh giá tổng quát đòi hỏi phải sử dụng nhiều kỹ thuật và phương pháp đánh giá khác nhau Không có một phương pháp đánh giá nào có thể một mình thực hiện được toàn bộ những yêu cầu đánh giá mức tiến bộ của tất cả những kết quả quan trọng trong học tập của học sinh. Vì thế, muốn có được một bức tranh hoàn chỉnh về kết quả học tập của học sinh thì nhất thiết phải sử dụng nhiều kỹ thuật và phương pháp đánh giá khác nhau. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 20 ™ Muốn sử dụng trắc nghiệm một cách thích hợp nhất thiết phải có sự hiểu biết về những hạn chế cũng như những ưu điểm của nó Một trong những sai lầm nghiệm trọng trong việc sử dụng trắc nghiệm là diễn giải không đúng kết quả trắc nghiệm. Cần nhớ rằng trắc nghiệm chỉ là một trong nhiều phương pháp đánh giá, và với tư cách là một công cụ đo lường nó luôn luôn có những sai số, cho nên không thể gán cho những kết quả trắc nghiệm một giá trị tuyệt đối được. Mọi công cụ đo lường tâm lý tốt nhất cũng chỉ cho ta được một kết quả gần đúng với thực tế mà thôi, và luôn luôn phải ý thức điều này khi sử dụng trắc nghiệm. ™ Trắc nghiệm chỉ là một phương tiện dẫn đến cứu cánh, chứ không phải là cứu cánh Khi thực hiện trắc nghiệm phải nhớ rằng chúng được tiến hành để thu thập thông qua những mục đích cụ thể trong quá trình giảng dạy và học tập, chứ không phải chỉ để tiến hành cho có, và mong đợi rằng thông qua việc tiến hành trắc nghiệm, chất lượng giảng dạy và học tập sẽ đương nhiên có được sự cải thiện. 2.1.3 Những trường hợp dùng trắc nghiệm Chúng ta nên sử dụng trắc nghiệm để khảo sát thành quả học tập trong những trường hợp sau: (1) Khi ta cần khảo sát thành quả học tập của một số đông học sinh, hay muốn rằng bài khảo sát ấy có thể được sử dụng lại vào một lúc khác (2) Khi ta muốn có những điểm số đáng tin cậy, không phụ thuộc phần lớn vào chủ quan của người chấm bài. (3) Khi các yếu tố công bằng, vô tư, chính xác được coi là những yếu tố quan trọng nhất của việc thi cử. (4) Khi ta có nhiều câu trắc nghiệm tốt đã được dự trữ sẵn để có thể lựa chọn và cấu trúc lại một bài trắc nghiệm mới. Đặc biệt, ta muốn chấm nhanh và công bố kết quả sớm. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 21 (5) Khi ta muốn ngăn ngừa nạn học tủ, học vẹt, và gian lận trong thi cử của thí sinh. 2.1.4 Trắc nghiệm chuẩn mực và Trắc nghiệm tiêu chí 2.1.4.1 Trắc nghiệm chuẩn mực Trắc nghiệm chuẩn mực là trắc nghiệm được soạn nhằm cung cấp một số cách đo lường thành tích mà người ta có thể giải thích được căn cứ trên vị thế tương đối của một cá nhân so với một nhóm người nào đó đã được biết. Trắc nghiệm chuẩn mực được dùng để xác định thành tích của một cá nhân so với thành tích của các cá nhân khác với cùng một dụng cụ đo lường. Một bài trắc nghiệm chuẩn mực cho phép ta so sánh thành tích của mỗi thí sinh đối chiếu với thành tích của một nhóm được dùng làm chuẩn (norm group) về một nội dung giảng dạy nào đó. Thông thường nội dung ấy có tính cách bao quát rộng, và nhóm chuẩn là một nhóm đại diện cho các thí sinh thuộc một lớp tuổi hay cấp học nào đó trong phạm vi một đơn vị địa lý rộng lớn như một vùng, một tỉnh hay một nước. Các trắc nghiệm chuẩn mực khác nhau về mức độ chúng đo lường thành tích mà thí sinh đã đạt được. Thế nhưng, các trắc nghiệm này lại chú trọng đến việc cho ra kết quả về vị trí của từng học viên so với các học viên khác trong nhóm chuẩn. Để tạo nên căn bản cho sự phân biệt hai loại học viên, người ta phải lựa chọn các câu trắc nghiệm làm sao cho các học viên làm đúng một câu hỏi cũng có khuynh hướng đạt được điểm cao trên toàn bài trắc nghiệm, trong khi học viên làm sai câu ấy có thể đạt điểm số thấp hơn trên toàn bài. Với trắc nghiệm chuẩn mực, người ta lập nên một chuỗi liên tục các điểm số từ thấp đến cao, trên đó các thí sinh được phân biệt mức độ khác nhau về khả năng. Trắc nghiệm chuẩn mực cho biết vị thế của một học viên trong phân bố điểm số, so sánh với vị thế của các học viên khác trong nhóm chuẩn. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 22 Vì trắc nghiệm chuẩn mực được soạn thảo để so sánh giữa các cá nhân với nhau nên mục đích của trắc nghiệm chuẩn mực là giúp đưa ra những quyết định về các cá nhân và trắc nghiệm chuẩn mực thường được sử dụng khi hoàn cảnh đòi hỏi phải có một mức độ lựa chọn nào đó giữa các thí sinh. Ví dụ như một trường đại học chỉ có một số chỗ giới hạn nào đó dành cho học sinh tốt nghiệm trung học, hay một công ty chỉ cần tuyển dụng một số người trong số khá đông các ứng viên, trong các trường hợp này người ta cần một dụng cụ đo lường để so sánh giữa các ứng viên với nhau, và dụng cụ đo lường ấy chính là trắc nghiệm chuẩn mực. 2.1.4.2 Trắc nghiệm tiêu chí Trắc nghiệm tiêu chí là trắc nghiệm được soạn nhằm cung cấp một số cách đo lường mức thành thạo mà người ta có thể giải thích được căn cứ trên một lĩnh vực các nhiệm vụ học tập đã được xác định và được giới hạn. Trắc nghiệm tiêu chí được dùng để xác định thành tích của một cá nhân so với tiêu chí (criterion) nào đó, chẳng hạn như tiêu chuẩn (standard) mà người học phải đạt tới sau một thời gian học tập. Ý nghĩa của một điểm số cá nhân không tùy thuộc vào sự so sánh với các cá nhân khác. Điều mà ta quan tâm là cá nhân đó làm được gì hơn là so sánh vị thế của người ấy với những người khác. Một bài trắc nghiệm tiêu chí cho ta kết quả so sánh mức độ thành thạo của mỗi cá nhân so với toàn bộ kiến thức, hay kỹ năng mà bài trắc nghiệm ấy bao trùm. Bài trắc nghiệm đặt căn bản trên một tiêu chí xác định mức thành thạo của một cá nhân về nội dung học tập hơn là thứ hạng của cá nhân ấy so với nhóm chuẩn. 2.1.4.3 So sánh trắc nghiệm chuẩn mực và Trắc nghiệm tiêu chí ™ Khác biệt: Trắc nghiệm chuẩn mực Trắc nghiệm tiêu chí Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 23 Thường bao trùm một miền các nhiệm vụ học tập rộng lớn, mỗi nhiệm vụ chỉ có một số câu hỏi trắc nghiệm. Tập trung vào một miền xác định, với khá nhiều câu hỏi trắc nghiệm cho mỗi nhiệm vụ. Nhấn mạnh sự phân biệt giữa các cá nhân dựa trên mức trình độ học tập tương đối của họ. Nhấn mạnh sự mô tả các nhiệm vụ học tập mà một cá nhân có thể hoặc không thể thực hiện được. Thích các câu hỏi có độ khó trung bình và thông thường loại bỏ các câu hỏi dễ. Quy độ khó của câu trắc nghiệm vào độ khó của nhiệm vụ học tập, và không thay đổi độ khó của câu cũng không loại bỏ các câu hỏi dễ. Chủ yếu (nhưng không bắt buộc) sử dụng cho mục đích kiểm định khảo sát. Chủ yếu (nhưng không bắt buộc) sử dụng cho mục đích kiểm định thành thạo. Chỉ có thể diễn giải kết quả dựa trên một nhóm xác định rõ ràng. Chỉ có thể diễn giải kết quả dựa trên một miền nhiệm vụ xác định. Bảng 2. So sánh trắc nghiệm chuẩn mực và trắc nghiệm tiêu chí [1] ™ Tương đồng: 9 Cả hai loại trắc nghiệm đều đòi hỏi phải quy định miền nội dung trắc nghiệm. 9 Cả hai loại đều đòi hỏi phải có một mẫu các câu hỏi có liên quan và có tính đại diện (relevant and representative). 9 Cả hai loại đều sử dụng cùng những loại câu hỏi giống nhau. 9 Cả hai loại đều áp dụng những quy luật giống nhau trong kỹ thuật viết câu trắc nghiệm. 9 Cả hai loại đề được đánh giá bởi cùng một tiêu chuẩn chất lượng (độ giá trị và độ tin cậy – validity and reliability). 9 Cả hai loại đều rất cần thiết trong đánh giá giáo dục. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 24 ¾ Kết luận: Mặc dù trắc nghiệm chuẩn mực và trắc nghiệm tiêu chí có thể giống nhau về mặt hình thức nhưng hai loại trắc nghiệm này khác biệt nhau về cách tính hệ số tin cậy, cách phân tích câu. Với đề tài “Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học”, chúng ta sử dụng trắc nghiệm chuẩn mực để phân loại thí sinh, so sánh giữa các thí sinh với nhau để tìm ra người có thứ hạng cao từ trên xuống theo tiêu chuẩn tuyển sinh của các trường đại học. Các kỹ thuật tính độ tin cây, phân tích câu trắc nghiệm được trình bày trong các phần sau là các kỹ thuật của trắc nghiệm chuẩn mực, còn các kỹ thuật của trắc nghiệm tiêu chí không thuộc phạm vi đề tài này. 2.2 Tính tin cậy và tính giá trị của bài trắc nghiệm Trong lĩnh vực đo lường, dù là đề thi luận đề hay trắc nghiệm, người ra đề cần quan tâm đến hai tính chất cơ bản của một đề thi là tính tin cậy và tính giá trị. Với đề thi trắc nghiệm, yêu cầu này càng phải được nghiên cứu kỹ hơn. 2.2.1 Tính tin cậy (Reliability) Ta hiểu tính tin cậy (độ tin cậy) của một dụng cụ đo là khái niệm cho biết mức độ ổn định, vững chãi của các kết quả đo được khi tiến hành đo vật thể đó nhiều lần. Thí dụ: có một gói mứt khi đặt lên cân, lần đầu báo 750 gam, sang lần thứ hai báo 745 gam, lần thứ ba báo 765 gam, v.v… Ta nói cái cân này tin cậy. Tương tự một bài trắc nghiệm được gọi là tin cậy khi một học sinh làm nhiều lần bài trắc nghiệm này vào những thời điểm cách xa nhau thì các kết quả điểm số thu được đều khá ổn định (các điểm số của các lần đo không chênh lệch quá nhiều). Độ tin cậy thường được biểu hiện bằng một con số trong khoảng từ 0 đến 1. Độ lớn càng gần với 1 thì dụng cụ càng tin cậy. Ví dụ: nếu từ 0.80 trở lên thì độ Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 25 tin cậy được gọi là cao, từ 0.40 đến 0.79 thì tương đối tin cậy, dưới 0.40 là tin cậy thấp. Tính tin cậy là khái niệm cho biết bài trắc nghiệm đo bất cứ cái gì mà nó đo với sự tin cậy có căn cứ và ổn định có thể có. Nghĩa là một bài trắc nghiệm có tính tin cậy cao khi ta dùng các hình thức khác nhau của cùng một trắc nghiệm hoặc tiến hành cùng một trắc nghiệm nhiều lần trên cùng một đối tượng (cá nhân hay nhóm) thì kết quả thu được phải giống nhau. Một bài trắc nghiệm được xem là đáng tin cậy khi nó cho ra những kết quả có tính cách vững chãi. Điều này có nghĩa là, nếu làm bài trắc nghiệm ấy nhiều lần, mỗi học sinh vẫn sẽ giữ được thứ hạng tương đối của mình trong nhóm. Nhưng trong thực tế không bao giờ ra một bài khảo sát nhiều lần cho cùng một nhóm học sinh. Bởi vì một bài trắc nghiệm nếu đưa cho cùng một học sinh làm cách nhau trong một khoảng thời gian ngắn thì thường bị tác động của yếu tố “quen thuộc” của trí nhớ và trình độ luyện tập. Kết quả lần sau chắc chắn sẽ tốt hơn lần trước. Còn nếu khoảng cách giữa hai lần làm bài trắc nghiệm khá dài trên cùng một học sinh thì lại bị ảnh hưởng của tính biến đổi của bản thân học sinh đó. Khi chúng ta sử dụng một bài trắc nghiệm để đo lường thành tích học tập của một em học sinh, nghĩa là chúng ta muốn đo xem tri thức của em học sinh đó đối với kiến thức đã được học đạt được ở mức độ nào. Nhưng trên thực tế, chúng ta không thể đo được toàn bộ tri thức của em học sinh đó mà không bị ảnh hưởng bởi những sai số tham gia vào quá trình đo lường. Những sai số tham gia vào quá trình đo lường tri thức của học sinh có thể là: ™ Thí sinh có thể làm đúng câu trắc nghiệm bằng cách đoán mò: với những bài trắc nghiệm có nhiều lựa chọn, trắc nghiệm câu Đúng-Sai, thí sinh có thể đoán mò câu trả lời mà không cần có hiểu biết về câu trả lời đó. Do đó, điểm số của một thí sinh khi làm xong một bài trắc nghiệm bao gồm cả những câu trả lời đúng do đoán mò và cả những câu trả lời đúng do có Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 26 kiến thức. Điều này cũng cho ta thấy, một học sinh làm bài trắc nghiệm càng có nhiều câu đoán mò bao nhiêu thì kết quả làm bài lần sau sẽ càng khó có cùng một điểm số với lần làm trắc nghiệm đầu. Vì vậy cũng không xác định được rằng thí sinh có điểm cao giỏi hơn thí sinh có điểm thấp. Do đó nếu có nhiều thí sinh làm bài trắc nghiệm theo lối đoán mò thì bài trắc nghiệm đó có tính tin cậy thấp và điểm số của bài trắc nghiệm đó sẽ không đáng tin cậy. ™ Tính tin cậy của bài trắc nghiệm phụ thuộc vào tính chất khó hay dễ của bài trắc nghiệm: Nếu một bài trắc nghiệm gồm toàn những câu dễ khiến cho học sinh kém và học sinh giỏi đều làm được thì chúng ta không thể phân biệt được trình độ khác nhau của học sinh. Và cũng tương tự như thế, nếu bài trắc nghiệm quá khó khiển cả học sinh kém lẫn học sinh giỏi đều không làm được thì ta cũng không thể phân biệt được trình độ của học sinh. Vì vậy, một bài trắc nghiệm thành tích học tập tốt là một bài mà kết quả làm bài của học sinh có tất cả các loại điểm số từ điểm 1đến điểm 10 (với thang điểm 10) để giúp ta phận loại học sinh giỏi, khá, trung bình và kém. ™ Tính tin cậy của bài trắc nghiệm phụ thuộc vào độ dài của bài trắc nghiệm: Một bài trắc nghiệm rất ngắn (chẳng hạn chỉ có 5 câu) không làm cho điểm số trải rộng đủ để cho ra những kết quả vững chãi. Nói chung, một bài trắc nghiệm càng dài thì tính tin cậy càng tăng. ¾ Vậy để đảm bảo tính tin cậy tối đa của một bài trắc nghiệm, ta cần phải: ™ Làm giảm những sai số của trắc nghiệm đến mức tối thiểu bằng cách: • Tăng độ dài của bài trắc nghiệm. Bài trắc nghiệm càng dài thí tính tin cậy càng cao, miễn là nhóm học sinh được khảo sát không thay đổi và các câu trắc nghiệm mới được thêm vào cũng tốt như là những câu trên bài trắc nghiệm ngắn. Nhưng bài trắc nghiệm không nên quá dài, khiến cho yếu tố mệt mỏi ảnh hưởng đến kết quả trắc nghiệm. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 27 • Gia tăng khả năng phân cách của các câu trắc nghiệm. Trong khi soạn các câu trắc nghiệm, ta cần phải chọn ra những câu hỏi có khả năng phân biệt được học sinh giỏi và học sinh kém, có khả năng và không có khả năng. Như vậy sẽ tạo nên sự khác biết về điểm số giữa các loại học sinh ấy. Sự biến thiên của điểm số trong nhóm càng cao thì hệ số tin cậy có thể càng lớn. • Dùng câu hỏi có nhiều lựa chọn, tránh để học sinh có điều kiện đoán mò câu trả lời. ™ Viết những lời chỉ dẫn sao cho thật rõ ràng để học sinh khỏi nhầm lẫn. 2.2.2 Tính giá trị (Validity) Tính giá trị (hay độ giá trị) của một dụng cụ đo là một khái niệm chỉ ra rằng dụng cụ này có khả năng đo đúng được cái cần đo. Thí dụ: Một vật có trọng lượng thực là 800 gam. Nếu khi bỏ lên cân thấy báo trị số 800 gam, ta nói cái cân này giá trị. Còn thấy báo là 700 gam, cân sẽ không giá trị vì không đo đúng được trọng lượng cần đo. Đặt vật lên, xuống để cân nhiều lần, lần nào kết quả cũng không xê dịch khỏi 700 gam, ta nói cân đó tin cậy nhưng không giá trị. Tính giá trị là khái niệm cho biết mức độ mà một bài trắc nghiệm đo được đúng cái nó định đo. Tính giá trị liên quan đến mức độ mà bài trắc nghiệm phục vụ được cho mục đích đo lường của ta với nhóm người muốn khảo sát. Khi nói đến tính giá trị, ta cần phải đặt các câu hỏi: ™ Bài trắc nghiệm có đạt được mục đích đo lường của nó hay không? ™ Bài trắc nghiệm đo lường trên nhóm người nào? Nói cách khác, khái niệm giá trị chỉ có ý nghĩa khi ta xác định rõ: ta muốn đo lường cái gì (mục đích đo lường) và với nhóm người nào. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 28 2.2.3 Mối liên hệ giữa tính tin cậy và tính giá trị ™ Tính tin cậy là điều kiện cần cho tính giá trị. Một bài trắc nghiệm có thể đáng tin cậy nhưng lại không có giá trị. Bởi vì bài trắc nghiệm có tính tin cậy cao có thể cho ra những điểm số đáng tin (vững chãi) nhưng nó lại không đo lường đúng loại kiến thức học tập mà ta mong muốn học sinh thể hiện ™ Ngược loại, một bài trắc nghiệm có tính giá trị bắt buộc phải có tính tin cậy cao. Hay nói cách khác, một bài trắc nghiệm không có tính tin cậy thì không thể nào có tính giá trị được. Tính tin cậy và tính giá trị khác nhau ở chỗ: • Tính tin cậy liên quan đến sự vững chãi của điểm số (yếu tố bên trong) nên nó không cần sự hỗ trợ của những tiêu chuẩn ở bên ngoài. • Còn tính giá trị liên quan đến mục đích của sự đo lường nên nó được xác định bằng cách đối chiếu với những tiêu chuẩn ở bên ngoài. 2.3 Quy hoạch một bài trắc nghiệm Quy hoạch một bài trắc nghiệm thành quả học tập là dự kiến phân bố hợp lý các phần tử của bài trắc nghiệm theo mục tiêu và nội dung môn học sao cho nó có thể đo lường chính xác các khả năng mà ta muốn đo lường. Quy hoạch bài trắc nghiệm là công việc phải làm trong giai đoạn chuẩn bị. Công việc này thực sự cần thiết khi xây dựng một đề thi bằng hình thức trắc nghiệm. Trong việc quy hoạch, điều cần làm trước tiên là phải xác định các mục tiêu học tập mà học sinh phải đạt được. Sau đó kết hợp với các mức độ yêu cầu về nhận thức để lập thành dàn bài trắc nghiệm. 2.3.1 Xác định mục tiêu học tập 2.3.1.1 Các khái niệm ™ Mục đích giáo dục (educational goal): Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 29 Đường hướng hay mục đích tổng quát được phát biểu dưới dạng những kết quả bao quát rộng, có tính lâu dài mà giáo dục nhằm tiến tới. Các mục đích này thường phát biểu chủ yếu trong các nghị quyết, chính sách hay quy hoạch chương trình tổng quát. ™ Mục tiêu học tập tổng quát (general instructional objective): Kết quả học tập dự kiến được phát biểu bằng những từ tổng quát, bao trùm những kết quả học tập chuyên biệt. ™ Kết quả học tập chuyên biệt: Kết quả dự tính của việc giảng dạy căn cứ trên thành tích của học sinh mà ta có thể quan sát được. Đó là một tập hợp các kết quả học tập chuyên biệt mô tả một mẫu các loại thành tích mà học sinh sẽ có thể phô diễn một khi họ đã đạt mục tiêu học tập tổng quát. Các kết quả học tập chuyên biệt cũng có khi được gọi bằng các thuật ngữ như: mục tiêu chuyên biệt, mục tiêu thành tích, mục tiêu động thái, mục tiêu đo lường được. ¾ Khi xác định các mục tiêu để soạn thảo trắc nghiệm, ta quan tâm đến Mục tiêu học tập tổng quát và Kết quả học tập chuyên biệt. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 30 ¾ So sánh giữa Mục tiêu học tập tổng quát và Kết quả học tập chuyên biệt: Mục tiêu học tập tổng quát Kết quả học tập chuyên biệt Dài hạn (tháng, học kỳ, năm). Xác định trong khoảng thời gian ngắn (có thể là giờ, ngày). Hướng tới một khả năng của tư duy Hướng đến các hành động Khái quát về nội dung Cụ thể về nội dung Khó đo lường Dễ đo lường Bảng 3 So sánh mục tiêu học tập tổng quát và Kết quả học tập chuyên biệt [3] 2.3.1.2 Mục tiêu học tập là cơ sở cho việc soạn bài trắc nghiệm 2.3.1.2.1 Tầm quan trọng của việc xây dựng mục tiêu Xác định mục tiêu cụ thể cho từng môn học là vô cùng quan trọng. Điều này có nghĩa là phải xác định những tiêu chí, kỹ năng, kiến thức học sinh cần đạt đối với môn học. Và sau đó xây dựng quy trình và công cụ đo lường nhằm đánh giá xem học sinh có đạt được các tiêu chí đó không. 2.3.1.2.2 Những lợi điểm khi xác định rõ ràng các mục tiêu cần đạt 9 Tạo dễ dàng cho việc kiểm tra và chấm điểm công bằng. 9 Mục đích của môn học, nội dung môn học và quy trình đánh giá vừa nhất quán vừa quan hệ chặt chẽ với nhau. 9 Khuyến khích học sinh tự đánh giá vì họ biết họ phải đạt cái gì. 9 Hỗ trợ hiệu quả việc học của học sinh và giảm bớt lo lắng vì có hướng dẫn và xác định rõ các ưu tiên trong giảng dạy. 9 Học sinh hiểu rõ các môn học có liên thông với nhau và gắn với mục đích đào tạo. 2.3.1.2.3 Các đặc điểm của mục tiêu Mục tiêu phải bao gồm đủ các ý sau đây (nếu ghép các mẫu tự đầu của tiếng Anh sẽ thành chữ SMART): 9 S – Specific (cụ thể) Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 31 9 M – Measurable (có thể đo được) 9 A – Achievable (có thể đặt được) 9 R – Result-oriented (hướng kết quả) 9 T – Time-bound (giới hạn thời gian) (1) Mục tiêu cần phải cụ thể: Phải nêu ra kết quả mà nó nhằm đặt được. Các mục tiêu cụ thể sẽ giúp cho việc làm sáng tỏ các mục đích, định hướng cho các hoạt động, hướng dẫn thu thập số liệu và các phương tiện đo đạc, cung cấp cơ sở cho việc kiểm tra tính hiệu quả của đánh giá. (2) Mục tiêu phải có thể đo được: Để có thể đo được, các mục tiêu cần nhằm vào các kết quả có thể quan sát được hoặc thể hiện được. (3) Mục tiêu phải có thể đạt được: Cần tránh nêu ra những mục tiêu xa, mơ hồ, không thể đặt được, cho dù đó là rất cần. (4) Mục tiêu cần phải hướng kết quả: Mục tiêu chính là các kết quả mà học sinh phải đạt được (5) Mục tiêu cần phải giới hạn thời gian: Xác định đó là mục tiêu sau sau một khoảng thời gian, sau một hay nhiều chương. Tất nhiên những mục tiêu sau khoảng thời gian dài thì bao quát được nhiều tri thức hơn. 2.3.1.2.4 Các mức độ của mục tiêu nhận thức Mục tiêu thuộc lĩnh vực nhận thức có 6 mức độ từ thấp đến cao: (1) Biết (knowledge): Có thể nhớ, nhắc lại chính xác những điều đã được học. (2) Thông hiểu (comprehension): Hiểu được ý nghĩa của một công thức, lý thuyết, vấn đề,v.v… (3) Áp dụng (application): Áp dụng được những điều đã học để giải quyết một vấn đề, hoặc giải quyết một tình huống, hiện tượng, v.v… (4) Phân tích (analysis): Biết mổ xẻ vấn đề thành các yếu tố và xác định được mối liên hệ giữa các yếu tố đó. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 32 (5) Tổng hợp (synthesis): Đề xuất được phương án, ý kiến mới trên cơ sở những thông tin, số liệu đã có. (6) Đánh giá (evaluation): Đưa ra được những nhận xét về một vấn đề trên cơ sở những tiêu chí đã có hoặc tự xây dựng; đồng thời cung cấp những bằng chứng cho các nhận xét đó. 2.3.2 Phân tích nội dung môn học Phân tích nội dung môn học bao gồm chủ yếu công việc xem xét và phân biệt bốn loại nội dung học tập: (1) Những thông tin mang tính chất sự kiện mà học sinh phải nhớ hay nhận ra. (2) Những khái niệm và ý tưởng mà học sinh phải giải thích hay minh họa. (3) Những ý tưởng phức tạp cần được giải thích hay giải nghĩa. (4) Những thông tin, ý tưởng và kỹ năng cần được ứng dụng hay chuyển dịch vào một tình huống hay hoàn cảnh mới. Nhưng trong việc phân tích nội dung một phần nào đó của môn học, ta có thể đảo ngược lại thứ tự bốn loại học tập ở trên, nghĩa là bắt đầu bằng những ý tưởng phức tạp: tìm ra những điều khái quát hóa, các mối liên hệ, các nguyên lý. Những câu phát biểu thuộc loại này thường là ý tưởng cốt lõi của môn học và bao gồm trong cấu trúc của môn học ấy, còn phần lớn nội dung còn lại chỉ là minh họa hay giải thích cho các ý tưởng này. Như vậy, bước thứ hai của việc phân tích nội dung môn học là tìm ra những ý tưởng chính yếu của môn học ấy. Bước thứ hai của việc phân tích nội dung môn học là lựa chọn những từ, nhóm chữ, và cả những ký hiệu (nếu có) mà học sinh sẽ phải giải nghĩa được. Để có thể hiểu rõ, giải thích, giải nghĩa những ý tưởng lớn, học sinh cần phải hiểu rõ các khái niệm ấy và các mối liên hệ giữa các khái niệm. Vậy, công việc của người soạn thảo trắc nghiệm là tìm ra những khái niệm quan trọng trong nội dung môn học để đem ra khảo sát trong các câu trắc nghiệm. Bước thứ ba là phân loại hai hạng thông tin được trình bày trong môn học: • Những thông tin nhằm mục đích giải nghĩa hay minh họa. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 33 • Những khái luận quan trọng của môn học. Người soạn thảo trắc nghiệm cần phải biết phân biệt hai loại thông tin ấy để lựa chọn những điều gì quan trọng mà học sinh cần phải nhớ. Bước thứ tư là lựa chọn một số thông tin và ý tưởng đòi hỏi học sinh phải có khả năng ứng dụng những điều đã biết để giải quyết vấn đề trong những tình huống mới. Những thông tin loại này có thể được khảo sát bằng nhiều cách, chẳng hạn như đối chiếu, nêu ra những sự tương đồng và dị biệt, hay đặt ra những bài toán, những tình huống đòi hỏi học sinh phải ứng dụng các thông tin đã biết để tìm ra cách giải quyết. 2.3.3 Thiết kế dàn bài trắc nghiệm Dàn bài trắc nghiệm thành quả học tập là bảng dự kiến phân bố hợp lý các câu hỏi của bài trắc nghiệm theo mục tiêu (hay quá trình tư duy) và nội dung của môn học sao cho có thể đo lường chính xác các khả năng mà ta muốn đo. Để làm công việc này một cách hiệu quả nhất, chúng ta cần phải quyết định: 9 Cần khảo sát những gì ở học sinh? 9 Đặt tầm quan trọng vào những phần nào của môn học và mục tiêu nào? 9 Cần phải trình bày các câu hỏi dước hình thức nào cho có hiệu quả nhất? 9 Mức độ khó của các câu trắc nghiệm 9 Mức độ khó của bài trắc nghiệm Thông thường khi thiết kế một dàn bài trắc nghiệm, người ta lập một ma trận hai chiều, còn gọi là bảng quy định hai chiều (table of specifications): một chiều là nội dung và một chiều là mục tiêu. Trong các ô ma trận ghi số câu cần kiểm tra cho mỗi nội dung và mục tiêu. Tuy nhiên, những mục tiêu này không buộc phải theo sát các nguyên tắc phân loại (6 mức độ của mục tiêu nhận thức) đã được đề cập ở trên mà có thể cụ thể hóa cho phù hợp với từng môn học khác nhau. Trong mỗi ô của bảng quy định hai chiều này, ta sẽ ghi số câu trắc nghiệm cho mục tiêu hay đơn vị nội dung tương ứng với hàng và cột đó. Sau đây là một thí dụ về dàn bài trắc nghiệm: Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 34 Mục tiêu Chủ đề 1 Chủ đề 2 Chủ đề 3 Chủ đề 4 Chủ đề 5 Tổng cộng 1. Hiểu biết: - Từ ngữ, ký hiệu, quy ước 3 2 5 5 15 - Tính chất, đặc điểm, tiêu chuẩn 3 1 3 2 3 12 - Sự kiện, dữ kiện 4 3 7 1 15 - Khuynh hướng diễn biến các sự việc 2 4 4 10 - Định luật, nguyên tắc 1 4 2 1 8 2. Khả năng: So sánh, nêu sự tương đồng, dị biệt 2 3 1 6 Giải thích 2 2 3 7 Tính toán 4 6 3 5 18 Tiên đoán 2 1 2 5 Phê phán 2 1 1 4 Tổng cộng 15 11 21 28 25 100 Bảng 4. Thí dụ về dàn bài trắc nghiệm [1] 2.3.4 Số câu hỏi trong bài trắc nghiệm Số câu của một bài trắc nghiệm khách quan tùy thuộc vào lượng thời gian dành cho việc kiểm tra. Trong những kỳ thi, thời gian dành cho trắc nghiệm có thể là hai giờ hay hơn thế. Nói chung, thời gian càng dài, càng có nhiều câu hỏi, thì các điểm số có được từ bài trắc nghiệm ấy càng đáng tin cậy hơn, chỉ số tin cậy sẽ cao. Thế nhưng trong thực tế, rất hiếm khi có bài trắc nghiệm cho học sinh làm liên tục trong hơn ba giờ. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 35 Ngoài vấn đề thời gian, còn có vấn đề quan trọng hơn cả là làm sao cho các câu hỏi trong bài trắc nghiệm tiêu biểu cho toàn thể kiến thức mà ta đòi hỏi ở học sinh. Nếu số câu hỏi quá ít thì không bao trùm đầy đủ nội dung môn học, còn nếu số câu quá nhiều thì lại bị hạn chế bởi thời gian. Số câu hỏi trong một bài trắc nghiệm dù nhiều bao nhiêu cũng chỉ là một “mẫu” (sample) trong toàn thể “dân số” (population) các câu hỏi thích hợp với nội dung và mục tiêu mà ta muốn khảo sát. Vì vậy, một bài trắc nghiệm có rất nhiều câu hỏi chưa hẳn là một bài trắc nghiệm có giá trị, nếu các câu hỏi ấy không tiêu biểu cho “dân số” các câu hỏi thích hợp về môn học. Tuy nhiên, nếu ta thiết lập dàn bài trắc nghiệm một cách kỹ càng, và căn cứ vào thời gian quy định bài trắc nghiệm mà phân bố số câu hỏi hợp lý cho từng phần của nội dung và mục tiêu môn học, ta cũng sẽ có nhiều hi vọng lựa chọn được số câu hỏi “đại diện” cho “dân số” các câu hỏi thích hợp. Số câu hỏi mà một học sinh có thể trả lời được trong một phút tùy thuộc vào loại câu trắc nghiệm sử dụng, vào mức độ phức tạp của quá trình tư duy đòi hỏi để trả lời câu hỏi, và cả vào thói quen làm việc của học sinh. Vì lý do đó, ta khó có thể xác định chính xác cần phải có bao nhiêu câu hỏi trong bài trắc nghiệm với số thời gian ấn định sẵn. Vậy phương pháp tốt nhất là rút kinh nghiệm từ những bài trắc nghiệm tương tự. Trong trường hợp không có những kinh nghiệm như vậy, ta có thể giả định rằng ngay cả những học sinh làm rất chậm cũng có thể trả lời một câu trắc nghiệm nhiều lựa chọn trong một phút, và một câu trắc nghiệm loại Đúng-Sai trong nửa phút. Với những câu trắc nghiệm dài hơn hay phức tạp thì ta có thể cần phải xét lại thời gian giả định ấy. 2.3.5 Mức độ khó của các câu trắc nghiệm Một bài trắc nghiệm thành quả học tập gồm những câu quá dễ thường không có hiệu quả đo lường khả năng của học sinh. Để đạt được hiệu quả đo lường khả năng, chúng ta nên chọn các câu trắc nghiệm sao cho điểm trung bình trên bài trắc nghiệm xấp xỉ bằng 50% số câu Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 36 hỏi. Tuy nhiên, khi ấn định mức độ khó trung bình là 50%, độ khó của từng câu trắc nghiệm có thể khác nhau. Điều ta cần phải nhớ là loại câu trắc nghiệm có thể cung cấp thông tin tốt nhất về sự khác biệt giữa các thí sinh là những câu mà 50% trả lời đúng và 50% trả lời sai. 2.4 Các hình thức câu trắc nghiệm 2.4.1 Câu trắc nghiệm Đúng-Sai (true-false question) ™ Cấu trúc: Gồm một câu phát biểu và phần học sinh trả lời bằng cách lựa chọn: Đúng (Đ) hay Sai (S). ™ Ưu điểm: 9 Dễ xây dựng 9 Có thể đặt được nhiều câu hỏi trong một bài trắc nghiệm với thời gian cho trước; điều này làm tăng tính tin cậy của bài trắc nghiệm nếu như các câu trắc nghiệm Đúng-Sai được soạn thảo theo đúng quy cách. 9 Trong khoảng thời gian ngắn có thể soạn được nhiều câu trắc nghiệm Đúng-Sai vì người soạn trắc nghiệm không cần phải tìm ra phần trả lời cho học sinh lựa chọn. ™ Nhược điểm: 9 Độ may rủi cao (50%), do đó dễ khuyến khích người trả lời đoán mò. 9 Thường chỉ được dùng để kiểm tra mức độ nhận biết, hiểu. ™ Những yêu cầu khi soạn câu trắc nghiệm Đúng-Sai: 9 Mỗi câu trắc nghiệm chỉ nên diễn tả một ý tưởng độc nhất, tránh những câu phức tạp, bao gồm quá nhiều chi tiết. 9 Lựa chọn những câu phát biểu sao cho một người có khả năng trung bình không thể nhận ra ngay là Đúng hay Sai mà không cần suy nghĩ. 9 Những câu phát biểu mà tính chất Đúng, Sai phải chắc chắn, có cơ sở khoa học. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 37 9 Tránh dùng những câu phát biểu trích nguyên văn từ sách giáo khoa, như vậy sẽ khuyến khích học sinh học thuộc lòng máy móc. 9 Tránh dùng các từ: thường thường, đôi khi, một số người,v.v… vì thường là câu phát biểu Đúng. 2.4.2 Câu trắc nghiệm đa lựa chọn (multiple choice question) ™ Cấu trúc: Gồm 2 phần: phần gốc và phần lựa chọn Phần gốc: là một câu hỏi (kết thúc là dấu chẩm hỏi) hay câu bỏ lửng (chưa hoàn tất). Trong phần gốc, người soạn trắc nghiệm đặt ra một vấn đề hay đưa ra một ý tưởng rõ ràng giúp cho người trả lời hiểu rõ câu trắc nghiệm ấy muốn hỏi điều gì để lựa chọn câu trả lời thích hợp. ¾ Phần lựa chọn: có thể 3, 4, 5 lựa chọn hoặc nhiều hơn 5 lựa chọn. Mỗi lựa chọn là câu trả lời (cho câu có dấu hỏi) hay là câu bổ túc (cho phần còn bỏ lửng). Trong tất cả các lựa chọn chỉ có 1 lựa chọn được xác định là đúng nhất, gọi là “đáp án” (key). Những lựa chọn còn lại đều phải là sai (dù nội dung đọc lên có vẻ là đúng), thường gọi là các “mồi nhử”, “câu nhiễu” (distractors). Điều quan trọng người soạn thảo cần lưu ý là phải làm sao cho các mồi nhử này đều hấp dẫn ngang nhau đối với những học sinh chưa nắm vững kiến thức, thúc đẩy học sinh ấy chọn vào những “mồi nhử” này. ™ Ưu điểm: 9 Độ may rủi thấp: nếu câu trắc nghiệm có N lựa chọn thì độ may rủi là 1/N. Số lựa chọn Độ may rủi 3 33,33% 4 25% 5 20% 6 16,67% Bảng 5. Tương quan số lựa chọn và độ may rủi Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 38 9 Nếu soạn đúng quy cách, kết quả có tính tin cậy và tính giá trị cao. 9 Có thể khảo sát thành quả học tập của một số đông học sinh; chấm nhanh; kết quả chính xác. 9 Có thể được sử dụng để kiểm tra các kỹ năng nhận thức bậc cao. ™ Nhược điểm: 9 Tuy độ may rui thấp nhưng người trả lời vẫn có thể đoán mò. 9 Vì có nhiều phương án lựa chọn nên khó xây dựng được các câu hỏi có chất lượng cao. 9 Để có được một bài trắc nghiệm có tính tin cậy và tính giá trị cao, người soạn trắc nghiệm phải đầu tư nhiều thời gian và phải tuân thủ đầy đủ các bước soạn thảo câu trắc nghiệm. ™ Những yêu cầu khi soạn câu trắc nghiệm đa lựa chọn: 9 Số lựa chọn nên từ 4 trở lên để xác suất may mắn chọn đúng là thấp. 9 Khi soạn phần gốc phải trình bày ngắn gọn, rõ ràng, chỉ hỏi một vấn đề và soạn đáp án đúng trước, vị trí đáp án đúng được đặt một cách ngẫu nhiên. 9 Muốn có được các mồi nhử hay thì ta nên chọn những câu Sai thường gặp của chính học sinh, không nên là những mồi nhử do người soạn trắc nghiệm tự nghĩ ra vì mồi nhử do người soạn trắc nghiệm nghĩ ra chưa chắc hấp dẫn được học sinh. Do đó có 4 bước phải làm khi soạn mồi nhử: • Bước 1: Ra các câu hỏi mở về lĩnh vực nội dung dự định trắc nghiệm để học sinh tự viết câu trả lời. • Bước 2: Thu các bản trả lời của học sinh, loại bỏ các câu trả lời Đúng, chỉ giữ lại các câu trả lời Sai. • Bước 3: Thống kê phân loại các câu trả lời Sai và ghi tần số xuất hiện từng loại câu Sai. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 39 • Bước 4: Ưu tiên chọn những câu sai có tần số cao làm mồi nhử. 2.4.3 Câu trắc nghiệm đối chiếu cặp đôi (matching question) ™ Cấu trúc: Gồm 3 phần Phần chỉ dẫn cách trả lời. Phần gốc (cột 1): gồm những câu ngắn, đoạn, chữ, v.v… ¾ Phần lựa chọn (cột 2): cũng gồm những câu ngắn, đoạn, chữ, v.v… Trong phần chỉ dẫn cần chỉ ra cho người làm trắc nghiệm biết cách ghép hai cột với nhau cho đúng, có ý nghĩa, hợp logic. ™ Ưu điểm: 9 Dễ xây dựng. 9 Có thể hạn chế sự đoán mò bằng cách tăng số lượng lựa chọn. ™ Nhược điểm: 9 Chỉ chủ yếu dùng để kiểm tra khả năng nhận biết. 9 Thông tin có tính dàn trải, không nhấn mạnh được những điều quan trọng. ™ Những yêu cầu khi soạn câu trắc nghiệm đối chiếu cặp đôi: 9 Không nên đặt số lựa chọn ở hai cột bằng nhau vì như vậy làm cho học sinh dự đoán được sau khi biết một số trường hợp. Bên cạnh đó có thể dùng một lựa chọn đúng với hai hay nhiều câu hỏi. 9 Không nên soạn các lựa chọn quá dài làm mất thì giờ của học sinh. 2.4.4 Câu trắc nghiệm điền khuyết (filling question) ™ Cấu trúc: Có 2 dạng: Dạng 1: Gồm những câu hỏi với lời giải đáp ngắn. Dạng 2: Gồm những câu phát biểu với một hay nhiều chỗ để trống mà người trả lời phải điền vào bằng một từ hay một nhóm từ ngắn. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 40 ™ Ưu điểm: 9 Dễ xây dựng. 9 Người trả lời không thể đoán mò. ™ Nhược điểm: 9 Thường chỉ được dùng để kiểm tra trình độ mức độ nhận biết, hiểu. 9 Đôi khi khó đánh giá đúng nội dung trả lời. ™ Những yêu cầu khi soạn câu trắc nghiệm điền khuyết: 9 Nội dung của phần trả lời càng cô đọng càng tốt. 9 Nên soạn thảo các câu với phần để trống sao cho những từ điền vào là duy nhất đúng, không thể thay thế bằng bất kỳ từ nào khác. ¾ Do những nhược điểm của câu trắc nghiệm loại đối chiếu cặp đôi và điền khuyết nên phần mềm này chỉ hỗ trợ quản lý câu trắc nghiệm loại đúng-sai và đa lựa chọn 2.5 Phân tích câu trắc nghiệm Phân tích các câu trả lời của thí sinh trong một bài trắc nghiệm là việc làm rất cần thiết và rất hữu ích. Nó giúp chúng ta biết được: 9 Những câu nào là quá khó, câu nào là quá dễ. 9 Những câu có độ phân cách cao, nghĩa là phân biệt được học sinh giỏi với học sinh kém. 9 Lý do vì sao câu trắc nghiệm không đạt được hiệu quả mong muốn và cần phải sửa đổi như thế nào cho tốt hơn. Một bài trắc nghiệm sau khi đã được sửa đổi lại trên căn bản của sự phân tích các câu trắc nghiệm có khả năng đạt được tính tin cậy cao hơn là một bài trắc nghiệm có cùng số câu hỏi nhưng chưa được thử nghiệm và phân tích. Chúng ta phải phân tích câu trắc nghiệm trên hai phương diện: độ phân cách, độ khó. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 41 2.5.1 Độ khó của câu trắc nghiệm (difficulty index) 2.5.1.1 Định nghĩa độ khó của câu trắc nghiệm Khi bạn làm một bài trắc nghiệm, bạn thường thấy rằng bài trắc nghiệm đó dễ khi bạn biết giải đáp hầu hết các câu hỏi, ngược lại bài trắc nghiệm đó khó nếu bạn không biết giải đáp cho phần lớn các câu hỏi. Nhưng chắc hẳn bạn sẽ thấy khó có thể giải thích được tại sao một số câu hỏi lại khó hơn một số câu hỏi khác. Các nhà đo lường giáo dục và tâm lý cũng gặp phải vấn đề khó khăn như vậy trong việc giải thích và định nghĩa tính chất khó hay dễ của các câu trắc nghiệm căn cứ vào đặc tính nội tại của chúng. Vì vậy, họ áp dụng lối định nghĩa độ khó của câu trắc nghiệm căn cứ vào số người trả lời đúng câu trắc nghiệm. Nếu tất cả mọi người đều lựa chọn câu giải đáp đúng, câu trắc nghiệm ấy được xem như là dễ. Nếu chỉ có một người trong một trăm người trả lời đúng câu trắc nghiệm thì câu trắc nghiệm ấy chắc chắn là quá khó. 2.5.1.2 Công thức tính độ khó Độ khó câu trắc nghiệm được tính theo công thức [1]: Thí dụ: Thí dụ một bài trắc nghiệm có 100.000 thí sinh làm bài, câu trắc nghiệm 1 có 75.000 thí sinh làm đúng thì độ khó của câu trắc nghiệm 1 là: 75000 / 100000 = 0.75 2.5.1.3 Độ khó vừa phải câu trắc nghiệm Để có thể kết luận được một câu trắc nghiệm là dễ, khó, hay vừa sức học sinh, trước hết ta phải tính độ khó của câu trắc nghiệm ấy rồi so sánh với độ khó vừa phải của loại câu trắc nghiệm ấy: Độ khó câu i = Số người trả lời đúng câu i Tổng số người làm bài trắc nghiệm Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 42 • Nếu độ khó của câu trắc nghiệm > Độ khó vừa phải: Ta kết luận rằng câu trắc nghiệm ấy là dễ so với trình độ học sinh làm trắc nghiệm. • Nếu độ khó của câu trắc nghiệm < Độ khó vừa phải: Ta kết luận rằng câu trắc nghiệm ấy là khó so với trình độ học sinh làm trắc nghiệm. • Nếu độ khó của câu trắc nghiệm xấp xỉ Độ khó vừa phải: Ta kết luận rằng câu trắc nghiệm ấy vừa sức với trình độ học sinh làm trắc nghiệm. ™ Công thức tính độ khó vừa phải của câu trắc nghiệm [1]: Mỗi loại câu trắc nghiệm có tỉ lệ % may rủi khác nhau: Loại câu trắc nghiệm Tỉ lệ % may rủi Câu Đúng-Sai 50% Câu có 4 lựa chọn 25% Câu có 5 lựa chọn 20% Bảng 6. Tương quan loại câu hỏi và tỉ lệ may rủi Khi cần khảo sát năng lực học sinh trong một cuộc thi tuyển, chúng ta nên chọn đa số các câu có độ khó vừa phải, một ít câu từ khó đến rất khó và một ít câu dễ. 2.5.2 Độ phân cách của câu trắc nghiệm (discrimination index) 2.5.2.1 Định nghĩa độ phân cách của câu trắc nghiệm Kết quả thực hiện câu trắc nghiệm phải cho phép phân biệt được học sinh giỏi với học sinh kém, nghĩa là phải làm sao cho một câu trắc nghiệm có khả năng phân cách cao. Độ phân cách của một câu trắc nghiệm là một chỉ số giúp ta phân biệt được học sinh giỏi với học sinh kém. Vì vậy, một bài trắc nghiệm gồm toàn Độ khó vừa phải = 100% + % may rủi 2 Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 43 những câu trắc nghiệm có độ phân cách tốt sẽ là một công cụ đo lường có tính tin cậy cao. 2.5.2.2 Các phương pháp tính độ phân cách 2.5.2.2.1 Phương pháp đơn giản theo lối thủ công Sau khi đã chấm và cộng tổng điểm của từng bài trắc nghiệm, ta có thể thực hiện các bước sau để biết được độ phân cách của một câu trắc nghiệm [3]: • Bước 1: Xếp đặt các bài làm của học sinh (đã chấm, cộng điểm) theo thứ tự tổng điểm từ cao đến thấp. • Bước 2: Căn cứ trên tổng số bài trắc nghiệm, lấy 27% của tổng số bài làm có điểm số từ bài cao nhất trở xuống xếp vào nhóm CAO và 27% tổng số bài làm có điểm số từ bài thấp nhất trở lên xếp vào nhóm THẤP. • Bước 3: Tính tỉ lệ phần trăm học sinh làm đúng câu trắc nghiệm riêng cho từng nhóm bằng cách đếm số người làm đúng trong mỗi nhóm và chia cho số người của nhóm (số người mỗi nhóm = 27% tổng số bài) • Bước 4: Tính độ phân cách (D) theo công thức: Thí dụ: Bài trắc nghiệm môn Cầu lông có 28 câu do các bạn sinh viên năm thứ III Khoa Giáo dục thể chất, Đại học Sư Phạm TP. Hồ Chí Minh năm học 2003-2004 soạn, được đem khảo sát ở một lớp sinh viên Giáo dục thể chất ở một địa phương khác, thu được kết quả như sau: • Số bài trắc nghiệm thu được : 42 bài • Điểm cao nhất = 22 D = Tỉ lệ % nhóm cao làm đúng câu trắc nghiệm Tỉ lệ % nhóm thấp làm đúng câu trắc nghiệm _ Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 44 • Điểm thấp nhất = 08 Tính số người trong mỗi nhóm = 42 * 27% = 11. Nhóm CAO được chọn từ bài có điểm là 22 trở xuống cho đến khi đủ 11 bài. Nhóm THẤP được chọn từ bài có điểm thấp nhất là 08 điểm trở lên cho đến khi đủ số 11 bài. Tiếp theo là công việc của bước 3: Hãy lập bảng tỉ lệ % làm đúng các câu 1, 28, 17,13, 27 của nhóm cao và nhóm thấp. BẢNG TỈ LỆ % LÀM ĐÚNG Câu Nhóm cao Nhóm thấp Độ phân cách D 1 10 người (90.9%) 7 người (63.6%) D = 90.9% - 63.6% = 27.3% (= 0.27) 28 5 người (45.4%) 5 người (45.4%) D = 45.4% - 45.4% = 0% (= 0.00) 17 3 người (27.2%) 4 người (36.3%) D = 27.2% - 36.3% = - 9.1% (= - 0.09) 13 11người (100%) 9 người (81.8%) D = 100% - 81.8% = 18.2% (=0.18) 27 5 người (45.4%) 2 người (18.1%) D = 45.4% - 18.1% = 27.3% (= 0.27) Bảng 7. Bảng ti lệ phần trăm làm đúng 2.5.2.2.2 Công thức tương quan điểm nhị phân (point biserial correlation) Tính độ phân cách câu trắc nghiệm theo công thức tương quan điểm nhị phân [1]: Trong đó: • D : Độ phân cách của câu trắc nghiệm • N : Số bài làm (Số thí sinh dự thi) D = ]Y)( - Y][NX)( - X[N 2222 ∑∑∑∑ YX ∑∑∑ - XYN Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 45 • X : Điểm số câu trắc nghiệm của mỗi thí sinh (X = 0 hoặc X = 1) • Y : Tổng điểm bài làm của mỗi thí sinh Thí dụ: Ta có tổng điểm (Y) và điểm số (X) về một câu trắc nghiệm của 16 thí sinh, như ở cột 2 và 3 trong bảng tính toán dưới đây: Thí sinh Tổng điểm (Y) Điểm (X) X2 Y2 XY 1 101 0 0 10201 0 2 102 0 0 12544 0 3 95 0 0 9025 0 4 120 0 0 14400 0 5 113 0 0 12769 0 6 91 0 0 8281 0 7 117 0 0 13689 0 8 105 0 0 11025 0 9 117 1 1 13689 117 10 105 1 1 11025 105 11 118 1 1 13924 118 12 100 1 1 10000 100 13 98 1 1 9604 98 14 122 1 1 14884 122 15 97 1 1 9409 97 16 111 1 1 12321 111 Tổng 1712 8 8 184630 868 Bảng 8. Điểm bài làm và điểm câu trắc nghiệm Với các dữ kiện trong bảng trên, thế số vào công thức tương quan điểm nhị phân: D = = ]1712 - 184630 x ][168 - 8 x 61[ 22 16 x 868 – 8 x 1712 = 0.16 ]Y)( - Y][NX)( - X[N 2222 ∑∑∑∑ YX ∑∑∑ - XYN Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 46 2.5.2.3 Kết luận từ độ phân cách Độ phân cách D Kết luận D Ў 0.40 Câu trắc nghiệm có độ phân cách rất tốt 0.30 Ў D Ў 0.39 Câu trắc nghiệm có độ phân cách khá tốt, nhưng có thể làm cho tốt hơn 0.20 Ў D Ў 0.29 Câu trắc nghiệm có độ phân cách tạm được, cần phải điều chỉnh D Ў 0.19 Câu trắc nghiệm có độ phân cách kém, cần phải loại bỏ hay phải gia công sửa chữa nhiều Bảng 9. Kết luận từ độ phân cách [3] 2.6 Độ tin cậy của bài trắc nghiệm 2.6.1 Định nghĩa độ tin cậy Độ tin cậy của bài trắc nghiệm là hệ số tương quan của tỉ lệ trả lời đúng/sai giữa các lần trắc nghiệm bằng các đề trắc nghiệm tương đương [3]. Độ tin cậy của các điểm số đối với bài trắc nghiệm giúp ta biết được trắc nghiệm đã đo lường cái mà nó định đo tốt đến mức nào. Điều này có nghĩa là nếu cùng những học sinh đó, ta cho làm cùng một bài trắc nghiệm lần thứ hai, thì kết quả thu được sẽ gần giống nhau đến mức nào. Độ tin cậy không phải là một thuộc tính của tự thân bài trắc nghiệm mà là thuộc tính của bài trắc nghiệm khi nó được đem ra áp dụng với nhóm thí sinh nào đó. Bài trắc nghiệm càng thích hợp với mức độ khả năng của nhóm bao nhiêu thì độ tin cậy của các điểm số lại càng cao. Khả năng của các phần tử trong nhóm càng phân tán rộng thì độ tin cậy của các điểm số trên bài trắc nghiệm lại càng cao. Hệ số tương quan được sử dụng như là một số đo lường độ tin cậy. Một trong các đặc tính của hệ số tương quan là nó cung cấp cho ta một thứ đo lường Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 47 tương đối thay vì tuyệt đối về sự tương đồng giữa hai tập hợp điểm số của cùng một số người. Nếu sự khác biệt của các điểm số của cùng một người tương đối nhỏ so với sự khác biệt giữa các điểm số của những người khác nhau thì độ tin cậy của các điểm số về bài trắc nghiệm ấy sẽ cao. Nhưng ngược lại, nếu sự khác biệt giữa các điểm số của cùng một người tương đối lớn so với sự khác biệt giữa những người khác nhau thì độ tin cậy sẽ thấp. Ta cần phải có hai số đo lường độc lập cho mỗi phần tử trong nhóm và các số đo lường này được lấy từ những bài trắc nghiệm tương đương về cùng một đặc điểm (khả năng) nào đó. 2.6.2 Các phương pháp tính độ tin cậy của bài trắc nghiệm Có nhiều phương pháp nhằm có được những số đo lường độc lập cần thiết để phỏng định hệ số tin cậy của trắc nghiệm. Thông dụng nhất hiện nay là phương pháp phân đôi bài trắc nghiệm và phương pháp Kuder Richardson. Ngoài ra cũng còn một số phương pháp khác nữa như: phương pháp trắc nghiệm hai lần, phương pháp sử dụng các dạng trắc nghiệm tương đương… 2.6.2.1 Trắc nghiệm hai lần (test - retest) Phương pháp đơn giản nhất để có các số đo lường độc lập là ra một bài trắc nghiệm hai lần [1] với cùng một nhóm thí sinh, rồi tính hệ số tương quan giữa hai tập hợp điểm số của lần thứ nhất và lần thứ hai. Phương pháp này gặp phải một số chỉ trích: ™ Như ta đã biết, một tập hợp các câu hỏi trong bài trắc nghiệm chỉ là một mẫu trong một “dân số” rất lớn các câu trắc nghiệm có thể có được về khả năng ta muốn khảo sát. Nếu sử dụng một tập hợp các câu trắc nghiệm hai lần cho một nhóm thí sinh thì ta không thể nào biết được rằng các điểm số có thay đổi hay không và thay đổi bao nhiêu, nếu người ta sử dụng một tập hợp các câu hỏi khác với cùng nhóm thí sinh ấy. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 48 ™ Các giải đáp của thí sinh trong lần khảo sát thứ nhất không độc lập với các giải đáp của họ trong lần thứ hai. Các giải đáp ở lần thứ hai có thể bị ảnh hưởng do thí sinh còn nhớ lại lối giải đáp của mình trong lần thứ nhất, hay do những kinh nghiệm đã thu thập được sau lần khảo sát thứ nhất. ™ Nếu có khoảng thời gian giữa lần khảo sát thứ nhất và thứ hai thì các sai số đo lường có thể bị lẫn lộn với những thay đổi thật sự của học sinh về khả năng do quá trình học tập. 2.6.2.2 Các dạng trắc nghiệm tương đương (equivalent forms) Nếu ta có hai hay nhiều bài trắc nghiệm được soạn thảo làm sao cho các điểm số trên hai bài trắc nghiệm ấy tương đương [1] với nhau, và nếu mỗi học sinh trong nhóm đều làm cả hai bài trắc nghiệm, thì hệ số tương quan giữa hai tập hợp điểm số về hai bài ấy sẽ là số phỏng định hệ số tin cậy của chúng. Nhưng việc soạn thảo những bài trắc nghiệm tương đương như vậy rất công phu và phức tạp, cho nên việc tính hệ số tin cậy theo cách này rất ít khi sử dụng. 2.6.2.3 Phương pháp phân đôi bài trắc nghiệm (split halves method) Một bài trắc nghiệm duy nhất được phân ra thành hai nửa tương đương. Hai nửa này được xem như là hai bài trắc nghiệm phụ và các điểm số của chúng là những điểm số độc lập cần thiết để tính độ tin cậy. Thông thường, người ta phân bài trắc nghiệm ra hai nửa theo các câu mang số chẵn và các câu mang số lẻ. Sau đó, người ta tính hệ số tương quan giữa điểm số các câu lẻ (X) với điểm số các câu chẵn (Y) theo công thức [3]: rxy = ]Y)( - Y][NX)( - X[N 2222 ∑∑∑∑ YX ∑∑∑ - XYN Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 49 Nhưng đó chỉ là hệ số tương quan giữa hai bài trắc nghiệm được rút ngắn lại chỉ còn một nửa. Để có một số phỏng định độ tin cậy của toàn bài trắc nghiệm, người ta còn phải điều chỉnh hệ số tương quan giữa hai bài trắc nghiệm ngắn ra thành hệ số tương quan của một bài trắc nghiệm dài gấp đôi. Điều này có thể thực hiện được bằng công thức Spearman – Brown. Công thức tổng quát của Spearman – Brown [3] được sử dụng để tiên đoán sự gia tăng độ tin cậy bằng cách tăng chiều dài của bài trắc nghiệm: Trong đó: n là hệ số độ dài của bài trắc nghiệm. rs là hệ số tương quan Khi ta cần tiên đoán độ tin cậy của một bài trắc nghiệm dài gấp đôi như trong trường hợp phỏng định độ tin cậy theo phương pháp phân đôi bài trắc nghiệm thì công thức tính sẽ như sau: Trong đó: • rxy là hệ số tương quan giữa các điểm số chẵn (X) và các điểm số lẻ (Y) đã tính ở trên (hay độ tin cậy của một nửa bài trắc nghiệm). • r là độ tin cậy của toàn bài trắc nghiệm. Thí dụ: Một bài trắc nghiệm sẽ được phân đôi thành 2 bài trắc nghiệm ngắn mang những câu hỏi số chẵn và những câu hỏi số lẻ. Có 11 thí sinh làm 2 bài trắc nghiệm ngắn trên, gọi: ™ X: tổng số điểm của một thí sinh làm bài trắc nghiệm câu hỏi lẻ ™ Y: tổng số điểm của một thí sinh làm bài trắc nghiệm câu hỏi chẵn Các số điểm của mỗi thí sinh như sau: Thí sinh X Y X2 Y2 XY 1 11 8 121 64 88 rn = nrs (n – 1)rs + 1 r = 2rxy rxy + 1 Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 50 2 8 0 64 0 0 3 9 8 81 64 72 4 14 11 196 121 154 5 12 14 144 196 168 6 7 6 49 36 42 7 18 11 324 121 198 8 6 8 36 64 48 9 6 9 36 81 54 10 6 3 36 9 18 11 5 10 25 100 50 Tổng 102 88 1112 856 892 Bảng 10. Điểm số của mỗi thí sinh 2.6.2.4 Công thức Kuder – Richardson Phương pháp tính độ tin cậy thông dụng nhất hiện nay là áp dụng công thức Kuder – Richardson [1]: Trong đó: • k : Số câu hỏi trong bài trắc nghiệm. rxy = ]Y)( - Y][NX)( - X[N 2222 ∑∑∑∑ YX ∑∑∑ - XYN = 11 x 892 – 102 x 88 ]88 - 856 x ][11102 - 1112 x 11[ 22 = 437 209 r = 2rxy rxy + 1 = 2 x 437 209 437 209 + 1 = 0.647 Độ tin cậy toàn bài trắc nghiệm: r = kk – 1 ) - (1 2 2 i σ σ∑ Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 51 • 2iσ : Biến lượng (độ lệch tiêu chuẩn bình phương) của mỗi câu trắc nghiệm. • 2σ : Biến lượng của bài trắc nghiệm, tức biến lượng điểm của các cá nhân trong nhóm về toàn thể bài trắc nghiệm. Kuder – Richardson cũng đưa ra công thức khác suy ra từ công thức trên khi câu trắc nghiệm làm đúng được tính là 1 và câu làm sai tính là 0. Công thức này được gọi là công thức Kuder – Richardson 20 [1]. Trong đó: • k : Số câu hỏi trong bài trắc nghiệm. • p : Tỉ lệ số trả lời đúng cho một câu trắc nghiệm (Độ khó câu trắc nghiệm). • q : Tỉ lệ số trả lời sai cho một câu trắc nghiệm. • 2σ : biến lượng của bài trắc nghiệm, tức biến lượng điểm của các cá nhân trong nhóm về toàn thể bài trắc nghiệm. Trong đó: • N : Số thí sinh tham gia làm bài trắc nghiệm. • Y : Tổng điểm bài làm của mỗi thí sinh Thí dụ: Bài trắc nghiệm gồm 10 câu, có 10 thí sinh dự thi • Tổng điểm bài làm của các thí sinh như sau: Thí sinh Tổng điểm (Y) Y2 1 9 81 2 10 100 3 8 64 r = kk – 1 ) pq - 1( 2σ ∑ 2σ = N 2Y∑ - ( Y∑ )2 N(N - 1) Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 52 4 6 36 5 4 16 6 6 36 7 3 9 8 3 9 9 4 16 10 5 25 Tổng 58 392 Bảng 11. Điểm bài làm của thí sinh • Độ khó của các câu trắc nghiệm: Câu Độ khó (p) q = 1 - p pq 1 0.7 0.3 0.21 2 0.8 0.2 0.16 3 0.7 0.3 0.21 4 0.6 0.4 0.24 5 0.6 0.4 0.24 6 0.5 0.5 0.24 7 0.3 0.7 0.21 8 0.4 0.6 0.24 9 0.5 0.5 0.25 10 0.7 0.3 0.21 Tổng 2.22 Bảng 12. Tính pq 2σ = N 2Y∑ - ( Y∑ )2 N(N - 1) = 10 x 392- 582 10 x 9 = 6.18 r = kk – 1 ) pq - 1( 2σ ∑ = 10 9 ) 18.6 2.22 - 1( = 0.71 Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 53 2.6.3 Kết luận từ độ tin cậy Độ tin cậy r Kết luận Trên 0.80 Bài trắc nghiệm đáng tin cậy Trên 0.70 Bài trắc nghiệm có độ tin cậy tạm chấp nhận Từ 0.50 đến 0.70 Bài trắc nghiệm có độ tin cậy không cao, chắc chắn có nhiều câu hỏi cần phải chỉnh sửa Bảng 13. Kết luận từ độ tin cậy [3] Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 54 Chương 3. Phân tích 3.1 Phân tích hiện trạng Hiện nay, qui trình từ lúc soạn thảo cho đến lúc thi và chấm bài trắc nghiệm được tổ chức như sau : - Các giáo viên được chỉ định thực hiện việc soạn các câu trắc nghiệm. - Các giáo viên nộp về trung tâm, trung tâm tập hợp lại các câu hỏi - Để thành lập đề thi, trung tâm sẽ chọn ra các câu hỏi theo một yêu cầu, tiêu chí, và các câu hỏi sẽ được chọn lọc sẽ được xáo trộn để tạo ra các đề thi khác nhau. - Trung tâm thiết kế ra các bảng trả lời, các bảng đáp án phục vụ cho việc chấm thi. - Trung tâm nhận về kết quả thi của các thí sinh và thực hiện công việc đánh giá các câu trắc nghiệm và đề thi đã phát sinh. Hầu hết các giai đoạn của qui trình trên đều thực hiện bằng tay, nhất là các giai đoạn chọn câu hỏi, xáo trộn câu hỏi và đánh giá. Chính vì thế công việc hết sức khó khăn, phức tạp . 3.2 Xác định yêu cầu 3.2.1 Yêu cầu chức năng Hệ thống được xây dựng hỗ trợ cho các nhóm người sử dụng như sau : Đối với giáo viên soạn đề thi : - Soạn câu trắc nghiệm trên máy tính và lưu vào tập tin Word. o Mẫu nhập : Mẫu 1(xem ở phần phụ lục) - Gửi các câu trắc nghiệm đã soạn thảo đến cho bộ phận quản lý của ngân hàng câu hỏi. Đối với bộ phận trung tâm quản lý ngân hàng câu hỏi : - Nhận câu trắc nghiệm đã được soạn từ các giáo viên. Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học 55 - Hiệu chỉnh lại các lỗi và nhập các câu trắc nghiệm vào ngân hàng. - Nhận các yêu cầu về đề thi từ Bộ phận ra đề thi và xây dựng dàn bài trắc nghiệm dựa trên các yêu cầu đó hoặc nhận trực tiếp dàn bài trắc nghiệm. o Qui định : các