Phân loại câu hỏi kiểu “what” sử dụng nhiều loại đặc trưng - Nguyễn Văn Tú

81 TẠP CHÍ KHOA HỌC Khoa học Tự nhiên và Công nghệ, Số 6 (9/2016) tr 81 - 89 PHÂN LOẠI CÂU HỎI KIỂU “WHAT” SỬ DỤNG NHIỀU LOẠI ĐẶC TRƯNG Nguyễn Văn Tú Khoa Toán - Lý - Tin, Trường Đại học Tây Bắc Tóm tắt: Phân loại câu hỏi là một thành phần quan trọng trong các hệ thống hỏi đáp tự động. Nhiệm vụ chính của phân loại câu hỏi là dự báo kiểu thực thể của câu trả lời của các câu hỏi viết bằng ngôn ngữ tự nhiên. Trong các hệ thống hỏi đáp tự động, các câu hỏi với từ để hỏi What chiếm phần lớn, nhưng việc phân loại các câu hỏi này lại có nhiều khó khăn hơn so với việc phân loại các câu hỏi khác. Trong bài báo này chúng tôi đề xuất việc trích rút các đặc trưng phù hợp nhằm phân loại câu hỏi What đạt độ chính xác cao. Chúng tôi cũng đề xuất sử dụng mẫu câu hỏi như là một đặc trưng mới để kết hợp với các đặc trưng khác trong phân loại câu hỏi. Chúng tôi đã kiểm tra những đề xuất của mình bằng cách sử dụng bộ phân loại Support Vector Machine trên bộ dữ liệu TREC và đã đạt được độ chính xác phân loại câu hỏi What cao hơn so với những nghiên cứu trước đó trên cùng nguyên tắc phân loại và tập dữ liệu. Từ khóa: Phân loại câu hỏi, hệ thống hỏi đáp, mẫu câu hỏi, máy hỗ trợ vectơ. 1. Tổng quan Hệ thống hỏi đáp tự động đã trở thành hướng nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên [4,9]. Mục đích của các hệ thống hỏi đáp tự động là tìm kiếm câu trả lời chính xác và ngắn gọn cho những câu hỏi viết bằng ngôn ngữ tự nhiên thay vì trả về một danh sách các tài liệu liên quan đến câu hỏi như trong các máy tìm kiếm. Phân loại câu hỏi là một thành phần quan trọng trong các hệ thống hỏi đáp tự động. Nhiệm vụ chính của phân loại câu hỏi là dự báo kiểu thực thể của câu trả lời của các câu hỏi viết bằng ngôn ngữ tự nhiên. Có nhiều cách tiếp cận khác nhau để phân loại câu hỏi như: tiếp cận dựa trên luật [2,3], tiếp cận dựa trên học máy [1,7,10]. Trong nghiên cứu của mình, chúng tôi sử dụng tiếp cận dựa trên học máy với việc sử dụng nhiều đặc trưng và sử dụng mẫu câu hỏi (Question pattern) như là một đặc trưng mới để kết hợp với các đặc trưng đã có. Chúng tôi nhận thấy rằng khi sử dụng mẫu câu hỏi như là một đặc trưng và kết hợp với các đặc trưng từ vựng, cú pháp, ngữ nghĩa khác có thể cải thiện đáng kể độ chính xác của phân loại câu hỏi. Chúng tôi đã kiểm tra những đề xuất của mình bằng cách sử dụng bộ phân loại Support Vector Machine trên bộ dữ liệu TREC và đã đạt được độ chính xác phân loại câu hỏi What cao hơn so với những nghiên cứu trước đó trên cùng nguyên tắc phân loại và tập dữ liệu. 2. Một số vấn đề cơ bản về phân loại câu hỏi 2.1. Nguyên tắc phân loại câu hỏi Ngày nhận bài: 22/3/2016. Ngày nhận đăng: 25/9/2016 Liên lạc: Nguyễn Văn Tú, e - mail thuandhtb@gmail.com 82 Một tập các loại câu hỏi (các lớp) thường được đại diện như là nguyên tắc phân loại câu hỏi. Các nguyên tắc phân loại câu hỏi khác nhau được đề xuất trong các công trình nghiên cứu khác nhau, nhưng hầu hết trong các nghiên cứu gần đây đều dựa trên nguyên tắc phân loại hai lớp được đề xuất bởi Li và Roth (2002)1 [6]. Nguyên tắc phân loại này bao gồm 6 lớp thô và 50 lớp mịn. Bảng 1 là danh sách các lớp theo nguyên tắc phân loại này. Bảng 1. Các lớp câu hỏi thô và mịn Lớp câu hỏi thô Lớp câu hỏi mịn ABBREVIATION Abbreviation, expression ENTITY Animal, body, color, creative, currency, dis.med, event, food, instrument, lang, letter, other, plant, product, religion, sport, substance, symbol, technique, term, vehicle, word DESCRIPTION Definition, description, manner, reason HUMAN Group, individual, title, description LOCATION City, country, mountain, other, state NUMERIC Code, count, date, distance, money, order, other, period, percent, speed, temperature, size, weight 2.2. Thuật toán phân loại câu hỏi Có nhiều bộ phân loại khác nhau đã được sử dụng trong phân loại câu hỏi như: Support Vector Machine, Naive Bayesian, Maximum Entropy Models, Sparse Network of Winnows, Tuy nhiên trong các bộ phân loại đó thì Support Vector Machine với hàm nhân tuyến tính được xem là hiệu quả hơn cả [1,3,8] vì trong vấn đề phân loại câu hỏi các câu hỏi được biểu diễn trong không gian có số chiều rất lớn, điều này có thể được phân loại tốt bởi Support Vector Machine. Chính vì vậy trong nghiên cứu của mình, chúng tôi sử dụng bộ phân loại Support Vector Machine với hàm nhân tuyến tính. 2.3. Hiệu suất trong phân loại câu hỏi Thông thường hiệu suất của bộ phân loại câu hỏi được đo bằng việc tính toán chính xác trong đó phân loại vào một tập kiểm tra cụ thể. Độ chính xác (accuracy) của bộ phân loại câu hỏi được định nghĩa như sau: Ngoài ra còn có độ chính xác của bộ phân loại trên một lớp cụ thể precision. Precision của một bộ phân loại trên một lớp cụ thể c được định nghĩa như sau: Đối với các hệ thống trong đó một câu hỏi chỉ có thể thuộc về một lớp, một câu hỏi được phân loại đúng nếu như nhãn dự báo là tương tự như nhãn đúng. Nhưng đối với các hệ thống mà cho phép một câu hỏi được phân loại vào nhiều hơn một nhãn lớp 1 83 [9,10], một câu hỏi được phân loại đúng nếu một trong các nhãn lớp dự đoán là tương tự với nhãn đúng. 3. Trích rút các đặc trưng cho phân loại câu hỏi Các đặc trưng trong phân loại câu hỏi có thể được phân thành 3 loại khác nhau: các đặc trưng về từ vựng, các đặc trưng về cú pháp và các đặc trưng về ngữ nghĩa. 3.1 Trích rút các đặc trưng từ vựng Các đặc trưng từ vựng của một câu hỏi thường được trích rút dựa trên ngữ cảnh các từ của câu hỏi, nghĩa là, các từ đó xuất hiện trong một câu hỏi. Trong phân loại câu hỏi, một câu hỏi được biểu diễn giống như sự biểu diễn tài liệu trong mô hình không gian vectơ. Một câu hỏi q có thể được biểu diễn như sau: q = {(t1, f1), , (tp, fp)} trong đó ti là từ thứ i trong câu hỏi q và fi là tần số xuất hiện của ti trong câu hỏi q. Bảng 2 là danh sách các đặc trưng từ vựng của câu hỏi “Who was elected president of South Africa in 1994 ?”. Bảng 2. Ví dụ về các đặc trưng từ vựng Tên đặc trưng Đặc trưng Unigram {(Who, 1) (was, 1) (elected, 1) (president, 1) (of, 1) (South, 1) (Africa, 1) (in, 1) (1994, 1) (?, 1)} Bigram {(Who-was, 1), (was-elected, 1), (elected-president, 1), (president-of, 1), (of-South, 1), (South-Africa, 1), (Africa-in, 1), (in-1994, 1), (1994-?, 1)} Trigram {( Who-was-elected, 1), (was-elected-president, 1), , (in-1994-?, 1)} Word-Shapes {(lowercase, 5) (mix, 3) (digit, 1) (other, 1)} 3.2 Trích rút các đặc trưng cú pháp Các đặc trưng cú pháp có thể được trích rút dựa vào việc phân tích cấu trúc cú pháp của câu hỏi. Tagged Unigrams Tagged Unigrams cho biết thẻ từ loại của mỗi từ trong câu hỏi như NN (Noun - danh từ), NP (Noun Phrase - cụm danh từ), VP (Verb Phrase - cụm động từ), JJ (adjective - tính từ), Ví dụ câu hỏi sau “Who was elected president of South Africa in 1994 ?” với đặc trưng Tagged Unigrams của nó: {Who_WP, was_VBD, elected_VBN, president_NN, of_IN, South_NNP, Africa_NNP, in_IN, 1994_CD, ?_.} Head Word Một head wor thường được định nghĩa như là các từ khóa hoặc từ trung tâm trong một câu. Nó được xác định dựa trên cây phân tích cú pháp của câu đầu vào. Như đã đề cập trong [3], head word là những từ chứa thông tin quan trọng cho việc xác định các đối tượng mà câu hỏi đó đang tìm kiếm. Do đó, việc xác định head word một cách chính xác có thể cải thiện đáng kể độ chính xác phân loại vì nó là từ thông tin nhất trong câu hỏi. Ví dụ cho câu hỏi “What is the oldest city in Spain ?” head word là “city”. Từ “city” trong câu hỏi này có thể có đóng góp cao cho bộ phân loại để phân loại câu hỏi 84 này là “LOCATION: city”. Bảng 3 là danh sách một số câu hỏi từ tập dữ liệu TREC cùng với nhãn lớp của chúng. Bảng 3. Danh sách các câu hỏi từ tập dữ liệu TREC cùng các nhãn lớp của nó. Head word của mỗi câu hỏi là từ được gạch chân Câu hỏi Nhãn lớp What city has the zip code of 35824 ? LOCATION: city Who developed the vaccination against polio ? HUMAN: individual Who invented the slinky ? HUMAN: individual George Bush purchased a small interest in which baseball team ? HUMAN: group Mẫu câu hỏi (Question Pattern) Qua nghiên cứu tập dữ liệu TREC chúng tôi nhận thấy một số câu hỏi không có đặc trưng head word. Ví dụ đối với câu hỏi “What is biosphere ?” không có đặc trưng head word nào phù hợp. Để định nghĩa một đặc trưng thay thế cho head word của câu hỏi chúng tôi đề xuất sử dụng mẫu câu hỏi như một kiểu đặc trưng từ vựng. Mỗi câu hỏi sẽ được ánh xạ tới một mẫu câu hỏi và sau đó sử dụng mẫu tương ứng như là một đặc trưng dùng để phân loại. Bảng 4 liệt kê danh sách một số mẫu câu hỏi2. Bảng 4. Ví dụ về một số mẫu câu hỏi Mẫu câu hỏi Nhãn lớp What (causes|caused) DESCRIPTION:reason How is .* defined DESCRIPTION:definition Where .* (M|m)ountai(n|ns) LOCATION:mountain How much .* weight NUMERIC:weight 3.3. Trích rút các đặc trưng ngữ nghĩa Các đặc trưng ngữ nghĩa là hữu ích cho các trường hợp dữ liệu thưa thớt. Từ khái niệm ngữ nghĩa mức độ cao hơn chúng ta có thể có được mối quan hệ giữa các từ khác nhau hay nói cách khác chúng ta có thể có được sự giống nhau giữa các từ. Có một số cách để trích xuất thông tin ngữ nghĩa và thiết kế đặc trưng ngữ nghĩa, như dưới đây. Hypernyms WordNet là một cơ sở dữ liệu từ vựng của các từ trong tiếng Anh, nó cung cấp một hệ thống thứ bậc của từ vựng mà kết hợp một từ với các khái niệm ngữ nghĩa mức cao hơn gọi là hypernyms. Ví dụ hypernyms của từ “city” là “municipality”. Related Words Đặc trưng ngữ nghĩa khác mà chúng tôi sử dụng là related words dựa trên ý tưởng của Li và Roth [7]. Họ định nghĩa một nhóm các từ, mỗi nhóm từ biểu diễn bởi một tên. Nếu một từ trong câu hỏi xuất hiện trong một hoặc nhiều nhóm, loại tương ứng của nó sẽ được bổ sung vào vectơ đặc trưng. Cho ví dụ nếu một trong số các từ {birthday, birthdate, day, decade, hour, week, month, year} xuất hiện trong câu hỏi, sau đó tên loại của nó, date sẽ được thêm vào vectơ đặc trưng. 2 https://qa.l2f.inesc-id.pt/wiki/images/6/6a/QuestionPatterns.txt 85 Question Category Sử dụng hệ thống phân cấp WordNet để tính toán độ tương tự của head word của câu hỏi với mỗi lớp. Lớp với độ tương tự cao nhất sẽ được xem xét như là một đặc trưng và được bổ sung vào vectơ đặc trưng. Xét câu hỏi: “What American composer wrote the music for “West Side Story” ?”. Head word của câu hỏi này là “composer”. Để tìm đặc trưng question category, xem sét sự giống nhau của từ “composer” với tất cả các lớp câu hỏi. Lớp nào với sự giống nhau cao nhất sẽ được thêm vào vectơ đặc trưng. Trong ví dụ này, lớp giống nhau cao nhất là “individual” và do đó đặc trưng loại câu hỏi sẽ là {(individual, 1)}. Query Expansion Đặc trưng query expansion mà về cơ bản rất giống đặc trưng hypernym. Như chúng tôi đã trình bày trước đó, chúng ta thêm hypernym của head word vào vectơ đặc trưng với các từ lấy từ hệ thống phân cấp WordNet. Để đánh giá vai trò của các từ mới thêm này, người ta định nghĩa một tham số trọng số cho các từ mới thêm này. Bảng 5 liệt kê danh sách các đặc trưng ngữ nghĩa được thảo luận trong phần này cho câu hỏi “What river flows between Fargo, North Dakota and Moorhead, Minnesota ?”. Bảng 5. Ví dụ về các đặc trưng ngữ nghĩa Tên đặc trưng Đặc trưng Hypernyms {(river, 1) (stream, 1) (body-of-water, 1) (thing, 1) (physical-entity, 1) (entity, 1)} Related Words {(rel:What, 1) (rel:list.tar, 2) (rel:loca, 2)} Question Category {(other, 1)} Query Expansion {(river, 1) (stream, 0.6) (body-of-water, 0.36) (thing, 0.22) (physical-entity, 0.13) (entity, 0.08)} 4. Các thực nghiệm 4.1 Tập dữ liệu Để thực hiện các thực nghiệm của mình, chúng tôi sử dụng bộ dữ liệu chuẩn TREC3 và trích rút các đặc trưng cơ bản từ mỗi câu hỏi bao gồm: Unigrams (U), Bigrams (B), Trigram (Tri), Word-Shapes (WS), Tagged Unigrams (TgU), Head-Word (H), Hypernyms (HY), Query-Expansion (QE), Question-Category (QC), Related- Words (R), Question-Pattern (QP). Tập dữ liệu huấn luyện bao gồm 5500 câu hỏi đã gán nhãn. Tập dữ liệu dùng để kiểm tra gồm 343 câu hỏi với từ để hỏi What trong tổng số 500 câu hỏi độc lập đã gán nhãn. Chúng tôi cũng sử dụng nguyên tắc phân loại của Li và Roth (2002) đã được giới thiệu trong phần 2.1. Bảng 6 trình bày các loại câu hỏi trong tập dữ liệu kiểm tra và độ chính xác của chúng trong phân loại khi chỉ sử dụng đặc trưng Unigram. 3 86 Bảng 6. Số lượng mỗi loại câu hỏi và độ chính xác phân loại trong tập dữ liệu kiểm tra TREC Câu hỏi với từ để hỏi Số lượng Độ chính xác phân loại lớp mịn (%) What 343 75,80 Which 6 100 Where 26 92,31 When 26 100 Why 4 100 Who 47 93,62 How 33 87,88 Câu hỏi khác 15 53,33 Từ Bảng 6 cho thấy số lượng câu hỏi với từ để hỏi What chiếm phần lớn (68.6%) nhưng độ chính xác phân loại lại chỉ đạt 75.8%, thấp hơn nhiều so với các câu hỏi với các từ để hỏi khác. Chính vì vậy để nâng cao độ chính xác trong phân loại câu hỏi trước tiên cần nâng cao độ chính xác trong phân loại câu hỏi với từ để hỏi What. 4.2. Các thực nghiệm Trong thực nghiệm thứ nhất chúng tôi muốn kiểm tra sự đóng góp của đặc trưng từ vựng mà chúng tôi đã trình bày trong mục 3.1. Các kết quả của thực nghiệm này được cho trong Bảng 7. Bảng 7. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng từ vựng Tập đặc trưng Độ chính xác phân loại Lớp thô (%) Lớp mịn (%) Unigrams (U) 83,67 75,80 Bigrams (B) 82,22 69,68 Trigram (Tri) 59,18 52,77 Word-Shapes (WS) 44,32 36,44 U + B + Tri 85,71 74,64 U + B + WS 87,46 75,51 U + B + Tri + WS 88,05 75,22 Trong thực nghiệm thứ hai chúng tôi muốn kiểm tra sự đóng góp của đặc trưng cú pháp mà chúng tôi đã trình bày trong mục 3.2. Các kết quả của thực nghiệm này được cho trong bảng 8. Bảng 8. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng cú pháp Tập đặc trưng Độ chính xác phân loại Lớp thô (%) Lớp mịn (%) Tagged Unigrams (TgU) 82,80 76,09 Head-Word (H) 45,48 41,69 Question-Pattern (QP) 50,44 40,23 87 H + QP 77,84 72,89 TgU + H + QP 85,13 78,43 Trong thực nghiệm thứ ba chúng tôi muốn kiểm tra sự đóng góp của đặc trưng ngữ nghĩa mà chúng tôi đã trình bày trong mục 3.3. Các kết quả của thực nghiệm này được cho trong Bảng 9. Bảng 9. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng ngữ nghĩa Tập đặc trưng Độ chính xác phân loại Lớp thô (%) Lớp mịn (%) H + Hypernyms (HY) 79,01 43,44 H + Query-Expansion (QE) 78,43 44,32 H + Question-Category (QC) 78,40 55,39 H + Related-Words (R) 83,97 79,3 H + HY + QE + QC + R 82,80 82,80 H + QE + QC + R 83,67 82,81 Trong thực nghiệm thứ tư chúng tôi muốn kiểm tra sự đóng góp của sự kết hợp các tập đặc trưng từ vựng, cú pháp và ngữ nghĩa nhằm đạt được kết quả phân loại tốt nhất. Các kết quả của thực nghiệm này được cho trong Bảng 10. Bảng 10. Độ chính xác phân loại câu hỏi What khi sử dụng sự kết hợp của các đặc trưng từ vựng, cú pháp, ngữ nghĩa Tập đặc trưng Độ chính xác phân loại Lớp thô (%) Lớp mịn (%) U + B + WS + H + QP 87,46 78,43 U + B + WS + H + QE + QC + R 90,67 88,05 U + B + WS + H + QE + QC + R + QP 92,25 89,21 Từ các thực nghiệm trên chúng tôi nhận thấy đề xuất của chúng tôi coi mẫu câu hỏi như là một đặc trưng để phân loại sẽ cho hiệu quả cao hơn trong phân loại câu hỏi với từ để hỏi What trong cả lớp thô và lớp mịn. 5. So sánh với các nghiên cứu khác Bây giờ chúng tôi so sánh các kết quả nghiên cứu của mình với các kết quả nghiên cứu của các tác giả trước đó. Bảng 11. Bảng so sánh độ chính xác của các nghiên cứu khác nhau về phân loại câu hỏi. Các đặc trưng: Unigrams (U), Bigrams (B), Word-Shapes (WS), POS- tags (P), Head-Word (H), Hypernyms (HY),Query-Expansion (QE), Question- Category (QC), Synonyms (S), Name-Entities (NE), Related-Words (R), Question- Pattern (QP). Tác giả Bộ phân loại Đặc trưng Độ chính xác phân loại Lớp thô Lớp mịn Li and Roth (2004) [7] SEM U+P+HC+NE+R +S 85,79% Fangtao Li et al.(2008) CRF U+P+NE+HY 82,05% 88 [5] +Length Loni et al. (2011) [8] Linear SVM U+WS+B+H+QE +R+ QC 90,50% 86,20% Nghiên cứu của chúng tôi Linear SVM U+WS+B+H+R +QE+QC+QP 92,25% 89,21% Từ Bảng so sánh 11 cho thấy cách tiếp cận của chúng tôi cho độ chính xác phân loại cao nhất cho phân loại lớp thô và lớp mịn lần lượt là 92,25% và 89,21%. 6. Kết luận và hướng phát triển Chúng tôi đã trình bày một tiếp cận dựa trên học máy để phân loại câu hỏi với từ để hỏi What. Để huấn luyện một thuật toán học, chúng tôi đã trích rút một tập các đặc trưng tốt từ vựng, cú pháp và ngữ nghĩa. Chúng tôi cũng đề xuất sử dụng mẫu câu hỏi như một đặc trưng mới để kết hợp với các đặc trưng từ vựng, cú pháp và ngữ nghĩa. Các kết quả thực nghiệm đã chứng minh rằng các đề xuất của chúng tôi cho hiệu quả phân loại cao hơn so với các công trình nghiên cứu trước đó trên cùng nguyên tắc phân loại và tập dữ liệu. Chúng tôi cũng nhận thấy rằng việc kết hợp của tất cả các đặc trưng từ vựng, cú pháp và ngữ nghĩa của câu hỏi để phân loại là không cần thiết. Chính vì vậy trong nghiên cứu tiếp theo chúng tôi sẽ nghiên cứu làm thế nào để kết hợp các đặc trưng tốt hơn nhằm đạt được sự phân loại có độ chính xác cao hơn. TÀI LIỆU THAM KHẢO [1] Zhiheng Huang, Marcus Thint, and Zengchang Qin, 2008, Question classification using head words and their hypernyms, In Proceedings of the Conference on Empirical Methods in Natural Language Processing, (EMNLP ’08), pp 927-936. [2] David A. Hull, 199, Xerox TREC-8 question answering track report, In In Voorhees and Harman. [3] Vijay Krishnan, Sujatha Das, and Soumen Chakrabarti, 2005, Enhanced answer type inference from questions using sequential models, In Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing, HLT ’05, pp 315-322. [4] Wendy G. Lehnert, 1977, A conceptual theory of question answering, In Proceedings of the 5th international joint conference on Artificial intelligence, Volume 1, pp158-164. [5] Fangtao Li, Xian Zhang, Jinhui Yuan, and Xiaoyan Zhu, 2008, Classifying what-type questions by head noun tagging, In Proceedings of the 22nd International Conference on Computational Linguistics - Volume 1, COLING ’08, pp 481-488. [6] Xin Li and Dan Roth, 2002, Learning question classifiers, In Proceedings of the 19th international conference on Computational linguistics, COLING ’02, pp 1-7. [7] Xin Li and Dan Roth, 2004, Learning question classifiers: The role of semantic information, In Proc. International Conference on Computational Linguistics (COLING), pp 556-562. 89 [8] Babak Loni, Gijs van Tulder, Pascal Wiggers, David M.J. Tax, and Marco Loog, 2011, Question classification with weighted combination of lexical, syntactical and semantic features, In Proceedings of the 15th international conference of Text, Dialog and Speech, pp 243-250. [9] Dan Moldovan, Marius Pasca, Sanda Harabagiu, and Mihai Surdeanu, 2003, Performance issues and error analysis in an open-domain question answering system, ACM Trans, Inf. Syst., pp 133-154. [10] João Silva, Luísa Coheur, Ana Mendes, and Andreas Wichert, 2011, From symbolic to subsymbolic information in question classification, Artificial Intelligence Review, 35(2): pp 137-154. CLASSIFYING WHAT-TYPE QUESTIONS BY USING MULTIPLE FEATURE TYPES Nguyen Van Tu Faculty of Mathematic, Physics and Informatics, Tay Bac University Abstract: Question classification plays an important role in automatic question answering systems. The task of question classification is to predict the entity type for answering a natural language question. In automatic question answering systems, the questions with question word “What” accounts for the majority, but the classification of these questions is a lot more difficult than this of other questions. In this paper, we propose to extract the appropriate features to classify questions What-type with high accuracy. We also suggest a new feature type which we call question pattern and combining with other different features to question classification. We tested our proposed approach using a Support Vector Machines as the classifier and using TREC dataset and achieved classification what-type questions with higher accuracy than the previous studies on the same question taxonomy and dataset. Keywords: question classification, question answering systems, question pattern, support vector machines.