Pythonデータ分析実践模擬試験第4回問33・7章テキスト情報の処理（正規化と前処理）

ストップワードと小文字化

次のコードを実行したときの出力として、正しいものを1つ選べ。

from sklearn.feature_extraction.text import CountVectorizer
v = CountVectorizer(stop_words="english").fit(["The Cat", "the dog"])
print(v.get_feature_names_out().tolist())

A
['Cat', 'The', 'dog', 'the']
B
['cat', 'dog']
C
['cat', 'dog', 'the']
D
['The Cat', 'the dog']

正解と解説を見る

正解：B

CountVectorizer は既定で小文字化する。stop_words で、頻出するが意味の薄い語を除ける。

順	実行する行	実行後の変数
1	`from sklearn.feature_extraction.text import C…`	—
2	`v = CountVectorizer(stop_words="english").fit…`	—
3	`print(v.get_feature_names_out().tolist())`	—
結果	実際の出力	['cat', 'dog']

A
誤り。小文字にそろえられ、the は除かれる。
B
正しい。大文字小文字を区別せず小文字にそろえ、ストップワード（the）が除かれる。
C
誤り。the はストップワード。
D
誤り。単語に分けられる。

学習のポイント：日本語では、形態素解析のあとで同様の処理を行う。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公式に示された出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人Pythonエンジニア育成推進協会の公式サービスではありません。