学生による評価
授業の最終日に、各ツールの効果に関する学生アンケートを実施した（有効回答者数201名）。アンケートの質問項目およびその回答結果を表1に示す。回答結果については、各質問項目について、①非常に効果的だと思う、②効果的だと思う、③あまり効果的ではないと思う、④全く効果的ではないと思う、の4段階で回答をしてもらい、そのうち、①および②を選択した回答者の割合を示している。
アンケートの自由記述欄では、各ツールの感想として、以下の意見が多数寄せられた。
- Hinako（雛形ひな子）により、段落記述の中心文の役割を意識するようになった
- ComiQlipにより、句読点の位置による不自然さ、文章の読みにくさやわかりにくさを意識するようになった
- Tomarigiにより、文章の形式誤りや修飾語の使い方、それらのクセを意識するようになった
- Hiyodoriにより、自身が作成した文章が、読み手へはどのように伝わるのかを意識するようになった
このように、学生は、各ツールの機能について一定の評価を与えると同時に、文章を意識して作成する習慣が身についたことが示された。さらに、授業全体を通じて、わかりやすい文章を書ける1ようになったとした学生が74%を占めた。
表1 学生アンケート（効果の実感）
| パラグラフ・ライティングはわかりやすい文章を書くのに有効な方法である＊ | 91% |
| 雛形ひな子は＊を習得するのに効果的である | 68% |
| ComiQlipの文章見直しへの効果 | |
| ・自動音読機能 | 73% |
| ・相手指定通信添削機能 | 67% |
| ・匿名通信添削機能 | 90% |
| Tomarigiの文章チェック機能の効果 | 89% |
| Hiyodoriを文章作成時の参考とした効果 | |
| ・自分の文章へのコメントを読むこと | 81% |
| ・他人の文章を読むこと | 82% |
| ・他人の文章へのコメントを読むこと | 77% |
2009年度（ツールを利用せず）と2010年度（ツールを利用）の比較
授業実践の教員評価として、文章作成支援ツールを利用せずにほぼ同様の内容を取り扱った2009年度の同授業での成果５と比較する。
2009年度はプリテストとポストテストとして、4月と7月に「小学生に携帯電話を持たせることの是非」をテーマにした小論文を二度課している。これらのテストについて、授業担当者3名が1組となって採点した結果、表2のとおり、文体（敬体、話し言葉の不使用）や体裁（段落の形式）、展開（パラグラフ・ライティング）、論理（一貫性、根拠の提示、冗長・無駄の排除、適切な接続詞）のいずれの学習項目についても授業の効果が認められたが、文法（１文内の整合性）においては非文法的な文の総数は必ずしも減少していない。
2009年度実施した文法の学習は、講義時に学生の実際の誤用例を元に作成した悪文修正問題の演習を行うというものであった。この演習形式は、問題文として取り上げられた学生にとっては個別単発的に効果があっても、他の学生や他の誤用の対策にはならなかった。
表2 教員評価比較
（2009・2010年度無作為抽出された35名の小論文）
| 年度 | 2009 | 2010 | ||
|---|---|---|---|---|
| 実施月 | 4月 | 7月 | 6月 | |
| 文の総数① | 416 | 644 | 502 | |
| 文法 | 非文法的文の総数② | 53 | 54 | 3 |
| ②／①＊100％ | 12.7 | 8.3 | 0.6 | |
| 文体 | 敬体使用者（％） | 29.1 | 0 | 2.9 |
| 話し言葉使用者（％） | 44.7 | 27.0 | 8.6 | |
| 体裁 | 段落不整合者（％） | 41.7 | 2.9 | 2.9 |
| 展開（評価点平均/100点） | 69.1 | 86.6 | 91.4 | |
| 論理（評価点平均/100点） | 88.3 | 91.9 | 92.9 | |
| 文字数（平均） | 548.9 | 784 | 627.8 | |
2010年度は、これらの学習項目の演習を、各種のツールを通して、自身の文章を利用する形式で行っている。表2に示すとおり、2010年度は2009年度と比較して、非文法的な文や話し言葉の使用といった文章の形式的な誤りが大幅に減少している。2009年度と2010年度での教授内容はほぼ同じであることから、４種のツールを利用した演習を行うことによる「意識」が非文法的な文の減少の大きな要因であると推測できる。
また、主観評価である展開や論理の評価点についても2010年度は全般的に好成績であった。この結果は、ツールの導入による、授業時間外での取り組みや、他者を意識して書く習慣が大きく影響したものと考えられる。さらに、文章の形式的な誤りが大幅に減少したことで、教員の添削時間が大きく短縮した。このこともツール導入の効果といえる。ただし、前者についてはさらに詳細な分析を、後者については定量的な評価を加えていくことで、より正確な裏付けを示す必要がある。