Summary
このプロトコルは、研究者や教育者に対して、学部統計クラスにおける指導前アプローチ(PS-I)の実装を導きます。また、PS-Iの有効性が異なる認知的および情動的素因を持つ学生の学習と動機の観点から測定されるこの実装の組み込み実験的評価についても説明する。
Abstract
今日では、生徒の反射的思考を奨励する方法は、様々な教育レベルの教師にとって主な関心事の1つです。STEM(科学、技術、工学、数学)のコースなど、高いレベルの反射を伴うタスクに直面する場合、多くの学生が困難を抱えています。多くはまた、そのようなコースに対する根深い不安と動機付けを持っています。これらの認知的および情動的な課題を克服するために、研究者は「指導前の問題解決」(PS-I)アプローチの使用を提案している。PS-Iは、後に授業で解決される問題に対する個別の解決策を生み出す機会を学生に与えることから成り立っています。これらのソリューションは、レッスン内容のプレゼンテーションと共に、次の指示段階で正規のソリューションと比較されます。このアプローチでは、学生は概念的理解を深め、異なるタスクやコンテキストに学習を移し、知識のギャップをより意識し、モチベーションを維持するのに役立つ以前の知識の個人的な構造を生成することが示唆されています。利点にもかかわらず、このアプローチは、学生がソリューション生成の初期段階で目的のない試行錯誤に多くの時間を費やす可能性があり、将来の学習に悪影響を及ぼす可能性のあるこのプロセスに不満を感じる可能性があるため、批判されています。さらに重要なことは、既存の学生の特徴がこのアプローチから利益を得る(または役立たない)方法についての研究はほとんどありません。現在の研究の目的は、学部生の統計学習に適用されるPS-Iアプローチの設計と実施、および学生の既存の違いを考慮した有効性を評価するために使用される方法論的アプローチを提示することです。
Introduction
教師が現在最も懸念している質問の一つは、学生の反省を刺激する方法です。この懸念は、多くの概念の抽象化が高度な反射を必要とするSTEMコース(科学、技術、工学、数学)などの数学的性質のコースで一般的ですが、多くの学生は純粋にメモリベースの方法1を通じてこれらのコースに近づいていると報告しています。また、概念1,2,3の表面的な学習を行うことがよくあります。しかし、学生が反省やディープラーニングのプロセスを適用する困難は、認知だけではありません。多くの学生は、これらのコース4、5に直面して不安と意欲を感じています。実際、これらの困難は学生の教育全体を通して持続する傾向があります 6.したがって、異なる素因に関係なく、深層学習のために学生を動機づけ、認知的に準備する教育戦略を探求することが重要です。
典型的な指導的アプローチを補完する戦略を見つけることは特に有用である。最も典型的なものの1つは直接指導です。直接指導とは、これらの概念に関する明確な情報を持つ新しい概念の導入から学生を完全に導き、その後、問題解決活動、フィードバック、議論、またはさらなる説明7、8などの統合戦略に従う。直接命令は、コンテンツ8、9、10を簡単に送信するのに有効です。しかし、多くの場合、学生は、コンテンツが自分の個人的な知識とどのように関連しているか、または動作する可能性があり、11ではない潜在的な手順など、重要な側面を熟考しません。したがって、学生に批判的に考えさせるため、補完的な戦略を導入することが重要です。
そのような戦略の1つは、インストラクション(PS-I)アプローチ12の問題解決であり、発明アプローチ11 または生産的失敗アプローチ13とも呼ばれる。PS-Iは、学生が概念に直接導入されていないという意味で直接的な指導とは異なり、その代わりに、学生が問題を解決するための手順について説明を得る前に、問題の個々の解決策を模索する典型的な直接指導活動の前に問題解決段階があります。
この最初の問題では、受講者は目標概念13を完全に発見することは期待されていません。学生はまた、認知過負荷14、15、16、さらには否定的な影響を感じることがあります17不確実性と考慮すべき多くの側面を持つ.ただし、このエクスペリエンスは重要な機能に関する批判的思考を促進できるため、長期的には生産的です。具体的には、最初の問題は、学生が知識18のギャップをより意識し、13をカバーするコンテンツに関連する予備知識を活性化し、個人的な知識7、17、19に基づいて学習する機会のためにモチベーションを高めることができます。
学習の面では、PS-Iの効果は、結果がディープラーニング指標20,21で評価される際に一般的に見られます。一般に、PS-Iを通じて学んだ学生と、学習した手順を再現する能力を指す手続き上の知識20,22の観点から直接指導を通して学んだ学生との間に違いは見つかっていない。しかし、一般にPS-Iを通る学生は、内容を理解することを意味する概念的知識7、19、23、およびこの理解を新しい状況に適用する能力を意味する7、15、19、24を移すという概念的知識の高等教育を示す。例えば、統計的変動に関するクラスの最近の研究では、このトピックの一般的な概念と手順についての説明を受ける前に統計的変動性を測定する独自の解を発明する機会を与えられた学生は、問題解決活動に関与する前に関連する概念と手順を直接研究することができた学生よりもクラスの最後に理解を深めました。しかし、いくつかの研究は、学習16、25、26またはモチベーション19、PS-Iと直接指導の選択肢の間の26、あるいは直接指導代替14、26でのより良い学習に違いが示されていない、と変動の潜在的な原因を考慮することが重要である。
PS-Iの実装の基礎となる設計機能は重要な特徴20です。体系的なレビュー20は、PS-I介入が対照的なケースで最初の問題を策定するか、学生の解決策に関する詳細なフィードバックを持つその後の指示を構築するかの2つの戦略のうちの少なくとも1つで実装された場合、直接指導の選択肢よりもPS-Iの学習上の利点がある可能性が高いことを発見した。対照的なケースは、いくつかの重要な特性11で異なる単純化された例で構成され(例では図1を参照)、学生が関連する特徴を特定し、最初の問題11、20の間に自分の解決策を評価するのに役立ちます。第2の戦略は、学生の解決策13に基づいて構築された説明を提供し、学生が生み出した解決策のアフォーダンスと限界に関するフィードバックを与えながら、学生が関連する機能に焦点を当て、自分の知識20のギャップを評価するのに役立ちますが、最初の問題解決段階が完了した後です(学生の典型的な解決策からの足場の例については図3を参照してください)。
これら2つの戦略、対照的なケース、学生の解決策に関する指導の構築に関する文献のサポートを考えると、実際の教育実践におけるPS-Iの組み込みを促進する際にそれらを考慮することが重要です。これが私たちのプロトコルの最初の目標です。このプロトコルは、これら2つの原則を組み込んだPS-I介入の材料を提供します。これは、適応可能でありながら、統計的変動に関する授業のために文脈化されるプロトコルであり、一般的にPS-I29の文献の対象集団である大学や高校生にとって非常に一般的なレッスンである。最初の問題解決段階は、各国の所得分配のための変動性対策を発明することで構成されており、これは多くの学習分野の学生になじみのある議論の余地のあるトピック30 です。次に、この問題の解決策を実際の例で学び、学生が作成した共通の解決策と組み込まれた実践問題を取り入れた講義のために教材を提供します。
私たちのプロトコルの第二の目標は、PS-Iの実験的評価を教育者や研究者が利用できるようにすることです。しかし、この実験的評価の条件は、変更に柔軟です。このプロトコルに記載された実験的評価は、一つのクラスの学生がPS-I条件の教材または直接指示条件の材料を同時に割り当てることができるので、通常のレッスンで適用することができる(図4)。この直接的な指導条件は研究や教育のニーズにも適応可能であるが、当初のプロトコルで説明したように、学生は、作業例を用いて目標概念に関する最初の説明を得ることから始まり、この知識を実践上の問題(PS-Iの学生が最初の問題に費やす時間を補うためにこの条件でのみ提示される)と、講義23で統合する。潜在的な適応は、講義から始めて、問題解決活動を行う学生を持つことが含まれます, PS-I条件7、13、19、26のためのより良い学習につながっているPS-Iを比較するための典型的な制御条件である。あるいは、制御条件は、最初に提案されたよりも直接的な指示アプローチのより単純化されたバージョンであるが、文献でより一般的であり、様々な結果をもたらし、PS-I15、24、およびこのタイプの直接指導条件14、26からより良い学習を示す他の研究を伴う講義段階に続く、作業例の探求に減らすことができる。
最後に、プロトコルの第3の目標は、異なる素因と認知能力を持つ学生がPS-I15からどのように利益を得ることができるかを評価するためのリソースを提供することです。これらの素因の評価は、一部の学生がSTEMコースでしばしば持っている否定的な素因と、場合によってはPS-Iがまだ否定的な反応を生み出すことができるという事実を考慮する場合に特に重要です14.しかし、これに関する研究はほとんどありません。
一方で、PS-Iは単なる正式な知識ではなく、個々のアイデアとの学習の関連付けを容易にするので、PS-Iは、低い学問レベル、能力の低い感情を持っている人、または主題13、27についての低いモチベーションを持っている学生をやる気にさせるのを助けることができると仮定することができます。ある研究は、習得志向の低い学生、すなわち、個人的な学習に関連する目標が少なく、27を学ぶ動機が高い学生よりもPS-Iの恩恵を受けていることを示した。一方、PS-Iに関わる際に、他のプロフィールを持つ学生が困難に遭遇する可能性があります。具体的には、メタ認知はPS-I31において重要な役割を果たしており、メタ認知能力の低い学生は、知識のギャップを認識したり、関連するコンテンツを見極めるのが困難なため、PS-Iの恩恵を受けなくなる可能性がある。また、PS-Iの初期段階は個々のソリューションの生産に基づいているため、能力が低く、特定の状況で様々な応答を生み出すのが困難な学生は、他の学生よりもPS-Iの恩恵を受けにくいかもしれません。プロトコルは、これらの素因を評価するための信頼性の高い機器を提示します (表 1) 他のものが考慮される場合があります。
要約すると、このプロトコルは、PS-I文献の受け入れられた原則に従うPS-I介入の実施を教育者および研究者が利用できるようにすることを目的としている。さらに、このプロトコルは、この介入の実験的評価を提供し、学生の認知的および動機付けの素因の評価を容易にする。これは、新しい技術や特定のリソースへのアクセスを必要としないプロトコルであり、研究や教育のニーズに基づいて変更することができます。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
このプロトコルは、人間との研究のためのヘルシンキ倫理原則の宣言に従いますが、これらの原則は、教育32の実際の設定内の研究を統合する追加の困難に適用されます。具体的には、学習条件の割り当ても参加の決定も、学生の学習機会に影響を及ぼす可能性はありません。また、評価を担当する教員であっても、生徒の機密性や匿名性は維持されます。議定書の目的、範囲、手順は、アストゥリアス公国(スペイン)の研究倫理委員会によって承認されています(参考:242/19)。
ユーザーが PS-I アプローチの実装にのみ関心がある場合は、ステップ 6 (参加者を制御条件に割り当てずに) とステップ 7 のみが関連します。それでも、ステップ5と9は、学生のための練習練習として追加することができます。ユーザーが実験評価にも関心を持っている場合は、ステップ 4、5、6、および 9 で個別に作業することが重要です。したがって、これらのステップでは、学生の座席が各学生の横に空きスペースが存在するように配置することをお勧めします。
利便性に応じて、ステップは単一のクラス セッション内で継続的に実装することも、別のクラス セッションの後続のステップで実装することもできます。
1. 研究目的・手順に関する学生向け情報
- 授業期間の10分をとって,生徒に学習について知らせます。
- 研究の一般的な目的、参加への同意の自由、自由に撤回する可能性があるという事実、データ処理における匿名性と機密性の保証を学生に明示的に説明する。
- 研究の一般的な目的は、異なる教育アプローチの有効性を探求することと、学生の認知的および情動的性質がこれらのアプローチの有効性に及ぼす影響を評価することであることを伝えます。
- 2 つの方法のいずれかに割り当てられますが、2 つの条件でカバーされるコンテンツは同じであることを伝えます。両方の条件で使用される活動は、学習の最後にすべての学生が利用できることを伝えます。
- 彼らは研究に参加する自由であり、彼らは彼らの学習機会や成績に影響を与えることなく、いつでも研究を離れることができることを知らせます。彼らは研究に参加したくない場合, 彼らはそれらを渡すことなく、学習活動を行うことができます.また、参加者がアンケートを完了している短時間の間に、非参加者は他の教材を研究することができます。
- 彼らの参加は匿名であり、機密性は常に維持されることを伝え、任意の識別番号を使用して、異なるセッションや活動間でデータを組み合わせます。
- インフォームド・コンセントフォームの2つのコピーを学生に提供します (付録 A) には、研究者の連絡先情報も含まれています。一つのコピーに署名してもらい、もう一方のコピーを自分で保管してもらいます。
注: このプロトコルは、親の許可が必要ない大学生を対象としています。これは、教育レベルを下げるために一般化することができます, 法的に未成年である学生のために, 親のインフォームドコンセントも必要になります. - 学生がプロトコルの後の段階で研究に追加された場合は、このセクションで説明されているインフォームド・コンセントを完了してから、研究に参加するように依頼します。
2. 他の記録と関連付けられていない識別番号を学生に提供する
- 学生の回答の匿名性を維持するために、ランダムに各学生に識別番号を割り当てます(例えば、ランダムな番号でバッグを準備し、各学生に1つを選ぶように頼み、各学生にウェブアプリケーションを通じてランダムな番号を電子メールで送信します)。プロトコルの後続の評価でアクセス可能な場所の番号をメモするように依頼します。
注:学生の回答を匿名で追跡できるオンラインアプリケーションを通じて調査を行う場合、これは必要ありません。
3. 認知・情動的素因と基礎的な人口統計データに関するアンケートの完了
- クラスの生徒全員にアンケートを管理するために、授業期間に10分を予約します。
- 実験に参加しないことを決定した学生に、他のコンテンツで個別に作業するなど、他の学習オプションを提供します。
- 生徒たちに自分の素因についてのアンケートを記入してもらい、これは 付録Bのアンケートを使用して行われるかもしれません。個別に働くように頼みます。
注:付録Bの一連のアンケートには、統計に対する態度調査における認知能力尺度(SATS-28)33、達成目標アンケート改訂34、メタ認知認識インベントリ35の認知尺度の調節、人口統計学的質問が含まれます。- 学生がアンケートを記入する順序に関連する潜在的な汚染物質の影響を制御するために、アンケートが提示される順序で異なるアンケートシートの異なるバージョンをランダムに手渡す。 付録B-1 では、異なる注文を持つ提案されたアンケートの異なる印刷版があります。
注:アンケートがデジタルで完了した場合は、異なる順序でリンクを作成し、クラスの生徒間の4つのリンクをランダムに配布します(例えば、アルファベット順で作成されたグループ間)。
- 学生がアンケートを記入する順序に関連する潜在的な汚染物質の影響を制御するために、アンケートが提示される順序で異なるアンケートシートの異なるバージョンをランダムに手渡す。 付録B-1 では、異なる注文を持つ提案されたアンケートの異なる印刷版があります。
- 学生にアンケートを完了するために7分を与えます。指示はアンケートに含まれており、追加の指示は必要ありません。
4. 異なる思考テストの管理
- このテストが対象となる場合は、クラスのすべての生徒に対する発散思考の流暢さを測定する代替使用タスク36、37を管理するために、クラス期間で10分かかります。
- 生徒一人一人に白紙を用意し,身分証明書を書いてもらいます。
- テストの指示を説明します。
- 共通の用途を持つオブジェクトが提供されることを伝えますが、できるだけ多くの用途を考え出す必要があります。
- 彼らに例を挙げなさい(例えば、私が一般的に読むために使用される新聞をあなたに提示する場合は、太陽からあなたを守るために一時的な帽子としてそれを使用したり、旅行バッグの底に並べるなど、代替用途を書かなければならない)38.
- テストの最初の項目を声に出して読み、黒板に書き込みます:「レンガのために考えることができる限り多くの用途を書く」。生徒に2分の時間を与えて答えを書く。2分が終わったら,生徒たちに紙を向こう側にひっくり返してもらいます。
- テストの2番目の項目を声に出して読み、黒板に「ペーパークリップに思い出すことができる限り多くの用途を書く」と書きます。生徒に2分の時間を与えて答えを書く。
- 2分が終わったら,生徒たちに書くのをやめてもらい,論文を集めるように言います。
5. これまでの学識事前試験の完了
- 「付録C」の前の学問知識事前テストを管理するために、クラス期間に15分を予約します。
注:事前テストは、ステップ67の後続の学習条件で学習される変動性にコンテンツを同化するために関連する中心的傾向についてです。この事前テストの管理とステップ6の間に、中央の傾向に関するクラスコンテンツを学生に与えるべきではありません。また、実験26の結果を汚染するPS-I効果を生じさせる可能性があるため、この事前試験を変動性を別の事前テストに置き換えるのも推奨しない。 - 事前テストを受講者に配布します。この時点から、個別に作業するように依頼します。
- 学生に10分を与え、事前テストを完了します。命令はテストに含まれており、これ以上の仕様は必要ありません。時間が経過したら、生徒たちに紙をひっくり返してあなたに渡してもらいます。
6. 2つの学習条件の割り当てと管理
- 同じ教室内で2つの学習条件を管理するには、授業期間の35分を要します。
注: 時間による信頼性エラーを防ぐため、手順 2 と 3 のアンケートとテストの完了からこの手順の間に 1 週間以内にすることをお勧めします。 - タスクブックが、2 つの条件の資料を含む適切に準備されていることを確認します。
注:一人当たりのGDPは、いくつかの理由でこれらの学習教材を文脈化するために選択されています:第一に、それは多くの学習領域からの学生になじみのある議論のトピック30 であり、第二に、それはレッスン中に議論される異なる変動性尺度(範囲、四分位数範囲、標準偏差、分散、および変動係数)の使用を可能にする比率変数です。- PS-I 条件の場合は、付録 D-1 に記載されている「付録 D-1: 不等式指数を作成するように求められる発明問題アクティビティ」に対応するタスク ブックを印刷します。この問題の解決策を学習できる「作業例」アクティビティ。
- 直接命令条件の場合は、 付録 D-1 に対応するタスク ブックを印刷します。この作業例と組み合わせた実践問題。
メモ:この状態の材料に含まれる練習上の問題がPS-I状態に存在しないことが重要です。PS-Iの学生が発明問題に費やした余分な時間を実験的に補償するために含まれています。PS-I設計の本質的な制限は、時間と材料の両方の点で同等性を制御するのが難しい点です。PS-I条件と制御条件が、教材が提示される順序でしか異なるデザイン(つまり、明示的な指示フェーズ の前 に問題を提示するか、まったく同じ明示的指示フェーズ の後 にまったく同じ問題を提示する)の設計においても、命令前に解決される問題は指示後よりも時間がかかると予想されるため、同等性は達成されません。このプロトコルは、直接的な指示条件に余分な材料を含めることによって、他の研究24と同様にこの問題を扱う。 - 2 番目のアクティビティに対応する書類 (クリップや付箋など) を結合して、各タスクブックの 2 つのアクティビティを分離し、最初のアクティビティを実行している間に 2 番目のアクティビティの内容を見ることができないようにします。
- この手順に従う手順を受講者に通知します。
- 割り当てられたタスクブックに応じて、2つの異なるアクティビティのペアを持ちますが、すべての学生は同じコンテンツを見て、レッスンの最後にすべてのアクティビティにアクセスできます。
- 最初のアクティビティを開始するタイミングと、2 番目のアクティビティに移動するタイミングが伝えられることを伝えます。また、2番目の活動の論文は、適切な時間の前に見ることを防ぐためにバインドされていることを伝えます。
- 失敗の恐れに関連する潜在的な欲求不満を減らすために、彼らはいくつかの活動が困難かもしれないが、彼らは学習機会39としてこれらの困難を見ることを試みるべきであることを伝えます。
- クラスの生徒に2つのタスクブックをランダムに割り当てる
注意: 学生が着席する場所に関連する汚染要因を防ぐために、タスクブックをクラスの異なる部分に均一に配布します。たとえば、クラスを歩き回ると、PS-I タスク ブックを 1 人の学生に渡し、次の受講者に直接指示タスク ブックを渡します。 - クラスのすべての生徒にタスクブックを配布したら,最初の活動に個別に取り組んでみるように依頼します。
- 最初の活動のために15分あることを生徒に伝えます。用紙に指示が含まれており、これ以上の一般的な指示は必要ありません。
- 質問に対して利用できることを伝えますが、タスクブックに含まれている内容以外のコンテンツを学生に提供することは避けてください。
注:特に発明問題を解決する学生のために、それは自分の知識11の開発を短縮することができるので、従来の解決策に向かってそれらを導かないようにします。代わりに、学生の質問11に対する3つの可能な回答を提案します:a)彼らが何をしているのかを説明するように求めることによって、彼ら自身のプロセスを明確にするのに役立ちます。b)彼らが他の国よりも不平等を持っていると思う国を尋ねることによって、彼らが彼らの直感で自分自身を導くのを助ける。c)は、彼らが見る違いを考慮する一般的なインデックスを生成するように求めることによって、活動の目標を理解するのを助ける、あなたは他の量的インデックスの例を提供することができます(例えば、「平均は、分布の中心値を計算するためのインデックスです」)。
- 最初のアクティビティの 15 分が終了したら、クリップまたは付箋を削除する必要がある対応する 2 番目のアクティビティに進むように受講者に依頼します。
- 2回目の活動に15分あることを伝えます。用紙に指示が含まれており、追加の一般的な手順は必要ありません。質問に対して利用できることを伝えます。
注: 学生は、前のアクティビティのコンテンツにアクセスできます。
- 2回目の活動に15分あることを伝えます。用紙に指示が含まれており、追加の一般的な手順は必要ありません。質問に対して利用できることを伝えます。
- 15分が終わったら、完成した材料をあなたに渡してもらいます。
7. 講義内容の管理
- クラスのすべての生徒に統計的変動性について講義を行うために、1つまたは複数のクラス期間内に40分を予約します。
メモ:このプロトコルは講義中の任意の時点で中断することができ、後続のクラスセッションで続行できます。 - 講義を行うには、次のリンクで見つけることができるスライドに従ってください: https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0。
注: ファイルには、内容をずらすアニメーション、学生に与える説明案のコメント、および各説明に割り当てられたおおよその時間に関する表示が含まれています。含まれる内容および活動は、変動性の定義、異なる変動性尺度(範囲、四分位範囲、分散、標準偏差、および変動係数)の使用、それらの尺度の特性、およびそれらの特性を互いにおよび他の最適でない解と比較して、その利点および欠点に関するものである。この提案された講義の詳細については、 付録 E を参照してください。ユーザーは、クラスでカバーする特定のコンテンツ、推奨される指導原則、または異なる文化的表現などの異なる要因に応じて、これらの材料を適応させることができます。
8. 好奇心アンケートの完成
- 講義の最後に、認識関連感情アンケート40(付録F)から好奇心スケールを学生に与え、それを完了するために2分を与えます。返す前に、アンケートに身分証明書を書くように生徒に思い出させます。
注:文献では、好奇心は、多くの場合、発明活動と対応する制御活動14、17の直後に測定されます。このプロトコルは、この点に関して、これおよび他の可能な適応に柔軟である。簡単にするために、PS-Iが好奇心に及ぼす長期的な影響を調べることに関連しており、発明活動直後の好奇心の増加は、発明活動中に学生がコントロールとして使用される代替活動中よりも少ない情報を受け取るという事実によって部分的に説明できるため、レッスンの最後に好奇心の測定のみを含めました。
9. 学習後試験の管理
- 各クラスの教師に従って、試験後の管理にクラス期間で30分かかります。
- 付録 Gのポストテストを受講者に配布します。個別に作業するように依頼します。
- 学生にポストテストを行うために25分を与えます。指示は、後のテストに含まれており、追加の一般的な指示は必要ありません。
- 25分が経過したら、テスト後のテストをあなたに返してもらいます。
10. 生徒にフィードバックと全ての学習教材を提供する
- このレッスンに使用する教材を生徒に提供する。パワーポイントスライド、2つの学習条件の教材、および事前テストと後検定のソリューションについては 、付録Hを参照してください。
11. データのコーディング
- 各アンケート スケール内のすべての品目スコアを加算して、アンケートのさまざまなスケールのスコアを計算します (提案されたアンケートのアンケート項目の概要については 、「付録 B」 を参照)。
- 代替使用タスク37の両方の項目で各学生が与えたすべての適切な回答をカウントして、異なる思考の流暢さのためのスコアを計算します。
注: 柔軟性、独創性、および詳細化など、代替用途タスクからコード化されるその他のメジャーも、36,37と見なされる場合があります。 - 前のナレッジ事前テストのスコアを計算するために、最初に 付録 I-1 の回答キーを使用して各項目を採点し、すべての項目のスコアを加算します。
- 最初に付録 I-2の回答キーを使用して、テスト後の各項目を採点し、各学習メジャーのスコア (手順学習メジャーの項目 1 ~ 3 のスコア、概念学習メジャーの項目 4 ~8 のスコア、学習メジャーの転送に関する項目 9~11 のスコア) を加算して、さまざまな学習方法を計算します。
注: 発明問題の間に学生が作成したソリューションの数や、問題解決の全ての活動における解の正確性など、学習プロセスに関するその他の対策は考慮されるかもしれませんが、このプロトコルでは説明しません。
12. データの分析
このセクションの参照は、SPSSおよびPROCESSソフトウェアでの分析を行う方法に関する実用的なマニュアルを参照していますが、他のプログラムも使用される場合があります。
- PS-Iの一般的な有効性を評価するために、PS-I条件の好奇心と学習スコアとコントロール条件の好奇心と学習スコアを比較します。
注: 仮定が満たされている限り、主に共変量の素因を制御する ANCOVA をお勧めします。第2の選択肢として、我々は独立したグループのためのt検定を推奨し、第三のオプションとして、我々はMann-Whitney Uテスト41をお勧めします。これらの分析には最小サンプルサイズは必要ありませんが、以前の文献(d = .43)21の効果サイズを考慮すると、1グループあたり118人の学生の最小サンプルが有意な効果の識別を容易にすることが推奨されます(独立した手段の違いについてはα = .05,β = .95,)。グループごとに30人を超えるサンプルは、ANCOVAまたはt検定41の正規性の仮定を満たすことが容易になります。 - メディエーション効果(例えば、学習に対する好奇心の仲介)および/または素因の穏やかな影響を直感的に探求するには、2つの学習条件におけるメディエータ変数(例えば、好奇心)と学習変数(概念的知識)との間の相関分析を行う。
注:仮定が満たされている限り、我々は主にピアソン相関の使用をお勧めしますし、第二のオプションとして、我々はスピアマン相関42をお勧めします。これらの分析には最小サンプルサイズは必要ありませんが、大きなサンプル(例えば、グループあたり30人以上の学生)は、ピアソン相関に必要な正規性の仮定を達成しやすくなります。可能なモデレーション効果は、一方の学習条件と他方の学習条件で異なる相関値を持つ素因変数によって示されます。調停効果(例えば、学習に対する好奇心の仲介)は、媒介変数が少なくとも1つの条件の学習結果と相関し、この変数のレベルが他方と比較して1つの学習条件で異なる場合に示されるであろう(ステップ12.1の結果を参照)。 - 学習や学生の素因の影響を緩和するメディエーション効果を評価し続けるには、概念モデルに応じてメディエーション分析、モデレーション分析、または条件付きプロセス分析(メディエーションとモデレーション分析を組み合わせた)を実行してテスト43を行います。
注: これらの分析は重回帰に基づいており、したがって、固定効果の統計的アプローチに基づいているため、結果を可能な限り一般化できるようにするために、概念モデルに含まれるメディエーション変数あたり15学生の最小サンプルサイズと、モデルに含まれるモデレーション変数あたり30人の学生を推奨します。PROCESS などの一部のプログラムでは、一度に最大 2 つのモデレート変数しか含めなかない場合があります。より多くのモデレート変数を組み込むには、含まれるモデレーターを変更していくつかの分析を実行する必要があります。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
このプロトコルは、能力の感覚、習得的アプローチ目標、メタ認知、および発散思考の観点から学生の素因の尺度を除いて、以前の研究23で十分に実施された。
これらの素因に対処するために、このプロトコルには、以前に検証され、高いレベルの信頼性を示しているメジャーが含まれています (表 1)。
PS-I条件の発明問題で学生によって生成された典型的な解決策は、図3A-Dに見ることができます。通常、学生は標準偏差の正規解を生成しません。しかし、最適ではない解は、標準偏差の関連する側面(例えば、範囲、総和偏差、または平均偏差)に関する反射を明らかにします。これまでの研究では、PS-Iにおける初期問題における様々な解が、応答44の正しさに関係なく、高等教育に関連付けられていることが示されている。それにもかかわらず、この問題に応答がないことは、学生が目に見える結果を生み出すことなく問題について批判的に反映することができるので、その恩恵を受けていない学生の指標ではないことを注意することが重要です。
制御条件で使用される実習の問題で受講者が作成した典型的な解決策 (図 2) を 図 3 Eに示します。これらのソリューションは、作業例 (付録 D-2) の概念と手順を調査した後に提示された問題であるため、標準偏差の標準概念に沿った、より均質で正同化されています。
図5は、実験評価におけるPS-Iと直接指示の一般的な違いを報告する例を再現している。これは、PS-I状態の学生が手続き上の知識、知識の伝達、好奇心、または以前の知識で異なっていなかったが、概念的知識が異なっていたが、このプロトコル23 に続く以前の研究の結果に基づいています。
図6は、提案された学生素因の1つであるメタ認知能力の緩和効果を報告する例を示す。この仮定の例では、メタ認知能力の低い学生はPS-Iよりも直接的な指導からより多くを学び、メタ認知能力が高い学生は直接指導よりもPS-Iの恩恵を受けました。
図1:PS-I条件における発明問題 この問題では、PS-I状態の23 人の学生は、4カ国の不平等を測定するための定量的指数を発明するよう求められます。それは、対照ケース11の技術で策定されています:各国は、関連する特徴に関する一貫性とバリエーションを示し、これらのバリエーションは計算が容易です。例えば、ピンパンプンとToveoは同じ平均(5)、同じ症例数(7)、同じ範囲(10)、分布が異なる。この図の大きなバージョンを表示するには、ここをクリックしてください。
図2:直接指示条件における実習問題この問題では、直接指導条件の23 の学生は、働いた例で学習した概念と手順を適用するように求められます。この図の大きなバージョンを表示するには、ここをクリックしてください。
図3:発明問題と実践問題における一般的な解決策 画像A-Dは、足場の内容に後部直接指示段階で使用することができる発明問題の一般的な解決策を示しています:(A)範囲 - 計算が簡単ですが、すべての住民間の違いを考慮していません。(B) 範囲ベースのメジャー - 最大値が繰り返されたときに増幅されるようになるにつれて、範囲よりも多くの住民を考慮しますが、すべての値を考慮しません。(C) 偏差の平均 - それはすべての住民間の差を占めるが、負の偏差は正の偏差から減算するので混乱している- ;(D) 絶対偏差の平均 - 標準偏差の正規解に類似した概念的に完全な解。(E)制御条件の実践問題に対する典型的な解決策である。この状態の学生は既に「働く例」を研究しており、そのほとんどが標準偏差の正規解を正しく再現し、解釈することができます。この図の大きなバージョンを表示するには、ここをクリックしてください。
図4: 実験評価の設計 学生の素因を測定するためのアンケートとテストが完了すると、学生は2つの学習条件の活動にランダムに割り当てられます(すべての学生は同じクラスに残ります)。これらの活動を修了すると、全員が統計的変動性について同じ講義を受けます。好奇心と学習は学習プロセスの最後に測定されます。この図の大きなバージョンを表示するには、ここをクリックしてください。
図5: PS-Iと直接指導の有効性に関する結果 この図は、PS−I条件と各従属変数内の直接命令条件との比較の典型的な結果を、このプロトコル23を用いた以前の研究のデータを用いて表示する。各図の 2 つのバーは 2 つの条件の平均を表し、対応する誤差範囲はそれらの平均の +/- 1 標準誤差を表します。* は、有意度レベルが 05 の有意な結果を示します。この図の大きなバージョンを表示するには、ここをクリックしてください。
図6: 学生の素因の緩和効果に関する仮説的な結果この図は、PS-Iが中型および高メタ認知能力を報告する学生に対してのみ直接指導よりも効果的である学習を促進するためのPS-Iの相対的な有効性に対するメタ認知能力の緩和効果に関する仮説的な結果を示す。43、16、50番目、および86番目の百分位数の勧告に従って、それぞれ低、中、および高いメタコグメンティブ能力を持つ学生を表すために使用されています。この図の大きなバージョンを表示するには、ここをクリックしてください。
建てる | 測定と説明 | ||
能力の感覚 | 統計に対する態度調査における認知能力尺度(SATS-28)33を用いることができる(付録B2)。6項目で構成され、能力学習統計に関する発言にどれだけ賛成しているかを尋ねる項目が6つある(例えば「統計を学べる」)。それは内部、収束および予測的妥当性、および高い信頼性(α = .71 -.93)45を示している。 | ||
マスタリー アプローチの目標 | 達成目標アンケートのマスタリーアプローチスケール改訂 34 が使用できます(付録B3)。個人学習に焦点を当てた学習目標を持つことに関する声明にどれだけ賛成しているかを学生に尋ねる3つの項目で構成されています(例えば、「私はこのコースの内容を可能な限り徹底的に理解するよう努めています」)。それは内部、収束および予測的妥当性、および高い内部信頼性(α=.84)34を示している。 | ||
メタ認知の調節 | メタ認知認識インベントリ46 の認知尺度の調節が使用できる(付録B4)。それは、異なるメタ認知戦略を使用することがどのように典型的であるかを学生に尋ねる35の項目で構成されています(例えば、「混乱したときに私の仮定を再評価する」)。それは内部および予測的妥当性、および高い信頼性(α =.88)46を示している。 | ||
発散思考 | 代替用途タスク36 の流暢性スコアを使用できます。これは、学生にいくつかのオブジェクト(例えば、ペーパークリップ)を提示し、一定時間内に各オブジェクトに多くの珍しい用途を提供するように求めることで構成されています。これは、内部的に検証された 47 の信頼性の高いスコア(H = .631)であり、提示された1〜20のオブジェクトの間で、および各オブジェクト37、48、49に対して与えられた1〜3分の間で異なる異なる拡張を持つバージョンで予測的妥当性を示している。教育の設定内の時間制限のために、2つのオブジェクトとオブジェクトあたり2分の短いバージョンを提案する37 このプロトコルで. | ||
これまでの学問知識 | このプロトコルで扱う特定の内容に適応するために、以前の研究で使用された信頼性の高い(α =.75)事前テストから学習前テスト(付録C)が適応されている 7。可変性コンテンツの同化に関連する中心的な傾向対策について学生に尋ねる5つの項目から構成されています。 |
表1:学生の素因を評価するための提案された構成と対策PS-Iの有効性において、学生の素因に関する5つの構成要素がモデレーターとして評価されることを提案する。各構成体の提案されたメジャーは、項目の数、項目の説明、および有効性と信頼性に関する証拠に関して記述されます。
建てる | 測定と説明 | ||
好奇心 | 認識関連感情アンケート40 における好奇心スケールを使用することができます(付録F)。それは、彼らが好奇心、興味、探求を感じた強度を評価するように学生に求める3つの項目で構成されています。それは内部および予測的妥当性、および高い信頼性(α =.88)40を示している。 | ||
学習 (手続き、概念、および転送) | このプロトコルで取り上げた特定の変動内容について学ぶ評価を行うために、学習後検定(付録G)は、前の研究で使用された信頼性の高い(α=.84)後検定から適応されている。これは、手続き学習と呼ばれる3つの項目(例えば、学生が標準偏差を計算しなければならない項目1)、概念学習と呼ばれる6つの項目(例えば、学生が標準偏差式の構成要素について推論しなければならない項目4)、および転送に言及された3つの項目(例えば、学生が異なる測定値とスコアを比較する手順を推測しなければならない項目10)で構成されています。 |
表2 PS-Iの有効性を評価するための検討下の構造と対策好奇心を測定するための提案された機器と、3種類の学習(手続き、概念、転送)について、項目数、項目の説明、妥当性と信頼性に関する証拠を含む。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
このプロトコルの目的は、実際の教室のコンテキストでPS-Iアプローチの実装と評価に研究者や教育者を導くものです.いくつかの以前の経験によると、PS-Iは、学生19、21、24の深い学習とモチベーションを促進することができますが、異なる能力と動機付けの素因を持つ学生の有効性についてのより多くの研究が必要です14,27.具体的には、このドキュメントを使用して、教育者は、PS-Iの文献11、13、20、50(ステップ6-7)で最も広く受け入れられている原則に従って設計された統計クラスのPS-I実装プロトコルに従うことができます。さらに、教育者や研究者は、異なる動機付けおよび/または認知素因(すべてのステップ)を持つ学生におけるこの実装の有効性に関する組み込み実験的評価に従うことができます。この実験は、機会の平等、参加の自由な同意、または学生の機密性を尊重するという教育原則と矛盾するものではなく、新しい技術を使用する必要もありません。
プロトコルは柔軟であり、新しい研究や教育のニーズに応じて変更または適用することができます。しかしながら、本書に記載されているように、このプロトコルは、概念的知識や知識の伝達などの深い学習を必要とする学習手段や、手続き上の知識など、必ずしも深い学習を必要としない学習手段を含む、好奇心と異なる種類の学習の観点からPS-Iの有効性を評価することを可能にする。モチベーションとディープラーニングは、すべてのインストラクターにとって重要な懸念事項です。STEMコースの設計者は、学生の大部分がこれらのコース1、2、3を理解するのが困難であり、様々な動機付けの問題を経験するので、これらのトピックに特に関心を持っています 4,5 .このプロトコルはまた、STEM教育においても懸念される認知的および/または動機付けの素因の観点から、学生におけるPS-Iの有効性の評価、およびPS-Iの相対的有効性に関するガイダンスを提供する。プロトコルで提案された素因は、以前の学問知識、習得アプローチの目標、対象を学習する能力の感覚、メタ認知、および発散思考を含む。
文献で提案された考え方に基づくプロトコルの変更の例としては、条件15における問題の数を増やし、問題探査44のためのより多くの時間を学生に与え、および調停学習プロセス14、15、24を考慮する異なる変数を含む。また、このプロトコルは、異なるクラス セッションに対するさまざまな手順の適用についても柔軟に行われます。各ステップは前のステップと同じクラス期間に実行することができ、研究者や教育者は、自分の都合にステップを整理する方法を決定することができます。
しかし、評価の重要な要因は、学生が評価ルールを遵守する際に協力することです。たとえば、いくつかのステップでは、それらの間の可能な相互作用が結果を汚染しないように、個別に動作することになっています。そのためには、その手順について知らされ、プロトコルのステップ1に記載されているように、試験的評価に参加するか否かにかかわらず、学生が学習活動に等しく関与することが重要である。個々の作業を必要とする活動については、学生間にスペースが残っていることを確認することをお勧めします。
要約すると、このプロトコルは、PS-Iとその実験的評価を教育者や研究者にとってより使いやすくし、材料と指導を提供し、研究や教育のニーズに応じて柔軟に適用し、異なるサンプルサイズに適応する分析オプションを提案するのに役立ちます。ただし、ここで考えられる制限の 1 つとして、学生の素因に関するアンケートとテストを完了するのに必要な時間が考えられます。ユーザーがこれらの素因を評価することに興味があるが、授業中に行う時間がない場合、これらのアンケートはクラス外の課題として完了できます。第2の制限は、変動性尺度の学習において特に文脈化されていない、むしろ一般的な学習(メタ認知と発散思考)または一般的な統計学習(習得アプローチ目標と能力感)で特に文脈化されている提案された素因測定の一部の潜在的な測定誤差である。このエラーは、このプロトコルで実施される調査の潜在的な制限と考えるべきです。最終的な制限は、実装の内容が非常に具体的であり、それらの検証済みの措置が利用できないので、これまでの前の文献では、以前の知識の事前テストおよび学習後のテストの検証されたメジャーが検証されないことです。ただし、このプロトコルの将来の実装は、検証を進めることが期待されます。
同様の行では、プロトコルの将来の適用はまた、新しい研究ニーズと適用される新しいバリエーションを定義します。プロトコルを共通のソースとして持つことは、異なる研究間で特定の体系的な構造を提供することに寄与するかもしれない。さらに、教育者が教育実践と互換性のあるこのプロトコルの実験的評価を見つける限り、このプロトコルはPS-I研究との教育者の関与を奨励するかもしれないが、これは研究プロセスにおけるより広範な専門的視点とサンプル32へのより良いアクセスを意味する。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者らは開示するものは何もない。
Acknowledgments
この研究は、アストゥリアス公国(FC-GRUPIN-IDI/2018/000199)のプロジェクトとスペイン文部科学省からの博士助成金(FPU16/05802)によって支援されました。ステファニー・ジュンが英語の編集を教えてくださったステファニー・ジュンに感謝します。
Materials
Name | Company | Catalog Number | Comments |
SPSS Program | International Business Machines Corporation (IBM) | Other programs for general data analysis might be used instead | |
PROCESS program | Andrew F. Hayes (Ohio State University) | Freely accesible at: http://www.processmacro.org. Other programs for mediation, moderation, or conditional process analyses might be used instead | |
Cognitive Competence Scale in the Survey of Attitudes towards Statistics (SATS-28) | Candace Schau (Arizona State University) | In case it is used, request should be requested from the author, who holds the copyright | |
Mastery Approach Scale in the Achievement Goal Questionnaire-Revised | Andrew J. Elliot (University of Rochester) | In case it is used, request should be requested from the author | |
Regulation of Cognition Scale of the Metacognitive Awareness Inventory | Gregory Schraw (University of Nevada Las Vegas) | In case it is used, request should be requested from the creator |
References
- Silver, E. A., Kenney, P. A. Results from the seventh mathematics assessment of the National Assessment of Educational Progress. Council of Teachers of Mathematics. , (2000).
- OECD. Results (Volume I): Excellence and Equity in Education. PISA, OECD. , OECD publishing. Paris, France. (2016).
- Mallart Solaz, A. La resolución de problemas en la prueba de Matemáticas de acceso a la universidad: procesos y errores. , (2014).
- García, T., Rodríguez, C., Betts, L., Areces, D., González-Castro, P. How affective-motivational variables and approaches to learning predict mathematics achievement in upper elementary levels. Learning and Individual Differences. 49, 25-31 (2016).
- Lai, Y., Zhu, X., Chen, Y., Li, Y. Effects of mathematics anxiety and mathematical metacognition on word problem solving in children with and without mathematical learning difficulties. PloS one. 10 (6), 0130570 (2015).
- Ma, X., Xu, J. The causal ordering of mathematics anxiety and mathematics achievement: a longitudinal panel analysis. Journal of Adolescence. 27 (2), 165-179 (2004).
- Kapur, M.
Productive Failure in Learning Math. Cognitive science. 38 (5), 1008-1022 (2014). - Kirschner, P. A., Sweller, J., Clark, R. E. Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist. 41 (2), 75-86 (2006).
- Stockard, J., Wood, T. W., Coughlin, C., Khoury, C. R. The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of educational research. 88 (4), 479-507 (2018).
- Clark, R., Kirschner, P. A., Sweller, J. Putting students on the path to learning: The case for fully guided instruction. American Educator. , (2012).
- Schwartz, D. L., Martin, T. Inventing to prepare for future learning: The hidden efficiency of encouraging original student production in statistics instruction. Cognition and instruction. 22 (2), 129-184 (2004).
- Loibl, K., Rummel, N. The impact of guidance during problem-solving prior to instruction on students' inventions and learning outcomes. Instructional Science. 42 (3), 305-326 (2014).
- Kapur, M., Bielaczyc, K.
Designing for Productive Failure. Journal of the Learning Sciences. 21 (1), 45-83 (2012). - Glogger-Frey, I., Fleischer, C., Grueny, L., Kappich, J., Renkl, A. Inventing a solution and studying a worked solution prepare differently for learning from direct instruction. Learning and Instruction. 39, 72-87 (2015).
- Glogger-Frey, I., Gaus, K., Renkl, A. Learning from direct instruction: Best prepared by several self-regulated or guided invention activities. Learning and Instruction. 51, 26-35 (2017).
- Likourezos, V., Kalyuga, S. Instruction-first and problem-solving-first approaches: alternative pathways to learning complex tasks. Instructional Science. 45 (2), 195-219 (2017).
- Lamnina, M., Chase, C. C. Developing a thirst for knowledge: How uncertainty in the classroom influences curiosity, affect, learning, and transfer. Contemporary educational psychology. 59, 101785 (2019).
- Loibl, K., Rummel, N. Knowing what you don't know makes failure productive. Learning and Instruction. 34, 74-85 (2014).
- Weaver, J. P., Chastain, R. J., DeCaro, D. A., DeCaro, M. S. Reverse the routine: Problem solving before instruction improves conceptual knowledge in undergraduate physics. Contemporary educational psychology. 52, 36-47 (2018).
- Loibl, K., Roll, I., Rummel, N. Towards a Theory of When and How Problem Solving Followed by Instruction Supports Learning. Educational psychology review. 29 (4), 693-715 (2017).
- Darabi, A., Arrington, T. L., Sayilir, E. Learning from failure: a meta-analysis of the empirical studies. Etr&D-Educational Technology Research and Development. 66 (5), 1101-1118 (2018).
- Chen, O. H., Kalyuga, S. Exploring factors influencing the effectiveness of explicit instruction first and problem-solving first approaches. European Journal of Psychology of Education. , (2019).
- González-Cabañes, E., García, T., Rodríguez, C., Cuesta, M., Núñez, J. C. Learning and Emotional Outcomes after the Application of Invention Activities in a Sample of University Students. Sustainability. 12 (18), 7306 (2020).
- Schwartz, D. L., Chase, C. C., Oppezzo, M. A., Chin, D. B. Practicing Versus Inventing With Contrasting Cases: The Effects of Telling First on Learning and Transfer. Journal of educational psychology. 103 (4), 759-775 (2011).
- Chase, C. C., Klahr, D. Invention Versus Direct Instruction: For Some Content, It's a Tie. Journal of Science Education and Technology. 26 (6), 582-596 (2017).
- Newman, P. M., DeCaro, M. S. Learning by exploring: How much guidance is optimal. Learning and Instruction. 62, 49-63 (2019).
- Belenky, D. M., Nokes-Malach, T. J. Motivation and Transfer: The Role of Mastery-Approach Goals in Preparation for Future Learning. Journal of the Learning Sciences. 21 (3), 399-432 (2012).
- Bergold, S., Steinmayr, R. The relation over time between achievement motivation and intelligence in young elementary school children: A latent cross-lagged analysis. Contemporary educational psychology. 46, 228-240 (2016).
- Mazziotti, C., Rummel, N., Deiglmayr, A., Loibl, K. Probing boundary conditions of Productive Failure and analyzing the role of young students' collaboration. NPJ science of learning. 4, 2 (2019).
- Stiglitz, J. E.
Las limitaciones del PIB. Investigacion y ciencia. (529), 26-33 (2020). - Holmes, N. G., Day, J., Park, A. H., Bonn, D., Roll, I. Making the failure more productive: scaffolding the invention process to improve inquiry behaviors and outcomes in invention activities. Instructional Science. 42 (4), 523-538 (2014).
- Herreras, E. B. La docencia a través de la investigación-acción. Revista Iberoamericana de Educación. 35 (1), 1-9 (2004).
- Schau, C., Stevens, J., Dauphinee, T. L., Delvecchio, A. The development and validation of the survey of attitudes toward statistics. Educational and Psychological Measurement. 55 (5), 868-875 (1995).
- Elliot, A. J., Murayama, K. On the measurement of achievement goals: Critique, illustration, and application. Journal of educational psychology. 100 (3), 613-628 (2008).
- Schraw, G., Dennison, R. S.
Assessing metacogntive awareness. Contemporary educational psychology. 19 (4), 460-475 (1994). - Guilford, J. P. The nature of human intelligence. , (1967).
- Zmigrod, L., Rentfrow, P. J., Zmigrod, S., Robbins, T. W. Cognitive flexibility and religious disbelief. Psychological Research-Psychologische Forschung. 83 (8), 1749-1759 (2019).
- Wilson, S. Divergent thinking in the grasslands: thinking about object function in the context of a grassland survival scenario elicits more alternate uses than control scenarios. Journal of Cognitive Psychology. 28 (5), 618-630 (2016).
- Autin, F., Croizet, J. -C. Improving working memory efficiency by reframing metacognitive interpretation of task difficulty. Journal of experimental psychology: General. 141 (4), 610 (2012).
- Pekrun, R., Vogl, E., Muis, K. R., Sinatra, G. M. Measuring emotions during epistemic activities: the Epistemically-Related Emotion Scales. Cognition and Emotion. 31 (6), 1268-1276 (2017).
- Pallant, J. Statistical techniques to compare groups. SPSS survival manual. , McGraw-Hill Education. UK. 211 (2013).
- Pallant, J. Statistical techniques to explore relationships among variables. SPSS survival manual. , McGraw-Hill Education. UK. 125-149 (2013).
- Hayes, A. F. Introduction to mediation, moderation, and conditional process analysis: A regression-based approach. , Guilford publications. New York, NY. (2017).
- Kapur, M. Productive failure in learning the concept of variance. Instructional Science. 40 (4), 651-672 (2012).
- Nolan, M. M., Beran, T., Hecker, K. G. Surveys Assessing Students' Attitudes Toward Statistics: A Systematic Review of Validity and Reliability. Statistics Education Research Journal. 11 (2), (2012).
- Schraw, G., Dennison, R. S.
Assessing metacognitive awareness. Contemporary educational psychology. 19 (4), 460-475 (1994). - Dumas, D., Dunbar, K. N. Understanding Fluency and Originality: A latent variable perspective. Thinking Skills and Creativity. 14, 56-67 (2014).
- Roberts, R., et al. An fMRI investigation of the relationship between future imagination and cognitive flexibility. Neuropsychologia. 95, 156-172 (2017).
- Chamorro-Premuzic, T. Creativity versus conscientiousness: Which is a better predictor of student performance. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition. 20 (4), 521-531 (2006).
- Kapur, M. Examining productive failure, productive success, unproductive failure, and unproductive success in learning. Educational Psychologist. 51 (2), 289-299 (2016).