Mis on õpianalüütika töölaud ja mida sellega teha saab?

Töölaud kuvab ÕIS-i andmetel põhineva TÜ õpianalüütika mudeli loodud infot üliõpilaste katkestamisriskide kohta. Eesmärk on välja tuua, millistele tudengitele ennekõike tuleks hetkeseisuga tähelepanu pöörata ja tuge pakkuda. Üliõpilased on jagatud katkestamisriski alusel kolme rühma. Tudengi arvamine ennustatava riskitasemega rühma muutub aja jooksul (seotud tudengiosaluse ja edukusega õpingutes, mida mudel andmete uuendamisel arvestab).

Vaadata saab ühe õppekava kõigi tudengite hinnatud katkestamisriski või  filtreerida tulemusi riskitaseme ja õppimise aasta alusel ehk kuvamiseks saab valida nt vaid kõrge riskitasemega üliõpilased, kes on õpingutes 3.aastal. „Kogu õppekava“ tähendab, et filtreid ei kasutata ja näidatakse kogu õppekava tulemusi.

Töölaual kuvatakse üldine statistika ja katkestamisriskis olevate tudengite nimekiri koos õppimise aasta ja riskifaktori(te)ga.  Selle põhjal saab programmijuht või õppekorraldaja üliõpilasega probleemide ennetamiseks ja lahendamiseks ühendust võtta.

Saate saata üliõpilasele kirja oma postkasti kaudu, kasutades etteantud kirjamalli. Kirjamalli on võimalik oma eelistuste järgi muuta.

Tutvuge ennetavate ja toetavate tegevustega, mida TÜ-s saab tudengitele pakkuda.

What is learning analytics and how can it be used?

The dashboard displays information on students’ risks of (interruption) dropout generated by the UT learning analytics model based on SIS  (Study Information System) data. The aim is to specify which students need greatest attention and support at the moment. Based on the risk of dropout, students are divided into three groups. The student’s inclusion into the predictable risk level group changes in time (depending on the student’s participation and success in studies, which the model considers when refreshing the data).

The estimated dropout risk of all the students of a curriculum can be viewed, or the results can be filtered according to the risk level and the study year of the student, e.g., you can select to display only students with a high risk level in their 3rd year of studies. “Entire curriculum” means that no filters are applied, and the results of the entire curriculum are displayed.

On the dashboard, general statistics and the list of students in dropout risk with their year of studies and risk factor(s) are displayed.  Based on this, the programme director or academic affairs specialist can contact the student to prevent problems and solve them.

You can send letters to students through your mailbox using the ready-made letter template. The letter template can be changed according to your preferences.

See the preventive and supporting activities that UT can offer to students.

Mida tähendab madal, keskmine ja kõrge ennustatav riskitase?

Ennustatav riskitase näitab seda, kui suure väljalangemisriskiga üliõpilaste rühma konkreetne üliõpilane kuulub. Mudel teeb ennustuse, kas üliõpilane langeb välja kolme eri faktori kohta eraldi (tulemuslikkus, pingutus ja akadeemiline taust).

Kõrge ennustatava riskitasemega üliõpilastel on kolmes faktoris kõrge risk,keskmise tasemega kahes faktoris ja madala riskitasemega ühes faktoris.

Kõrge ja keskmine ennustatav riskitase viitab, et üliõpilasel võivad ilma toetuseta tekkida raskused õpingute läbimisel.

What is meant by low, medium and high predictable risk levels?

The predictable risk level shows to which dropout risk group a concrete student belongs. The model makes the prediction about the student’s dropout risk according to three separate factors (performance, effort and academic background).

Students with high predictable risk level have high risk in three factors, with medium risk level in two factors and with low risk level in one factor.

High and medium predictable risk levels indicate that, without receiving support, the student may struggle in studies.

Mis on tulemuslikkus, pingutus ja akadeemiline taust?

Need on õpianalüütika ennustusmudeli riskifaktorid, mille arvutamise aluseks on üliõpilaste katkestamist ennustavad tegurid ÕIS-i andmetel.

Tutvuge õpianalüütika mudeli andmete loeteluga.

Tulemuslikkus tähendab õpingutes edasijõudmist ja tulemusi, mille arvutamise aluseks mudelis on nt saadud ainepunktid ja sooritatud eksamid.

Pingutus tähendab õpingutega seotud tegevusi, mille hindamise aluseks mudelis on nt registreeritud ained ja akadeemilise puhkuse kestus.

Akadeemiline taust kajastab eelnevate õpingutega seotud näitajaid, nt varasemat haridustaset ja vastuvõtutulemusi.

What is performance, effort and academic background?

These are the risk factors of the learning analytics predictive model, which are calculated based on the risk factors predicting students’ dropout of studies according to SIS data.

See the data used in the Learning Analytics model.

Performance means progress in studies and results. The basis for their calculation in the model is, e.g., the credit points earned and the passed exams.

Effort means actions related to studies; their assessment in the model is based, e.g., on courses registered and duration of academic leave.

Academic background reflects the indicators related to previous studies, e.g., the level of earlier education and admission score.

Mis on õppimise aasta?

Õppimise aasta näitab täisaastate arvu hetkest, mil üliõpilane on konkreetse õppekava alusel ülikooli immatrikuleeritud (mudelis praegune kuupäev miinus immatrikuleerimise kuupäev).

What is the year of study?

The year of study represents the number of full years since the moment the student was enrolled in a concrete curriculum at the university (in the model – current date minus date of enrolment).

Kuidas mudel toimib?

Mudeli aluseks on random forest (otsustusmets) masinõppe analüüsimeetod, mis arvestab varasemalt katkestanud tudengitega seostuvaid tegureid konkreetse õppekava kontekstis erinevate faktorite kaupa. Mudel arvab tudengi riskirühma tegurite kombinatsiooni (arvestades kuut olulisemat tegurit igas faktoris), mitte ühegi üksiku teguri tõttu.

Andmete uuendamisel ja mudeli nn treenimisel uueneb ka tegurite kombinatsioon. Mudelis kasutatakse praegu ainult ÕISi andmeid.

Mudeli headust saab iseloomustada kahe näitajaga, mis samuti uuenevad mudeli treenimisel. Nende arvutamisel on võetud eelduseks, et keskmise ja kõrge riskiga tudengid katkestavad ning ilma riskita ja madala riskiga tudengid ei katkesta.

Õigsus (accuracy) näitab õigesti ennustatud juhtumite osakaalu (%) kogu valimist.

Saagikus (recall) näitab, kui suure osa (%) kõigist tegelikult katkestanud tudengitest suutis mudel õigesti ennustada.  

18.02.2022 seisuga olid väärtused järgnevad:

• Bakalaureuse, rakenduskõrghariduse ja integreeritud õpe: õigsus 81%, saagikus 65%
• Magistriõpe: õigsus 91%, saagikus 56%

Need numbrid näitavad, et praegu on mudel katkestamisriski ennustamisel pigem tagasihoidlik ehk tegelikult on rohkem tudengeid riskirühmas, mida me ei suuda aga tänaste andmetega ennustada.

How does the model function?

The model is based on the random forest machine learning analysis method which considers the factors related to students who have interrupted their studies earlier in the context of a concrete curriculum according to different factors. The model includes the student into a risk group considering the combination of variables (six most essential variables in each factor), not because of any of the single variables.

When refreshing the data and training the model, the combination of variables is also renewed. Now, the model uses only SIS data.

The quality of the model can be characterised by two indicators, which are also renewed when the model is trained. The prerequisite for their calculation is that students with medium and high risk will dropout from their studies, and students without risk and with low risk will not.

Accuracy here demonstrates the ratio of correctly predicted observations over the total number of observations.

Recall demonstrates how many cases, out of the entire student population that dropped out from their studies, were identified correctly.

As of 18 February 2022, the values were as follows:

• Bachelor’s, professional higher education and integrated studies: accuracy 81%, recall 65%.
• Master’s studies: accuracy 91%, recall 56%.

These numbers show that now the model is rather modest at predicting the dropout risk, or actually there are more students in the risk group than we can predict based on the current data.

Millal andmeid uuendatakse?

Mudeli andmeid uuendatakse 5 korda aastas, need on seotud akadeemilise kalendri tähtpäevadega:

1. Poole semestri piir sügissemestril
2. Õppekava täitmise arvestuspäev sügissemestril ja kevadsemestri õppeainetele registreerumise tähtaeg
3. Poole semestri piir kevadsemestril
4. Kevadsemestri lõpp
5. Õppekava täitmise arvestuspäev kevadsemestril, Sügissemestri õppeainetesse registreerumise tähtaeg

When is the data updated?

The model data is updated five times a year according to the following dates in the academic calendar:

1. Half-semester limit in autumn semester
2. Deadline for completion of the curriculum in autumn semester and deadline for registration for spring semester courses
3. Half-semester limit in spring semester
4. End of spring semester
5. Deadline for completion of the curriculum in spring semester and deadline for registration for autumn semester courses