bp Alt.Metrics

We zijn van start gegaan met een grondige literatuurstudie. Hierbij kregen we toegang tot enkele wetenschappelijke papers die handelen over ons onderzoeksthema. In wat volgt, sommen we de gelezen lectuur op en vermelden we telkens waarom deze papers nuttig (of juist niet nuttig) zijn voor specifiek ons wetenschappelijk onderzoek. Ook laten we ons kritisch oog vallen op de inhoud van de papers.

1. A Principal Component Analysis of 39 Scientific Impact Measures (bron)
Bollen J, Van de Sompel H, Hagberg A, Chute R (2009) A principal component analysis of 39 scientific impact measures. PLoS ONE 4. doi:10.1371/journal.pone.0006022.

Deze wetenschappelijke publicatie komt uit PLoS ONE. Dit is een “open access peer-reviewed” wetenschappelijk tijdschrift dat wordt uitgegeven door de Public Library of Science (PLoS) sinds 2006. Alle inzendingen gaan door een interne en externe pre-publicatie peer review, maar worden niet op basis van gebrek aan belang of de naleving van een wetenschappelijk gebied uitgesloten. De PLoS ONE online platform maakt gebruik van een “eerste publiceren, later oordelen” werkwijze. (Bron: Wikipedia)

Het artikel heeft als onderzoeksvraag of er nieuwe maatregelen bestaan om de impact van wetenschappelijke publicaties juister en vollediger uit te drukken. Van oudsher is deze uitgedrukt in termen van citatietellingen, de zogenaamde Thomson Scientific Journal Impact Factor (JIF). Deze methode is stilaan achterhaald, grotendeels door de digitale revolutie van het afgelopen decennium. Om wetenschappelijke impact in het digitale tijdperk beter vast te leggen, hebben de auteurs onderzoek gedaan naar verscheidene nieuwe berekeningen om de impact van een paper te beoordelen. Hierbij hebben ze zich vooral gefocust op sociale netwerkanalyse en het gebruik loggegevens. Uiteindelijk komen ze tot de conclusie dat de wetenschappelijke impact niet uit te drukken valt in één indicator. Meestal verschilt het van paper tot paper welke factor hem de hoogste score geeft. De auteurs besluiten dan ook dat de van oudsher gebruikte ratingfactor met enige voorzichtigheid moet worden gebruikt en dat deze ranking beter kan worden uitgedrukt in een combinatie van verschillende factoren.

Het gaat hier om een technische paper met enkele statistische formules en moeilijke benamingen waardoor de paper veel aandacht vergt van de lezer. Desalniettemin is het een zeer leerrijke paper. Zo kunnen we voor ons onderzoek beroep doen op de reeds geteste en gerangschikte technieken om papers te ordenen naar hun wetenschappelijke impact. Ook leren we uit deze paper dat we ons niet moeten toespitsen op één bepaalde factor maar meer moeten kijken naar een combinatie van enkele factoren.

2. Scientometrics 2.0: Toward new metrics of scholarly impact on the social web (bron)
Priem, J., & Hemminger, B. (2010). Scientometrics 2.0: New metrics of scholarly impact on the social Web. First Monday, 15(7). doi:10.5210/fm.v15i7.2874

De groeiende omvang van wetenschappelijke literatuur is een groot probleem voor wetenschappers die een goed en eerlijk artikel willen schrijven. Er valt gewoonweg veel te veel te lezen. Onderzoekers vallen omwille van die artikel overload vaak terug op de metrisch-gebaseerde technieken. De auteurs hebben de zwakke punten in de huidige, citatie-gebaseerde methoden (zoals de Thompson Scientific Journal Impact Factor ( JIF )) om artikels te raten en de filteren onderzocht. Nu blijkt dat, ondanks deze methode zo populair is, hij traag is, niet breed genoeg is opgesteld en zelfs manipuleerbaar is. Er is dus nood aan nieuwe diensten om een bredere en snellere filtering te vinden die voor de onderzoeker relevant zijn. Maar citaties zijn vandaag de dag niet langer de enige bron van invloed op wetenschappelijke publicaties. Een nieuwe en veelbelovende aanpak zijn Web 2.0-diensten, zoals social bookmarking en microblogging. Deze metrieken zorgen voor een beter en actueler zicht over de invloed artikelen ‘. Deze paper neemt de Web 2.0 diensten onder de loep, hun beoordeling van de potentiële waarde en de beschikbaarheid van de gegevens van elke. Zij kunnen vooral van belang zijn voor beginnende onderzoekers waarbij er vooral wordt gekeken naar het aantal citaties dat gemaakt wordt naar hun artikel. Met bestaande technieken duurt het lang alvorens de citaties worden verworven. Met nieuwe technieken zou het veel sneller en voor een breder publiek toegankelijk zijn. En ook het filteren zou hier baat bij hebben. Real-time filtering zorgt voor een steeds up-to-date resultaat.

Dit artikel focust zich eerst op de diensten die vandaag de dag al bestaan voor wetenschappelijke publicaties. De auteurs bekijken op welke manier ze omspringen met citaties en welke zoekresultaten ze teruggeven. Ook gaan de auteurs na of er geen betere manier bestaat om hier mee om te springen. Ze komen op de proppen met Web 2.0-diensten. Hierbij geven ze allerlei metrieken waarmee we moeten rekening houden, zoals bookmarking, referenties, aanbevelingen, commentaren op artikels en ga zo maar door. Kortom, een paper met mogelijkheden en interessante informatie waarvan wij ook gretig kunnen gebruik maken. De meeste onderzoekers hebben vandaag een (micro)blog en zitten op sociale media waardoor de impact daarvan in stijgende lijn gaat. Als we deze in ons onderzoek kunnen betrekken, zou dat een duidelijke meerwaarde opleveren.

3. Science 2.0 (bron)
B. Shneiderman. Science 2.0. Science (New York, N.Y.), 319(5868):1349–50, Mar. 2008.

Web-gebaseerde samenwerkingen kunnen de goedkeuring van papers versnellen en de voordelen voor de auteur ervan te verhogen. Science 2.0 heeft als ontwerp uitdaging dat het moet zorgen voor een eerlijke ranking en het moet tools ontwikkelen om menselijke relaties en samenwerkingen te analyseren en in kaart te brengen.

“De term Science 2.0 suggereert een tegenstelling tussen traditionele manier om te gaan met wetenschap, vaak aangeduid Science 1.0, met een meer collaboratieve benadering, en suggereert dat de nieuwe vormen van de wetenschap zal werken met Web 2.0-technologieën. Een andere en enigszins controversieel standpunt is dat van Ben Shneiderman, die suggereerde dat Science 2.0 hypothese gebaseerde onderzoeken combineert met sociale wetenschappen methoden, gedeeltelijk met het oog op verbetering van de nieuwe netwerken.” (Bron: Wikipedia)

4. Mining citation information from CiteSeer data (bron)
D. Fiala. Mining citation information from CiteSeer data. Scientometrics, (April 2010):553–562, Nov. 2010.

In deze paper wordt gebruik gemaakt van de CiteSeer database. Deze database wordt niet handmatig maar automatisch gegenereerd en zou dus potentieel vol fouten kunnen zitten. De hypothese is dat door de grootte van de database deze fouten verwaarloosbaar zijn. Verschillende methodes werden hierop losgelaten. Uiteindelijk bleek dat de hypothese voor de populairste auteurs te kloppen. Auteurs die hoog scoren zijn vaak ook auteurs die prijzen in ontvangst mogen nemen.

5. More! A social discovery tool for researchers. (bron)
G. Parra and E. Duval. More ! A Social Discovery Tool for Researchers. In Proceedings of EdMedia10: World Conference on Educational Multimedia, Hypermedia and Telecommunications, pages 561–569. AACE, 2010.

In deze paper bespreekt men een applicatie waarbij een aggregatie van de belangrijkste informatieve (papers, blog, contact, sociale netwerken) van een spreker kan worden teruggevonden. Dit gebeurt met behulp van een QR-code. Het grote voordeel is dat het gemakkelijk is alle informatieve over een person snel en gemakkelijk terug te vinden. Het scannen van de QR-code gaat soms moeizaam en een smartphone is hierbij een must. Een luisteraar kan wel gemakkelijk de slides van de spreker terugvinden om zo beter te kunnen volgen. Alhoewel het ontwikkelen van dergelijke toepassingen als zeer belangrijk kan worden beschouwd, heeft het niets te maken met ons onderzoek.

6. What should I read next? (bron)
G. Parra, J. Klerkx, and E. Duval. What should i read next?: awareness of relevant publications through a community of practice. In CHI’13 Extended Abstracts on Human Factors in Computing Systems, pages 2375–2376. ACM, 2013.

In deze paper wordt de sociale netwerk site TiNYARM besproken. aTiNYARM is een netwerk voornamelijk gericht op onderzoekers die kunnen aangeven welke papers ze gelezen hebben of nog willen lezen. Ook kan men suggesties doen aan andere onderzoekers. In grote lijnen komt het overeen met de sociale netwerksite goodreads.com maar dan voor wetenschappelijke artikels in plaats van boeken.

Dit artikel focust zich voornamelijk op nieuwe media om Science 2.0 te ondersteunen. Aangezien wij ons meer toespitsen op alt. metrics is deze paper van minder belang voor ons. Desalniettemin is het een leerrijke paper en nuttig voor zowel beginnende en reeds gevorderde onderzoekers.

7. clickstrean Data yiels high resolution maps of Science. (bron)
J. Bollen, H. Van de Sompel, A. Hagberg, L. Bettencourt, R. Chute, M. A. Rodriguez, and L. Balakireva. Clickstream data yields high-resolution maps of science. PloS one, 4(3):e4803, Mar. 2009.

Dit is opnieuw een artikel uit PLos One. Zoals we reeds uit de voorgaande papers vernamen, wordt er al jaren gebruik gemaakt van het aantal citaties om een ranking op te stellen van wetenschappelijke publicaties. Doch duurt het een hele tijd alvorens een artikel wordt geciteerd. In deze paper nemen de auteurs een andere methode onder de loep, namelijk de zogenaamde “clickstreams”. Nu krijgt men in de plaats van een netwerk van citaties een opeenvolging van bezochte pagina’s. Wanneer men deze visueel voorstelt, verkrijgen we een duidelijker en voornamelijk vollediger beeld van alle interacties tussen verschillende onderzoeksdomeinen. Het grote voordeel van clickstreams ten opzichte van de gebruikelijke citaties is dat men op deze manier een up-to-date beeld kan vormen van het netwerk rond een paper. Onderzoekers hebben dus steeds de meest actuele informatie waarnaar ze op zoek zijn.

We kunnen de technieken die vermeld werden in de paper gebruiken voor ons eigen onderzoek, in die zin dat we een proefopstelling kunnen opzetten die enerzijds de gebruikelijke aantal citaties gebruikt als factor en anderzijds de clickstreams, gebruikersinformatie techniek. We hopen een duidelijk verschil op te merken tussen de verschillende methodes.

8. Components of a research 2.0 infrastructuur (bron)
T. Ullmann, F. Wild, P. Scott, E. Duval, B. Vandeputte, G. Parra, W. Reinhardt, N. Heinze, P. Kraker, A. Fessl, et al. Components of a research 2.0 infrastructure. Sustaining TEL: From Innovation to Learning and Practice, pages 590–595, 2010.

Deze publicatie bespreekt wat nodig is om open te communiceren / aan Research 2.0 te doen.
Voor ons zou het super handig zijn moest alles uit deze paper al gemeen goed zijn. Jammer genoeg zijn de meeste platformen nog zeer gesloten.

Vragen en opmerkingen zijn altijd welkom. U vindt onze contactinformatie op de contactpagina.

M	T	W	T	F	S	S
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

bp Alt.Metrics

kwalificatietechnieken onderling vergeleken

[VIDEO] Presentatie Science 2.0 en Alt. Metrics

Evaluatie Presentatie 28/10/2013

Presentatie literatuurstudie

Literatuurstudie

Hallo