Blog

Currently showing blog posts in technology & ICT. For all blog posts, please click here.

EPOS Integrated Core Services Architecture Basics – TUTORIAL

 Bailo, Daniele;  Paciello, Rossana

10.5281/zenodo.3328658

The presentation outlines the basics of the EPOS Integrated Core Services Central hub, a system for integrate Data, Data Products, Software and Services provided by European data providers in the domain of Solid Earth Sciences.

The main architecture is shown and the technological choices are presented and discussed.


Read More

Tesi e Tirocini in contesto Europeo – Discipline informatiche

Ti stai per laureare o sei prossimo al tirocinio e ti piacerebbe fare un’esperienza in un contesto dinamico e internazionale?

Dai uno sguardo alla proposta di Tirocinio e Tesi dello European Plate Observing System (EPOS).

EPOS – European Plate Observing system

Istituto Nazionale di Geofisica e Vulcanologia

EPOS (www.epos-eu.org) è una infrastruttura di ricerca europea innovativa che ha lo scopo di integrare dati e servizi nel dominio delle scienze della Terra solida. Si tratta di dati e servizi relativi a terremoti, eruzioni vulcaniche, deformazioni geodetiche, osservazioni satellitari e altro, che presentano un alto grado di eterogeneità in termini di tecnologie di data provision, formati e modalità di presentazione delle risorse. L’integrazione avviene tramite un sistema avanzato, gli Integrated Core Services (ICS), che permette di ricercare, scaricare e analizzare dati delle comunità specifiche da un’unica piattaforma e interfaccia web.

La proposta di collaborazione rivolta a tirocinanti e tesisti interessati all’utilizzo di tecnologie innovative, mira a contribuire all’ulteriore sviluppo e ottimizzazione del sistema Integrated Core Services, e si sviluppa nei seguenti temi:

  • database relazionali (PostgreSQL) e non relazionali (e.g. MongoDB);
  • sistemi basati sul paradigma dei Microservizi;
  • ottimizzazione e tuning del sistema e dei servizi;
  • creazione di moduli Java e Python per mapping e conversione di dati e metadati;
  • creazione e ottimizzazione interfacce grafiche con AngularJS;
  • integrazione semantica, sviluppo e ottimizzazione di estensioni di DCAT-AP.

Le attività da svolgere saranno concordate con lo studente sulla base degli argomenti di interesse.

Informazioni

Dr. Daniele Bailo

EPOS-ERIC Technical Officer
Istituto Nazionale di Geofisica e Vulcanologia (INGV)
Via di Vigna Murata 605, 00143 Rome – Italy
daniele.bailo@ingv.it
Phone. +39 06-51860728

Riferimenti

  • epos-eu.org
  • Bailo, Daniele, and Keith G. Jeffery. “EPOS: a novel use of CERIF for data-intensive science.” Procedia Computer Science33 (2014): 3-10.
  • Jeffery, Keith G., and Daniele Bailo. “EPOS: using metadata in geoscience.” Research Conference on Metadata and Semantics Research. Springer, Cham, 2014.
  • Trani, Luca, et al. “Establishing Core Concepts for Information-Powered Collaborations.” Future Generation Computer Systems89 (2018): 421-437.
  • Bailo, Daniele, et al. “Mapping solid earth Data and Research Infrastructures to CERIF.” Procedia Computer Science106 (2017): 112-121.

data sciencedatabasedatieposICT & Webingegneria informaticajavaroma tresapienzasviluppotesi di laureatirocinio


Read More

Hiring Java + DBMS developer, Bergen

We are looking for a Java Developer with an affinity to learning and skills in Relational Databases. Our team is responsible for developing the EPOS Integrated Core Service platform, a system for integrating data and services in the field of solid Earth Sciences. Activities will be carried out in the framework of the European Plate Observing System initiative – https://www.epos-ip.org/

Responsibilities

The candidate will be required to join an international group of developers, and will be in charge of developing specific components of the EPOS Integrated Core Services data integration platform in Java.

The platform developed in Java will be your home. You will be developing new functionalities in a collaborative environment. You can look forward to a great degree of responsibility and autonomy for all aspects of software engineering; from gathering requirements, to architecture design, to user testing and training.

Interfacing with the main data source, i.e. the CERIF relational database, and guaranteeing its appropriate operation will also be part of the responsibilities.

Skills

Collaboration and team-working skills are of primary importance.

A good background in Java programming is required, together with basic background in relational database administration and SQL.

Passion and willing to explore new solutions and frameworks are also key skills.

You must have good communication skills, as we are working with different stakeholders in several countries. You are independent with a drive for excellence. Fluency in written and spoken English is a must, and you are expected to be able to present your ideas to a large group of people and carry out working discussions and teleconferences.

Ability of carrying out working discussions and teleconferences in English is a basic requirement.

If you are motivated by working in a challenging environment, then this is your chance. We offer lots of opportunities for you to grow both professionally and personally.

Technologies

Your primary task is Java development, so Java skills are a must. We use the Eclipse IDE with Git as our CVS, so intimacy with them is a strong plus. In addition to that, we have minor tasks involving Postgres and relational databases, so a good grasp on RDBMS ad SQL is required.

Also, you might need to look at various languages like Python and technologies like RabbitMQ, MongoDB. We do not expect you know these technologies, but you should be able learn new technologies and languages as needs arise.

Addiitonal knowledge of the following is a plus:

  • Languages and formats: HTML/CSS, XML/XSLT/XSD, JSON/JSON SCHEMA, TURTLE
  • Tools: Eclipse, or other IDE, GitLab

Seat, duration and Salary

You’ll be employed by University of Bergen (https://www.uib.no/en), Norway.

You will be required to stay in Bergen and you should have a residence and work permit in Norway (for EU-citizens this is automatically guaranteed).

Duration of contract is 6 months.

Opportunities of being hired in Rome by Italian Research Institution might occur after the end of the contract.

Salary is dependent on the qualifications and follow the Norwegian government regulations for State employees.

Information and application

For submitting your application or for any additional information please refer to the following contacts:

Ing. Daniele Bailo, INGV, daniele.bailo@ingv.it

Prof.Dr. Kuvvet Atakan, UiB, Kuvvet.Atakan@uib.no

******
Header Photo by Markus Spiske on Unsplash


Read More

Enhancing Research Infrastructures with VRE4EIC components: the EPOS success story

(This article was originally written for VRE4EIC Newsletter. Follow this link to the original source).

 

The European Plate Observing System (EPOS) highlights how its research infrastructure has become more efficient and user friendly by utilizing technology developed in the frame of the EU H2020 VRE4EIC project.

In the last decades quite an amount of tools, technologies and software has been developed to support and improve research throughout the entire data lifecycle[1]. This includes software, modeling tools, and even code that can be used and re-used by researchers around the world. However, more and more emphasis has been given to the structural components that enable a Research Infrastructure[2] to be sustainable, robust and, even most importantly, compliant to the FAIR principles[3]. Such principles prescribe–in order to enable reproducible science–that data need to be findable, accessible, interoperable and reusable. It is usually up to research infrastructure designers, developers and managers to find the best architecture and technologies to enable FAIR to become reality in their scientific domain. However, looking transversally at science domains, it is clear that there is a number of challenges common to several communities, as evidenced by the common requirements elicitation and analysis of existing technical assets carried out both in the VRE4EIC and ENVRIplus project[4].

In this framework, VRE4EIC is promoting the adoption of common, standard technical solutions in order to facilitate  Research Infrastructures in facing shared challenges and thus complying with FAIR principles.

This is the case of the European Plate Observing System (EPOS), a Distributed Research Infrastructure long-term plan to facilitate integrated use of data, data products, and facilities from distributed research infrastructures for solid Earth science in Europe.

In order to enable accessibility (the “A” of FAIR), the EPOS central hub, that provides access to a wealth of different types of data and services from communities, had to implement appropriate Authorization mechanisms. Such mechanisms are usually referred to as “AAAI”, which stands for Authentication, Authorization, and Accounting Infrastructure. Instead of creating such an infrastructure “from scratch”, EPOS took advantage of the existing VRE4EIC “AAAI Service”[5] building block. This component provides a “plug-and-play” solution for the authentication of users, and in addition it integrates different authentication mechanisms from various AAI providers (e.g. EDUGAIN, Facebook, Google and others) in one single system. Due to its integrability into service-based architecture, it can be easily plugged into micro-services-oriented architectures[6], such as the one of EPOS.

Figure 1: Example of integration of VRE4EIC Authentication services (AAAI) into EPOS central hub Graphic User Interface (GUI). The login box is rendered on the EPOS GUI, but actually managed and ran by VRE4EIC Authentication service building block. Such component is part of the VRE4EIC prototype and runs on VRE4EIC servers made available by project partners (in this case CNR ISTI – Pisa).

 

The EPOS User Interface is presented in Figure 1. It enables the discovery and search of datasets in the solid Earth domain, which includes several communities such as Seismology, GPS, satellite data, volcanic observatories and others. An authentication widget is also available for access to specific dataset. The authentication in this case is managed by the VRE4EIC AAAI service component, that is simply “plugged-in” into EPOS main system.

Starting from this first pilot, EPOS has also benefitted from VRE4EIC studies and developments in other fields. For instance for the workflow management and the metadata system architecture (both projects use the CERIF[7] model).

The EPOS use case has several important implications. The first one is that this pilot has demonstrated the suitability of the strategy adopted by VRE4EIC for supporting and enhancing e-Research Infrastructures, in particular with respect to the AAAI service.

The second one, related to research infrastructure sustainability, is that it saved efforts in integrating authentication services on EPOS, with all related technical and security issues, not to counting the development efforts that were optimized by adopting an EU-funded solution.

Third, on the user side, it allows end users to access through existing credentials from Facebook, eduGAIN, and other Identity Providers, to log in easily to EPOS or any other Research Infrastructure enhanced by VRE4EIC Authentication service.

Now, a future-oriented exercise is due: imagine that many other research infrastructures would use such shared solutions produced by VRE4EIC. How much development and sustainability efforts would they save by integrating in an easy way metadata catalogue services, AAAI services, and other common solutions?

The answer is not trivial, also because other players are available on the EU landscape. However, the expertise brought in by a pool of scientist and engineers in VRE4EIC, strongly connected with the communities, and with skills in the integration of several research infrastructures in various domains, is doubtless precious and capable of optimizing the technical dimension and sustainability, as demonstrated by the EPOS pilot.

 

[1] For an overview of the Data Lifecycle see https://www.dataone.org/data-life-cycle

[2] Definition of Research Infrastructure by EU funding body https://ec.europa.eu/research/infrastructures/index.cfm?pg=about

[3] M. D. Wilkinson et al., “The FAIR Guiding Principles for scientific data management and stewardship,” Sci. Data, vol. 3, p. 160018, 2016.

[4] “ENVRIplus is a Horizon 2020 project bringing together Environmental and Earth System Research Infrastructures, projects and networks together with technical specialist partners to create a more coherent, interdisciplinary and interoperable cluster of Environmental Research Infrastructures across Europe”. “Theme 2” deliverables report an overview of common elements and requirements in the various Environmental Research Infrastructures http://www.envriplus.eu/deliverables/

[5] More information about the VRE4IEC AAAI building block can be found here https://www.vre4eic.eu/images/Public_deliverables/D3.3_Building_Blocks.pdf

[6] A extensive compendium about Microservices architecture and techniques can be found in S. Newman, Building Microservices. O’Reilly Media…

[7] CERIF stands for Common European Research Information Format, see https://www.eurocris.org/cerif/main-features-cerif and https://www.eurocris.org/eurocris_archive/cerifsupport.org/cerif-in-brief/index.html

aaaieposeuropemyjobResearch Infrastructurerivre4eic


Read More

Come avere milioni di follower su Instagram: 10 principi infallibili

Guardando qua e la, esaminando me stesso, parlando con amici e colleghi, ho scoperto che la sete di like – quel cuoricino e quel pollice alzato che ci gratificano un po’ nel grigiume di alcune giornate – è una patologia trasversale.

Attraversa ceti sociali, differenze di genere, livelli culturali normalmente distanti, diversi stati di vita: dal prete al professore, dal macellaio all’adolescente, dalla massaia al tassidermista, tutti cercano l’altrui plauso, almeno un po’.

10 principichiara ferragnifacebookfollowerfollower how toICT & Webinstagramlikemetodonetworksocial


Read More

How Research Infrastructures can take advantage of interoperable VRE building blocks

Well, it’s weird: I’m at the same time proud and shy about the video we released in the framework of VRE4EIC project.

It was funny: I had just landed at Schipol airport and then rushed to TUDelft university… and I found myself at the New Media Center in front of a camera, in a soundproof studio with a bright-green background, just a few people watching (or staring at? :)) me behind the soundproof glass and I had to start talking with my south European English accent (that’s the embarrassing part :))

Well, I think I realized how fishes feel in their fish-bowls!

By the way, the people from the studio were great and patient, and they explained clearly how it would work. So we just had to leverage on the huge work we did previously, that is to say the preparation of the video – lecture.

The topic of the videos is How research Infrastructures can take advantage of interoperable VRE building blocks.

In the first part I explained what research infrastructures are, what distributed research infrastructures can provide to users, and what is their governmental and technical organisation. Real examples were be done by discussing the EPOS use case.

In the second part the focus was on how interoperable building blocks developed in the framework of VRE4EIC can be used to enhance Functionalities of Research Infrastructures. An example was be illustrated by discussing and analysing the EPOS use case.

PART 1

PART 2

I hope you enjoy the two videos.

eposlavorolectureslezioniResearch Infrastructurevideovre4eic


Read More

Virtual Research Environment, Science Gateways, Virtual Laboratories. What’s the difference?

A debate is currently active, mostly between some of the major players in the field of Virtual Research Environments, i.e. VRE4EIC and other European project teams. They are trying to define commonalities and differences among Virtual Research Environments (VRE), Science Gateways (SG) as used in North America and Virtual Laboratories (VL) as used in Australia

A general agreement was found on the definition of a VRE, that usually provides not only access to ICT services, data, software components and equipment but also provides a collaborative working environment for cooperation and supports the research lifecycle from idea to publication while also supporting research management and administration.

However different positions are taken with respect to the SGs and VLs, considered both as synonyms or as different objects: SGs are mainly portals to access data and VLs provide a collection of datasets, software and computing resources for researchers to construct their own environment.

[Originally published at https://www.epos-ip.org/top-tips-virtual-research-environments-science-gateways-and-virtual-laboratories]

 

 

HEADER IMAGE Photo by Luca Bravo on Unsplash

 


Read More

Scienza e social media – Part IV (the end)

Dopo aver visto in un post precedente alcuni dei motivi tecnologici successo dei social networks, vediamo ora quale sia la nuova ricchezza in questa era social, e quali siano le opportunità e i rischi per la scienza in questo scenario.

 

 4 La nuova ricchezza: i dati e lo stream

Nello scenario sin qui mostrato, la nuova ricchezza è costituita quindi da una parte dai dati e dal loro possesso, dall’altra dalla possibilità di condividerli e  di avere questo ‘flusso continuo’ (il cosiddetto ‘stream’) sempre aggiornato.
Il possesso di dati può essere in maniera abbastanza semplice correlato ad una ricchezza economica: le possibilità offerte dagli strumenti statistici e informatici di esplorare i dati  (data mining) permette infatti di trarre informazioni preziose utilizzabili strategicamente in ambito economico. Questa azione, tra l’altro, viene promossa a livello intercontinentale (Stati Uniti ed Europa) con azioni che tendono a diffondere le politiche di open data, ovvero politiche che favoriscono l’apertura a tutti di tutti i dati (si vedano i due esempi italiani, a livello nazionale e regionale).
Il flusso dei dati (lo stream) è altrettanto prezioso poichè attrae una grande quantità di utenti: è quello che succede su facebook quando si consulta la propria “bacheca” in cerca delle novità degli amici. Questo garantisce quindi una presenza costante di utenti, a cui è possibile veicolare messaggi pubblicitari e che possono inoltre essere in un certo modo ‘indirizzati’ a contenuti di interesse (pubblicità, siti compravendita online ecc).
In questo contesto prenderemo in esame gli aspetti più legati alla scienza.

4.1 Opportunità collaborative offerte alla scienza

Al giorno d’oggi infatti l’idea romantica di scienziato che solo nel suo laboratorio scopre e governa le leggi della materia e del cosmo è non solo obsoleta, ma inadeguata ad affrontare le sfide che la stessa scienza pone.

La scienza ha bisogno di team di scienziati che in maniera collaborativa lavorino insieme per raggiungere obiettivi. Questo è richiesto sia dall’incremento della mole di dati da annalizzare (impossibile per un singolo essere umano senza l’ausilio di un gruppo di ricerca coordinato e di mezzi tecnologici opportuni) sia dal carattere sempre più interdisciplinare che riveste la ricerca, la quale può trovarsi a trattare singoli temi da punti di vista diversi (si pensi solo al tema del DNA che riveste gli ambiti biologico, chimico, teorico, matematico, computazionale…).

Tali considerazioni sono vere in particolar modo per i campi della scienza (diversi dagli studi in laboratorio o teorici) che effettuano monitoraggio e che quindi sono intrinsecamente legati ad aspetti sociali, collaborativi e di condivisione dei dati, come nel caso della sismologia e delle reti sismiche.

Inoltre, per come si configura oggi la prassi della ricerca scientifica, sovente legata a progetti di ricerca nazionali od europei, risulta quasi ovvia non solo l’utilità ma anche la necessità di strumenti sociali e collaborativi, con le caratteristiche descritte precedentemente, che promuovano il dialogo e lo scambio di informazioni tra soggetti che lavorano sullo stesso progetto.

4.2 Rischi comunicativi

I social media, tuttavia, presentano ancora delle sfide, in particolar modo per quanto riguarda i rischi comunicativi che possono essere brevemente elencati:

  • Privacy. La privatezza delle informazioni, specialmente se si tratta di dati sensibili o scientifici, è fondamentale e non sempre adeguatamente curata. UN tipico esempio, allo stato attuale, è dato da tutti i siti a cui è possibile “accedere tramite facebook”. Chi acconsente a queta azione fornisce infatti libero accesso a tutti i propri dati da parte del sito a cui si è acceduti “tramite facebook”, e le informazioni su questa perdita di privacy non sempre sono adeguatamente illustrate.
  • Protezione tramite crittografia: insieme al miglioramento degli algoritmi di crittografia, c’è un aumento delle risorse per ‘craccare’ i dati protetti. Questa è una sfida in continua evoluzione. Fra pochi anni sarà possibile probabilmente scoprire password anche lunghe, e l’unica maniera per avere un accesso sicuro sarà fornire dati “più personali” non tutelando quindi adeguatamente la propria privacy.
  • Incomprensione tra soggetti: sebbene le tecnologie dei SN e, più in generale, collaborative, promuovano e semplifichino la comunicazione, ci sono ancora aspetti culturali, personali e storici che possono complicare il processo comunicativo e che non sono affatto da sottovalutare, come risulta evidente nell’ambito di grandi progetti scientifici europei e , ancor di più, nelle collaborazioni pan-europee. In questa prospettiva, la collaborazione portata avanti attraverso incontri personali, conferenze, riunioni risulta ancora il mezzo più efficace per ragionare assieme in maniera produttiva e creativa.
  • Il problema dello “SPAM”: un grosso problema da arginare è, inoltre, quello dei dati senza significato (il cosiddetto spam, nel gergo informatico utilizzato soprattuto in relazione alla posta elettronica indesiderata).
    Per questo motivo i metadati collegati al dato, che sono uno degli elementi fondamentali del web semantico, rivestono ora come mai una fondamentale importanza, poichè permettono di dare un significato ai dati e quindi rendono una macchina in grado di selezionare in maniera semplice 8e rapida) i dati di interesse da quelli ‘spazzatura’.

 Conclusioni

In conclusione, la scienza nell’era dei social media può trarre grande vantaggio da tutti gli aspetti collaborativi che i social network mettono a disposizione.

Essa potrà esprimere al meglio le potenzialità di progresso di cui da sempre è stata foriera se saprà emendarsi dai timori collegati ai rischi dei social networks e sfruttarne al massimo le potenzialità collaborative e di aggregazione sociale che tali reti presentano.

**************

Bene, questo breve excursus su scienza e social media è finito.
Come al solito, ogni tipo di feedback è gradito tramite i commenti qui sotto.

A presto!

 

 

 

HEADER IMAGE Photo by jesse orrico on Unsplash

big datafacebookgoogle plusscienzasocial mediasocial sciencestecnologytecnology & ICT


Read More

Scienza e social media – Part III

Dopo aver visto in un post precedente cosa siano i social network ed alcuni dei motivi sociali del loro successo, vediamo ora alcuni delle ragioni tecnologiche della loro immensa diffusione.

 

 3 Motivi tecnologici del successo dei Social Networks

I bisogni descritti sopra hanno potuto, tuttavia, trovare soddisfazione almeno parziale anche e soprattutto grazie all’evoluzione tecnologica senza precedenti nella storia dell’umanità, che ha reso possibile la diffusione dei SN per mezzo di:

  • Interfacce grafiche accattivanti e di facile utilizzo. Tale tema è vastissimo, mi limito ad alcuni accenni, come ad esempio l’esplosione del web 2.0. Esso è, in sintesi, un insieme di interfacce e di meccanismi che rendono l’esperienza di navigazione estremamente interattiva e personalizzata. Ciò è possibile con l’uso intensivo di insiemi di tecnologie e di standards come HTML5CSS3javascript. Esse integrano, oltre ad espetti esteticamente gradevoli, anche l’uso della georeferenziazione al fine di erogare i contenuti più adatti all’utente, assemblandoli con contenuti anche esterni e di terze parti di possibile interesse per l’utente.
    Tali nuove tecnologie comprendono protocolli asincroni che riducono i tempi di attesa apparente dell’utente, fornendo un elemento web alla volta e non obbligando l’utente ad aspettare il caricamento completo dei contenuti prima di visualizzare qualcosa; essi inoltre danno la sensazione singolare di “partecipare ad una esperienza” più che di “consultare dei contenuti”.
    Le interfacce grafiche, che ora includono messivamente animazioni, transizioni, modifiche dinamiche dell’aspetto dei contenuti (cf ad esempio le nuove specifiche per i fogli di stile CSS3) aumentano tale aspetto esperienziale.
  • Supporto per grandi moli di dati. Volendo schematizzare con una pseudo equazione, potremmo scrivere molti utenti=molti dati. Il paradigma secondo cui i dati dovevano essere accentrati su una sola macchina si sta rivelando insufficiente per le applicazoini relative ai SN che hanno avuto una incredibile espansione anche grazie a basi di dati distribuite che consentissero un elevato thorughput di transazioni e la possibilità di replicazione, anche a scapito della consistenza in tempo reale che non si è rivelata fondamentale per molte applicazioni dei SN.
    Tali basi di dati sono spesso basate su paradigmi non relazionali, o no SQL, come ad esempio couchDBmongoDBCassadra etc3
  • Incremento della banda. Un altro elemento che ha promosso la diffusione dei SN è l’aumento della banda di comunicazione, che permette il trasferimento di una mole sempre maggiore di dati e di un grande numero di transazioni al secondo, e quindi – osservandone l’aspetto concreto e quotidiano – consente agli utenti di stare collegati senza interruzione e di condividere la loro vita sui SN tramite foto, messaggi, notifiche di spostamento ecc.

 

Fra qualche giorno analizzeremo quale sia la nuova ricchezza nel mondo dei social e quali siano le opportunità che ssa fornisce alla scienza… stay tuned.

E per qualsiasi domanda, lascia un commento qui sotto.

 

 

CITAZIONI

3 per la consistenza e i database non relazionali si veda “CAP theorem” su wikipedia o su “couchDB, the definitive Guide”

 

 

HEADER IMAGE Photo by Samuel Zeller on Unsplash

 

big datafacebookgoogle plusscienzasocial mediasocial sciencestecnologytecnology & ICT


Read More

Iscriviti

Ricevi i post nella tua email

Il tuo indirizzo: