Per fortuna non è ancora una disciplina “ufficiale” e forse mai lo sarà, ma da qualche tempo esiste un tool che potrebbe dare un senso alla “programmazione orientata alla cattura dello schermo”.

L’applicazione in questione si chiama Sikuli e si propone di fornire una soluzione in tutti quei casi in cui ci sia necessità di un tool “quick-and-dirty” per l’automatizzazione di un qualche tipo di interazione con una GUI. Immagino che per chi sviluppa software il caso d’uso più ovvio sia quello legato al Testing di un’applicazione, ma credo che il tool in questione si farà invece notare per altri tipi di utilizzo, come eseguire operazioni ripetitive e difficilmente scriptabili (almeno per coloro che sul PC usano più Outlook che PowerShell) quali ad esempio l’impostazione di nuovi parametri di rete o del proxy HTTP.

Sikuli, progetto di ricerca sviluppato dallo User Interface Design Group del MIT Computer Science And Artificial Intelligence Laboratory, è sostanzialmente un engine in grado di eseguire script (definiti con un linguaggio proprietario) in grado di rilevare la presenza di frammenti di screenshot e di interagire con essi in maniera interattiva (sostanzialmente simulando l’azione di mouse e tastiera). In questo modo è ad esempio possibile scrivere uno script che rilevi tutte le “star” all’interno di gmail e le clicchi semplicemente così:

Notevole, eh?

E cosa dire di questo script?

Non è forse il linguaggio di scripting parlato dal nostro cervello?

Vale la pena inoltre considerare che gli script di Sikuli vengono tipicamente assemblati all’interno di una GUI che permette di definire gli elementi grafici da rilevare direttamente attraverso la cattura di frammenti del desktop, con l’ulteriore flessibilità data dal poter impostare quanto “precisamente” debba essere applicato l’algoritmo di “riconoscimento”.

Il mio consiglio è ovviamente di provarlo, iniziando con il download che trovate qui.

Se volete provare Sikuli (che è un’applicazione Java), ricordatevi però che su macchine a 64 bit dovrete prima installare una versione di JRE a 32 bit per poi modificare il file .bat relativo all’avviamento dell’applicazione esplicitando il percorso della versione a 32 bit di java.exe, piuttosto che quello registrato nella variabile d’ambiente PATH.