2009-10-22 Blog Post on Project Paroli

English

Wikipedia goes offline!

With the recent developments in offline Wikis it has become apparent that the their use has grown far beyond an alternative collaboration tool. Countless wikis are used as a universal instrument of sharing and distributing aknowledge on almost any topic. But so far, participation requires constant access to the internet. This is bound to change.

Earlier this year the Wikimedia Foundation adopted the ZIM file format by openZIM[1] as its standard for displaying web content offline. ZIM is being developed since February and already has come a long way. It is working nicely and running smoothly even on embedded devices such as the Ben NanoNote[2] as well as the Neo Freerunner[3].

This flexibility and portability the project owes to its internal structure. Instead of a single, complex process, OpenZIM is designed to run in between existing applications. The ZimReader acts as a web-server allowing the user to browse the wiki's content with any browser available. The ZimReader as well as the ZimWriter, used to generate the ZIM files, are written in C++ and thus platform independent. ZIMlib can also be used as a drop-in, to make your application instantly ZIM-aware. The specifications of the ZIM format can be found on the project's wiki[4], alternative ZIM implementations - in your favourite programming language or framework - are welcome.

The heart of the project however is the ZIM format[4]. It is designed to be an efficient and universal way of storing large wikis in a single file. It can be used to compress virtually any data from a given database (PostgreSQL, MySQL, SQlite or Oracle) scheme or from a collection of files. "With ZIM we are trying to introduce a standard for offline wiki applications", the project team explains. Applications on platforms such as the iPhone, webOS or Symbian are also invited to join and with the Wikimedia Foundation already preparing automatic ZIM generators for the Wikipedia, it is only a matter of time.

The holy grail of ZIM is offline editing. "This is a must", Manuel Schneider, who is leading the openZIM effort, said and surprisingly added "The road is clear and the mechanisms in place, all that is needed is implementation". The project aims to have this ready next year. The process how to merge edits back is currently being discussed between different projects and the Wikimedia Foundation in San Francisco.

Of course, there have been several attempts in the past to create offline versions of the wikipedia and other wikis. However, what was missing was a cleanly structured and thought-through approach to solving the issues at hand. Open standards and collaboration, spanning across multiple platforms and areas of expertise, are vital in such an endeavor. OpenZIM is just that. A project were both, Wiki writers as well as application developers, meet and work together towards this standard.

"Bringing Wiki content to offline devices in a standardized and exchangeable way, using open standards and free software", is a bold and big goal indeed, but the openZIM team is going to tackle it one step at a time. As mentioned earlier the ZIM implementation is already functional and has been used in both commercial and free products. The current construction sites are the article categories and full text indexing as well as increasing performance while minimizing the memory footprint.

If you want to get involved in the openZIM project or have any questions or comments check their wiki and contact them via their mailing list[5].

Deutsch:

Français:

Italiano:

Rumantsch:

Spanish:

La Wikipedia se desconecta!

Con los recientes desarrollos en los Wikis fuera de linea se ha hecho evidente que su uso ha crecido mas allá de una herramienta colaborativa alternativa. Innumerables wikis están usándose como un instrumento universal para compartir y distribuir el conocimiento de casi cualquier tema. Pero hasta el momento, la participación requiere acceso constante a internet. Esto tiene que cambiar.

A principios de este año la Fundación Wikipedia adopto el formato de archivo ZIM de openZIM[1] como estándar para mostrar la información de contenido web fuera de linea. ZIM comenzó a desarrollarse desde Febrero y ya se ha recorrido un largo camino. Está trabajando muy bien y está funcionando incluso en dispositivos embebidos como Ben NanoNote[2] y Neo Freerunner[3].

Esta flexibilidad y portabilidad del proyecto se debe a si estructura interna. En lugar de un único proceso complejo, OpenZIM esta diseñado para correr entre aplicaciones existentes. El ZimReader actúa como un servidor web permitiendo al usuario navegar en los contenidos del wiki con cualquier navegador disponible. ZimReader como ZimWriter, es usado para generar los archivos ZIM, están escritos en C++ y así que son independientes de la plataforma. ZIMLib puede también ser usado internamente, para hacer su aplicación instantáneamente consistente con ZIM. Las especificaciones del formato ZIM puede encontrarlas en el wiki del proyecto[4], y las implementaciones alternativas - en su lenguaje de programación o entorno de desarrollo favorito - son bienvenidas.

Sin embargo el corazón del proyecto es el formato ZIM[4]. Este esta diseñado para ser eficiente y un camino universal para almacenar wikis grandes en un único archivo. Este puede se usado para comprimir virtualmente cualquier dato desde el esquema de base de datos dado (PostgreSQL, MySQL, SQlite or Oracle) o desde una colección de archivos. "Con ZIM estamos intentando introducir un estándar para las aplicaciones wiki fuera de linea", explica el equipo del proyecto. Aplicaciones en las plataformas como iPhone, webOS o Symbian son invitadas a unirse y con la Fundación wikipedia se están preparando generadores automáticos de ZIM para la Wikipedia, es únicamente cuestión de tiempo.

El santo grial de ZIM es la edición fuera de linea. "Esto es una necesidad", Manuel Schneider, quien es el líder del esfuerzo openZIM, diciendo y sorprendentemente agrega "El camino es claro y los mecanismos están establecidos, todo lo que se necesita es la implementación". El objetivo del proyecto es tenerlo listo el próximo año. El proceso de como mezclar las ediciones de vuelta esta siendo actualmente discutido entre diferentes proyectos y en la Fundación Wikipedia en San Francisco.

Por supuesto, allí se han tenido varios intentos para crear versiones fuera de linea de la wikipedia y otros wikis. Sin embargo, lo que faltaba era una estructura limpia, pensada y enfocada en solucionar los problemas a mano. Los estándares abiertos y colaboración, abarcada a través de múltiples plataformas y áreas de experticia, son vitales como un esfuerzo. OpenZIM es justamente esto. El proyecto hecho entre, los escritores Wiki como los desarrolladores de aplicaciones, conocimiento y trabajo juntos hacia este estándar.

"Acercar el contenido Wiki a dispositivos fuera de linea en un camino estandarizado e intercambiable, usando estándares abiertos y software libre", es la meta mas grande e importante, pero el equipo de openZIM esta tomando un paso a la vez. Como se menciono anteriormente la implementación de ZIM es completamente funcional y puede ser usado en productos comerciales y/o libres. El trabajo actual esta orientado a las categorías de artículos y la indexación de texto completo, así como aumentar el rendimiento y reducir al mínimo el uso de memoria.

Si usted quiere integrarse al proyecto openZIM o tiene preguntas o comentarios mire nuestro wiki y contactemos a través de la lista [5].