Migração do Portal Modelo 3

O Portal Modelo 2.0 foi criado utilizando a versão 2.5 do Plone, enquanto o Portal Modelo 3.0 é construído sobre a versão 4.3 do Plone. No período contido entre o lançamento do Portal Modelo 2 e do Portal Modelo 3 o Plone teve 8 versões e 55 releases e, para qualquer software, uma atualização com tantos passos intermediários torna-se complexa e deveria ser muito bem estudada.

É importante lembrar que a equipe de desenvolvimento do Plone tem dedicado um cuidado especial ao tópico da atualização de versões e que se estivéssemos falando apenas de conteúdos criados com os tipos de conteúdo padrão do Plone a migração entre as versões seria apenas uma questão de copiar a base do site antigo para o site novo e ativar o mecanismo de migração contido no próprio Plone.

Porém, o Portal Modelo 2 continha diversos produtos adicionais (de terceiros), como por exemplo o PlonePopoll, CMFSin, PloneGazette, Poi e etc, e estes foram descontinuados ou não possuem um mecanismo de migração completo e confiável. Isto, somado ao fato de que a própria arquitetura da informação do Portal Modelo 3 foi reestruturada, elimina uma migração utilizando apenas o mecanismo padrão do Plone.

A abordagem detalhada neste documento para realizar esta migração entre diferentes versões do Portal Modelo é a de exportarmos todo o conteúdo para um formato intermediário, realizar a serialização dos dados do portal como arquivos em formato JSON no sistema de arquivos, e realizar a importação dos mesmos em uma nova estrutura com o Portal Modelo 3 instalado, usando um mecanismo disponível nessa nova versão.

Exportação dos Dados

Para a realização da exportação dos dados de um Portal Modelo 2 existente, é preciso incluir mais dois pacotes Python na sua instalação: simplejson e collective.jsonify. Vamos assumir neste tutorial que a instalação do Portal Modelo 2 foi feita através do seu instalador padrão e, portanto, há um Python independente só para o portal. Se for diferente disso, você deverá referenciar nos comandos abaixo o Python que roda o portal.

Como o Portal Modelo 2 utiliza o Python 2.4 é preciso garantir que a versão do simplejson seja a 2.1.0, que é a compatível com esta versão do Python, e isto é feito durante a instalação do pacote, usando o comando easy_install do mesmo interpretador Python usado para a execução do portal. A versão do easy_install disponível no Python do Portal Modelo 2 é a 0.6 e, antes disso, será preciso atualizá-la para a 1.4.2, que é mais recente versão compatível com o Python 2.4:

$ cd /var/interlegis/PortalModelo-2.0/Python-2.4/bin
$ sudo ./easy_install -U 'setuptools==1.4.2'

Só então será possível instalar o simplejson:

$ sudo ./easy_install -Z 'simplejson==2.1.0'

Caso o comando easy_install não esteja disponível, sua instalação deverá ser feita da seguinte maneira:

$ cd /tmp
$ wget --no-check-certificate https://bitbucket.org/pypa/setuptools/raw/bootstrap-py24/ez_setup.py
$ sudo python ez_setup.py

Para a instalação do pacote collective.jsonify é necessário baixá-lo do repositório GitHub, descompactá-lo e então instalá-lo no mesmo interpretador Python do Portal Modelo 2:

$ mkdir /tmp/collective.jsonify
$ cd /tmp/collective.jsonify
$ wget --no-check-certificate https://github.com/collective/collective.jsonify/archive/master.zip
$ unzip master.zip
$ cd collective.jsonify-master
$ sudo /var/interlegis/PortalModelo-2.0/Python-2.4/bin/python setup.py install

Com os pacotes necessários instalados, podemos executar a exportação do conteúdo do Portal Modelo 2 utilizando o script exporta_pm.py exibido a seguir:

# -*- coding: utf-8 -*-
from AccessControl.SecurityManagement import newSecurityManager
from collective.jsonify import get_item

import simplejson as json
import os

def get_children(path):
    children = ct.searchResults(path={'query': path,
                                      'depth': 1},
                                sort_on='getObjPositionInParent')
    if children:
        data = [{'id': b.getId,
                 'title': b.Title,
                 'portal_type': b.portal_type}
                for b in children]
        if not os.path.exists('dados%s' % path):
            os.makedirs('dados%s' % path)
        arq = open('dados%s/children.json' % path, 'wb')
        arq.write(json.dumps(data))
        arq.close()

newSecurityManager(None, app.acl_users.getUserById('admin'))  # noqa

site = app.portal  # noqa
path = '/portal'

ct = site.portal_catalog
uid_catalog = site.uid_catalog

all_uids = uid_catalog()
p_to_uid = dict([('%s/%s' % (path, b.getPath()), b.UID) for b in all_uids])

get_children(path)
results = ct.searchResults(path=path)

fail = []

for brain in results:
    obj = brain.getObject()
    data = get_item(obj)
    path = brain.getPath()
    if not os.path.exists('dados%s' % path):
        os.makedirs('dados%s' % path)
    arq = open('dados%s/data.json' % path, 'wb')
    arq.write(data)
    arq.close()
    get_children(path)
    try:
        uid = p_to_uid[path]
    except:
        fail.append(path)
    print uid, path, len(data)

if fail: print 'Failed: %s' %fail

Para cada site a ser exportado deve-se alterar as variáveis site e path, substituindo o valor portal pelo valor adequado (o nome curto do site Plone a ser migrado). Se o site estiver dentro de uma pasta, será necessário informar o path completo da pasta nas duas variáveis. Este script deve ser criado no diretório raiz da instância do Portal Modelo 2 e para seu funcionamento deve-se criar um diretório chamado dados, neste mesmo local.

A execução do script deve ser feita utilizando-se o comando zopectl, conforme sequência abaixo:

$ cd /var/interlegis/PortalModelo-2.0/instances/client1
$ wget --no-check-certificate https://colab.interlegis.leg.br/raw-attachment/wiki/MigracaoPortalModelo/exporta_pm.py
$ sudo mkdir dados
$ sudo ./bin/zopectl stop
$ sudo ./bin/zopectl run exporta_pm.py

Ao término da execução teremos replicada toda a estrutura de objetos do Portal Modelo, referenciado no script acima, exportados como arquivos JSON, dentro do diretório <instancia>/dados/<id_do_site>.

Importação dos Dados

A importação dos dados é implementada no pacote interlegis.portalmodelo.policy utilizando-se do mecanismo chamado Transmogrifier. Foi criada uma pipeline chamada portalmodelo20 que contempla a migração dos conteúdos para dentro do Portal Modelo 3.0.

Para seu funcionamento é necessário que esteja definida uma variável de ambiente chamada SITE_EXPORT indicando onde estão os arquivos da exportação dos dados, por exemplo:

$ export $SITE_EXPORT=/home/interlegis/dados/cm_brasopolis/

A execução da pipeline é feita, via navegador, ao acessar o endereço http://<site>/@@importa-pm20. Este endereço existe apenas para usuários autenticados no portal e autorizados com o papel de Manager. Tente sempre realizar este acesso diretamente na instância de produção -- sem passar por servidores web e/ou proxies -- pois como o procedimento de importação toma um tempo considerável é provável que ocorra um timeout de qualquer servidor intermediário.

Considerações

O processo de migração dos dados foi testado com Portal Modelo 2.0 e o conteúdo gerado com ele. Caso existam pacotes adicionais e/ou personalizações feitas sobre a solução, não é garantido o sucesso da migração.

Como houve a alteração da arquitetura da informação entre as versões 2.0 e 3.0 do Portal Modelo, trabalhamos para que a migração dos dados seguisse este novo padrão, porém é recomendado que o gestor do portal faça uma análise minuciosa do conteúdo migrado.

Layouts e personalizações visuais do design do site não serão levadas para o novo ambiente, pois implicam em mudanças visuais e estruturais de interface que não têm como ser automatizadas, já que no Portal Modelo 3 as customizações de layout são feitas utilizando-se o Diazo com temas empacotados e importados no portal.


Voltar para o ProjetoPortalModelo

Última modificação 5 anos atrás Última modificação em 19/12/2014 10:11:29

Anexos (1)

Download de todos os anexos como .zip

 

The contents and data of this website are published under license:
Creative Commons 4.0 Brasil - Atribuir Fonte - Compartilhar Igual.