DBD-pg ActiveState & MSVC2013

Dernière étape de notre périple : compiler le driver DBI pour postgresql 9.3 sous Windows.

On suppose que sont déjà installés ces 3 logiciels :
-    Visual C/C++ (MSVC 2013)   (la version gratuite dite 'express' est suffisante)
-    Perl d’ActiveState 5.16           (vous devez pouvoir l’exécuter depuis la ligne de commande)
-    PostgreSQL 9.3.x                     (vous devez pouvoir vous y connecter en local)

(les versions sont données à titre indicatif. Il peut y avoir de variations)

1) Préparer le Makefile de DBD-pg

Télécharger ici : http://search.cpan.org/~turnstep/DBD-Pg/
puis décompacter les sources de DBD-pg 3.x

Ouvrir une ligne de commande (cmd.exe) à la racine des sources de DBD-pg
et taper ces 3 commandes:(à adapter suivant les versions de Postgres et de VC)

"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\vcvarsall.bat"
"C:\Program Files (x86)\PostgreSQL\9.3\pg_env.bat"
perl Makefile.PL

Si les environnements VC, Perl et PostgreSQL sont corrects tout se passe bien.

2) Compilation de DBD-pg

Taper la commande

nmake  

Si vous avez l’erreur  'C:\Program' is not recognized as an internal or external command, operable program or batch file. Voir dans l’article sur la compilation de mod_perl comment le corriger.

3) Tests de DBD-pg

Avant de lancer les tests il faut créer un rôle de connexion  ‘test’ et une base de donnée ‘test’ appartenant au rôle ‘test’
NB: Si vous utilisez Postgresql 9.0 ou + récent, il faut que ce rôle ai les droits de superviseur sur la base ‘test’.

Adaptez si nécessaire et taper ces 3 commandes :

Set DBI_DSN=dbi:Pg:dbname=test
Set DBI_USER=test
Set DBI_PASS=xxxx

Puis lancer les tests :

nmake test

* Si vous avez des caractères ou des texte bizarres  et/ou si vous avez des erreurs du type
Failed test 'Dollar quotes with invalid characters are not parsed as identifier
C’est parce que les messages d’erreurs de postgresql ne sont pas en Anglais !
Le test attend « syntax error » et il trouve « erreur de syntaxe », et ça lui va pas...

Pour passer les messages du serveur postgresql en anglais :
Éditer le fichier postgresql.conf (il est dans le répertoire data) et remplacer 
  lc_messages = 'French_France.1252'
par 
  lc_messages = 'en_EN.utf8'

Truc : Pour passer la console Windows en UTF8 taper la commande
chcp 65001

Pour que le changement dans postgresql.conf prenne effet arrêter/redémarrer le serveur postgresql depuis une console en admin :

sc stop postgresql-9.3
sc start postgresql-9.3

* Que faire si vous avez l’erreur suivante ?
    error: permission denied for relation pg_largeobject

Depuis PostgreSQL 9.0 il faut être superuser de la base pour accéder à pg_largeobject.
L’erreur est donc normale si le user ‘test’ n’est pas superuser ET si c'est au moins posgres 9. Vous pouvez lui donner ce droit, refaire les tests.

* Si tout se passe bien ça finit par

...
t/99cleanup.t ....... 1/1 Removing test database directory
t/99cleanup.t ....... ok
All tests successful.
Files=16, Tests=2089, 21 wallclock secs
Result: PASS

 

4) Installation de DBD-pg

Dernière commande:

nmake install

Il s’agit juste de copier des fichiers donc pas de problèmes attendus.


Partez pas !
Il reste à supprimer la base de donnée et le rôle utilisé pour les tests.

mod_perl ActiveState & MSVC 2013

Après ce mémo sur compilation de Apache 2.2.x avec MSCV 2013 voici la compilation de mod_perl 2.0.x en utilisant le perl de ActiveState. (Avec Strawberry c’est encore plus compliqué car il utilise le compilateur gcc de MinGW)

Le Perl utilisé doit être au minimum 5.8.2 et être compilé avec les options usethreads , useithreads et usemultiplicity.  Pour le vérifier taper: perl –V:uses.+

En théorie il suffit de 4 commandes pour installer mod_perl

perl Makefile.PL MP_AP_PREFIX=\Path\to\Apache2.2.x
nmake
nmake test
nmake install

Malheureusement il y a quelques bugs…


1) Première étape, premier bug

Télécharger les sources de mod_perl 2.0.x ici : http://apache.org/dist/perl/

Assurez vous d’avoir le Perl et le bin de msvc dans le PATH puis, depuis la racine des sources de mod_perl, tapez ces 3 commandes:

"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\vcvarsall.bat"
set MP_USE_MY_EXTUTILS_EMBED=1
perl Makefile.PL MP_AP_PREFIX=\Path\to\Apache2.2.x

Premier problèmes; Vous n’avez pas la librairie apxs.
Il propose de la télécharger, mais l’url est invalide.

Install apxs now? [yes]
Download of http://perl.apache.org/dist/win32-bin/apxs_win32.tar.gz failed

La bonne url est: https://archive.apache.org/dist/perl/win32-bin/apxs_win32.tar.gz

Il faut éditer le fichier build\win32_fetch_apxs et remplacer
    my $remote = 'http://perl.apache.org/dist/win32-bin/' . $file;
par
    my $remote = 'https://archive.apache.org/dist/perl/win32-bin/' . $file;

Cette fois le commande perl Makefile.PL MP_AP_PREFIX=\Path\to\Apache2.2.x  doit aboutir.


2) Deuxième étape (compilation), deuxième bug

L'étape suivante consiste à exécuter (toujours depuis la racine des sources de mod_perl)

nmake

Mais ça ne marche pas car on obtient :

'C:\Program' is not recognized as an internal or external command, operable program or batch file.
NMAKE : fatal error U1077: 'cd' : return code '0x1'
Stop.

Il faudrait éditer le fichier Makefile et ajouter les quotes au path de MAKE.

MAKE = “C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\BIN\nmake.exe”

mais ce bug est dans tous les Makefile des sous répertoires. Au total cela en fait plus de 60 !

La solution que j’utilise est d'éditer le module \Perl\lib\ActivePerl\Config.pm  et d’ajouter des quotes autour de $prog

for (@make) {
    if (my $prog = _find_prog($_)) {
    $_[0] = $OVERRIDE{$key} = "\"$prog\"";

Mais en ajoutant ces quotes on rend une expression régulière invalide. Il faut éditer \Perl\lib\ExtUtils\MM_Win32.pm et corriger la fonction is_make_type() en supprimant le $ de la fin de l’expression régulière

sub is_make_type {
    my($self, $type) = @_;
    return !! ($self->make =~ /\b$type(?:\.exe)?$/);
}

Avec ces 2 modifs on peut exécuter nmake sans avoir d'erreurs.


3) Troisième étape (tests), troisième bug

nmake test

Le daemon httpd.exe va être exécuté, certains tests ne sont pas exécutés s’il manque des dépendances mais certains vont échouer (en tout cas avec la version mod_perl 2.0.8) !

t/api/err_headers_out.t (Wstat: 0 Tests: 6 Failed: 3)
Failed tests: 2-3, 5
Files=1, Tests=6, 2 
Result: FAIL
Failed 1/1 test programs. 3/6 subtests failed. 

Solution: Dans le fichier t\api\err_headers_out.t il faut remplacer à deux endroits:
  if defined HTTP::Headers->VERSION and HTTP::Headers->VERSION==6.00;
par
  if defined HTTP::Headers->VERSION and HTTP::Headers->VERSION>=6.00;

Avec ces 2 modifs on peut exécuter nmake test sans avoir d'erreurs.


4) Dernière étape

nmake install

et ça marche (enfin) !

Apache 2.2 & MSVC 2013

La branche 2.2.x du serveur http d’Apache a une importance particulière car mod_perl  y fonctionne correctement ce qui n’est pas le cas avec la nouvelle branche 2.4. Apache 2.2, bien qu'encore supporté, commence à dater. La version 2.2.0 date de décembre 2005. Depuis, les compilateurs ont évolués et des problèmes commencent à apparaitre. C’est le cas avec Visual Studio 2013 et sa « Plateform Toolset v120 ».

Voici ce qu’il faut corriger pour pouvoir compiler le serveur http 2.2 d'Apache avec MSVC 2013.

1) Télécharger

1. Les sources du serveur http 2.2.xx d’Apache depuis : http://www.apache.org/dist/httpd/ 
2. Les sources de APR-iconv. Les librairies pcre, APR et AP-utils sont incluses avec les sources de Apache mais pas APR-iconv  car les systèmes Unix fournissent déjà iconv() . Pour Windows ce n’est pas le cas, il faut donc télécharger cette librairie et la mettre dans le répertoire srclib sous le nom apr-iconv (sans aucun numéro de version). On trouve cette librairie ici : https://apr.apache.org/download.cgi 
3. awk est utilisé pour générer la configuration du serveur (httpd.conf). On peut le télécharger ici  http://sourceforge.net/projects/gnuwin32/files/gawk/ sous le nom de gawk.

 2) Environnement

Le PATH doit inclure un chemin sur awk.exe et sur les binaires de MSVC
C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\bin.

Ouvrir une console (cmd) dans le répertoire contenant les sources d'Apache.

Exécuter le script "C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\vcvarsall.bat"

3) Compiler

Normalement il suffirait de taper la commande
    nmake -f Makefile.win
mais ça ne marche pas car on obtient 5 erreurs du type:

pr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedXxxx referenced in function _apr_atomic_inc32@xx

Les 5 erreurs sont:

Creating library .\Release\libapr-1.lib and object .\Release\libapr-1.exp
apr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedIncrement referenced in function _apr_atomic_inc32@4
apr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedExchangeAdd referenced in function _apr_atomic_add32@8
apr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedExchange referenced in function _apr_atomic_set32@8
apr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedDecrement referenced in function _apr_atomic_dec32@4
apr_atomic.obj : error LNK2019: unresolved external symbol __InterlockedCompareExchange referenced in function _apr_atomic_cas32@12
.\Release\libapr-1.dll : fatal error LNK1120: 5 unresolved externals

NB; Ce problème n’apparait pas si on génère une version 64 bits d’apache.

4) Error LNK2019

Pour corriger cette erreur  il faut éditer le fichier srclib\apr\atomic\win32\apr_atomic.c et mettre en commentaire (ou supprimer)  tous les casts tel que celui-ci (il y en a 9 en tout) :

#else
return ( /*(apr_atomic_win32_ptr_ptr_ptr_fn)*/ InterlockedCompareExchange)(mem, with, cmp);
#endif

(apr_atomic_win32_xxxx) est mis en commentaire 10 fois.
NB: Ceci supprimera les erreurs mais en échange on aura 7 warnings C4047 et 5 warnings C4024 à la compilation.

5) Error LNK2011

A ce stade, si on tentait à nouveau de compiler on obtiendrait cette nouvelle erreur :

adobe-stdenc.obj : error LNK2011: precompiled object not linked in; image may not run
..\Release\iconv\adobe-stdenc.so : fatal error LNK1120: 1 unresolved externals
NMAKE : fatal error U1077: '"C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\BIN\link.EXE"' : return code '0x460'
Stop.

Cette erreur, de manière générale, vient du fait que
1.    un fichier xxxx.c est compilé pour créer un fichier xxxx.pch,
2.    ce fichier xxxx.pch est utilisé pour compiler d’autres fichiers .c
3.    au moment de l’édition de lien xxxx.obj n’est pas utilisé
(Détail ici: http://msdn.microsoft.com/en-us/library/3ay26wa2.aspx)

La solution générique a cette erreur consiste donc à ajouter xxxx.obj à la liste des fichiers obj au moment de l’édition des liens.

Dans le cas de Apache 2.2.x, éditer le fichier srclib\apr-iconv\build\modules.mk.win, localiser cette règle et y ajouter la partie surlignée en vert.

.c{$(OUTPUT_DIR)}.so:
    $(SILENT)cl $(ALL_CFLAGS) /Fo$*.obj /Yuiconv.h /c $<
    $(SILENT)link $(ALL_LDFLAGS) $(MODRES).obj $*.obj $(API_LIBS) /out:$@ \
        /base:@"..\build\BaseAddr.ref",$(@F)

Pour comprendre il faut bien voir que $(ALL_CFLAGS) utilisé à chaque compilation contient ... /Fd$(MODRES).pdb /Fp$(MODRES).pch ...

6) Compiler (pour de bon)

Une fois ces erreurs corrigées on peut lancer depuis la racine des sources
  nmake -f Makefile.win   (pour seulement compiler)
ou
  nmake –f Makefile.win installr    (pour compiler et installer dans C:\Apache22)

Le répertoire d’installation peut être spécifié avec le paramètre INSTDIR

  nmake -f Makefile.win INSTDIR="D:\my\Path\Apache" installr

Regardez les commentaires au début du fichier Makefile.win pour découvrir les différents paramètres pouvant être utilisés  pour customiser la compilation et/ou l’installation.

7) Démarrer le serveur HTTPd

Aller dans le répertoire bin de apache (par défaut C:\Apache22\bin) et exécuter httpd.exe

Recherche des lib et dll

Quand on ajoute la librairie XYZ a un projet C/C++ il y a trois informations à donner au compilateur et linkeur :

1. Le répertoire où se trouve les entêtes des fonctions et classes  (-I /path/to/headers)
2. Le répertoire où se trouve la librairie (-L /path/to/libs)
3. Le nom de de la librairie (-l XYZ)

Ce qui est perturbant c’est que bien souvent le nom réel du fichier de cette librairie n’est pas juste ‘XYZ’. En fait quand vous passez l’option "-l XYZ" au linkeur de gcc sous Windows voici, dans l'ordre de recherche, les 7 noms de fichiers qui seront cherché par gcc :





  | "lib" | “XYZ”  | ".dll" | ".a" | ".lib" | Nom cherché
  +-------+--------+--------+------+--------|
1 |   X   |   X    |   X    |  X   |        | libXYZ.dll.a
  +-----------------------------------------|
7 |       |   X    |   X    |  X   |        | XYZ.dll.a
  +-----------------------------------------|
3 |       |   X    |        |  X   |        | XYZ.a
  +-----------------------------------------|
4 |       |   X    |        |      |    X   | XYZ.lib
  +-----------------------------------------|
5 |   X   |   X    |   X    |      |        | libXYZ.dll
  +-----------------------------------------|
6 |       |   X    |   X    |      |        | XYZ.dll
  +-----------------------------------------|
7 |   X   |   X    |        |  X   |        | libXYZ.a
  +-----------------------------------------|

Ceci est répété pour chaque chemin par défaut et pour chaque chemin définit par l'option -L /path/to/libs  jusqu’à ce que l’un de ces 7 noms soit trouvé.

Notez que toutes les combinaisons ne sont pas testées: libXYZ.lib ne sera pas cherché par le linkeur.