1 déc. 2017

[Code] Équivalence Bash vs Powershell

Excellent tableau comparatif entre Bash (scripting shell) et PowerShell (scripting PowerShell
windows) qui peut être intéressant de voir si on connait l'un des deux langages et que l'on souhaite se mettre à l'autre !

Source : http://cecs.wright.edu/~pmateti/Courses/233/Labs/Scripting/bashVsPowerShellTable.html

Scripting Basics
Put a "shebang" at the beginning of the file: 

Change permissions on script file to allow execution.
Give the file a ps1 extension. For downloaded scripts, unblock the file under file properties in Windows Explorer.Steps for making scripting files run. In PowerShell, the first time you do scripting, you will need to set the appropriate security settings: run PowerShell as administrator and type set-executionpolicy remotesigned.
source (or) ..shell built-in: execute the commands in a file
echo Stringecho String (or)
Write-Host String
Prints String to the screen. In PowerShell, Write-Hostforces the output to the screen instead of being a return value.
(No spaces around =)
$var = 0Creates a variable $var. In BASH, do not put whitespace around the equals sign, and do not use a $ in the variable assignment.
let var=$var+5 (or)
var=$(( $var + 5 ))
$var += 5Add 5 to $var
commentcommentA comment
= !=-eq -ne -ceq -cneString comparisons. In BASH, be sure the strings litereals are in quotes.
"" | gmGet a list of non-static string members
[string] | gm -staticGet a list of static string members
${string#text_to_remove}string.TrimStart("characters")Removes the specified characters/text from the beginning of the string.
${string%text_to_remove}string.TrimEnd("characters")Removes the specified characters/text from the end of the string.  Suppose $fnm == helloThere.txt; then ${fnm%.???} is helloThere
Pattern Matching
grepselect-stringprint lines matching a pattern
sed-replaceperforms string transformations
Booleans and Conditions
true  false$true  $falseBoolean literals
-lt -gt -le -ge -eq -ne-lt -gt -le -ge -eq -neArithmetic relational operators
-likeTrue if a string matches a wildcard pattern
-matchTrue if a string matches a regular expressions
Where-Object { condition }Used to filter input by a condition. Remember that $_ refers to the current object being tested.
-z $var$var -eq $nullTrue if $var is null
-n $var$var -ne $nullTrue if $var is not null (contains one or more characters)
-o -a-or -andLogical or and and
-e fileTest-Path fileTrue if file exists.
! -e file! (Test-Path file)True if file does not exist.
-d filefile.PSISContainerTrue if file is a directory. In PowerShell, if file is not a file variable, be sure to get the file object first with gi.
-s fileTrue if file exists and has a size greater than zero.
file1 -nt file2True if file1 is newer (according to modification date) than file2
file1 -ot file2True if file1 is older (according to modification date) than file2
Control Structures
if [ condition ]
if (condition) {
If statement. In BASH, be sure to leave a space between the condition and the bracket.
if [ condition ]
elif [ condition ]
if (condition) {
elseif (condition) {
else {
If - else if - else statement
while [ $var -lt 10 ]
   echo $var
   var=$(( $var + 1 ))
$var = 0
while ($var -lt 10) {
   echo $var
Prints numbers 0 through 9.
for ((i=0; i < 10; i++)) do
   echo $i
for ($i=0;$i -lt 10; $i++)
   echo $i
Prints numbers 0 through 9.
for var in $array
foreach ($var in $array)
For each loop
continue  breakcontinue  breakLoop controls: continue stops current loop iteration and begins the next; break exits the loop currently being executed.
basename filefile.nameThe name of file without the path. In PowerShell, remember to first get the file object.
dirname filefile.directorynameThe name directory file is in. In PowerShell, remember to first get the file object.
stat -c%s $file (or)
$(stat -c%s $file)
file.lengthThe number of bytes in file. In PowerShell, remember to first get the file object.
file.LastWriteTimeThe last modified time for file. Remember to first get the file object.
files=`ls` (or)
files=$(ls) (or)
$files = Get-Item *Store a list of the files in the current working directory in $files. In PowerShell, check out the -exclude flag as well as the Get-ChildItem cmdlet.
|  >  >>  2>  2>>|  >  >>  2>  2>>Piping, output and error redirection. In BASH, output redirected to /dev/null is gone. In PowerShell, output redirected to $null is gone.
   echo $1
function printArg
   param ($p1)
   echo $p1
function to print the first argument to the screen.
   return 5

echo $?
function return_five
   echo 5
  (or)  return 5

$value = return_five
echo $value
Function returns 5, which is printed after the function call. In PowerShell, any output in a function that is not caught is returned. The return statement merely ends the function. The return value of a BASH function is stored in the variable $?.
File Information/Operations
lsListing of files. For bash, learn the options of -lisa, -r, -R.
lsListing of files. For PowerShell, learn -f, -r, -filter,and -exclude
treetreeGraphically displays the directory structure of a drive or path.
catcatList the contents of a file on the stdout
moremoreList the contents of a file on the stdout, pausing after each page
mkdirmkdirCreates a directory.
rmdirrmdirDeletes a folder if it is empty
pwdpwdprint working directory
cdcdChange the current directory to the one given as argument.
pushdpushdSaves the current directory name on the stack, and then cd's the one given as argument.
popdpopdPop off the top-most name on the stack, and then cd to it
mvmvMoves or renames files. In PowerShell, check out the -force and -WhatIf flags. In BASH, check out the -f flag.
cp -rcp -rCopies files and directory trees recursively.
cpcpCopies files. In PowerShell, check out the -force and -WhatIf flags. In BASH, check out the -f flag.
rmrmDeletes a file. Check out the -r flag. In PowerShell, check out the -force and -WhatIf flags. In BASH, check out the -f flag.
catcatshow the contents of each file in sequence
rmrmRemove files
lnLink (hard or soft) to an existing file.
mklinkLink (hard or soft) to an existing file. Type cmd /c mklinkto use it in PowerShell
chmodattribChange file permissions/attributes
icaclsDisplays or modifies access control lists (ACLs) of files
chownicaclsChange ownership of a file. In PowerShell, multiple steps are necessary
umaskget/set the file mode creation mask; packed vector of bits controlling the initial permissions on a newly created file
dumeasureDisk space Used. In PowerShell, try gci . -r | measure -property length -sum
wcMeasure-Objectword count, etc.
odOctal dump of file content. Almost always used with -x for hexadecimal dump
trTranslate/substitute characters; useful in improving interoperability
assocList associations of commands with extensions. Type cmd /c assoc to use it in PowerShell
fileHeuristically determine the type of file content
grepselect-stringSearch for a string in a file's content. For now, learn it without regexp.
findgciLocate a file. By name, etc. For now, learn it without regexp.
whichGives the full path name of a command
whereGives the full path name of a command.  Type cmd /c where to use it in PowerShell
diffdiffList the differences between two text files
cmp, diffcompare, diffshow the differences between two files
gci . -r | sort length -descending | select -first 10get a list of the 10 largest files in the current directory (recursive)
vivimA powerful text editor. For now, learn to edit simple text files with it.
kate, leafpadnotepadSimple text editors.
emacsemacsA very powerful multi-purpose text editor. For now, learn to edit simple text files with it.
timeMeasure-Commandtimes commands, etc.
pspsshows current processes
gps | sort ws | select -last 5Get a list of the 5 processes using the most memory
gsv | where {$_.Status -eq "Stopped"}Get a list of stopped services
toplike ps, but with continuous updates
bgplace a STOPped process in the background
fgbring a backgrounded process to foreground
killkillkills a running program
ltraceshow lib calls made
straceshow sys calls made
manmanshow reference pages
setsetset the values of shell variables
setgvget and show the values of shell variables
envls env:\lists the current environment variables
$PATH$env:paththe search path
linksWWW/News/Mail browser
sftp, filezilla filezillatransfer files securely to/from a remote machine
ssh, putty sshclient, puttyremote login securely
wwho is on the system, and what they are doing
dfgdrshow mounted volumes, etc.

[Elasticsearch] installer et configurer Shield

Shield est un plugin fournissant une couche de sécurité d'Elasticsearch.
Dans les versions plus récente d'Elasticsearch Shield est embarqué dans X-PACK

1) Pré-requis

  • Java 7 or later
  • Elasticsearch 2.4.4
  • Elasticsearch License 2.4.4 plugin
  • Kibana 
  • CentOS 7.1

2) Installer le plugin Shield

Préalablement télécharger la licence 2.4.4 et le plugin shield 2.4.4

Se positionner dans le répertoire de /usr/share/elasticsearch/bin
# ./plugin install file:///path/to/file/license-2.4.4.zip
# ./plugin install file:///path/to/file/shield-2.4.4.zip

3) Etat des lieux post-install

Après l'installation le répertoire d'installation de shield se trouve ici :
et les binaires :

4) Configuration Shield

4.1) Créer un compte utilisateur Admin
# ./bin/shield/esusers useradd es_admin -r admin
4.2) Restart elasticsearch
# systemctl restart elasticsearch
4.3) Tester l'authentification
# curl -u es_admin -XGET 'http://localhost:9200/'


24 nov. 2017

[Windows] logiciels pour se faciliter la vie

Cet article est en quelque sorte une suite de l'article suivant :

Mais plus personnel.

Le monde du travail est assez contraignant en matière de d'outils et nous contraint souvent à travailler avec des solutions logicielles non voulues et notamment de l'OS.
C'est le cas de l'OS.
J'ai commencé à travailler sur Windows 2000 puis Windows XP et maintenant Windows 7 et bientôt Windows 10.

Ce que j'ai constaté c'est que l'offre logicielles a bien évoluée avec un changement de stratégie de Microsoft qui est passé d'un point de vu très hostile à Linux à maintenant une interopérabilité.
Je préférerais bien évidemment travailler sur Linux mais cela deviendrait extrèmement compliqué, m'obligerais à installer une VM Windows non standard (avec l'entreprise) et ne pas pouvoir bénéficier du VPN par exemple.

En travaillant sous Windows voici une liste de logiciel que j'utilise pour me faciliter la vie :

Un éditeur : Notepad++

J'utilise Notepad++ qui me permet de formater de fichier, les analyser, les comparer, faire des petits scripts, etc.
Notamment car il y a une offre assez intéressante de Plugins permettant comme Compare (diff) , JSON viewer, XML tools, AutoSave2, etc.

Une IDE : Visual Studio Code

Pour le code plus sérieux, j'utilise l'IDE Visual Studio Code comme j'ai pu l'expliquer ici : http://astunix.blogspot.fr/2017/11/code-ide-pour-devops-sysadmin.html
J'utilisais surtout Notepad++ mais cela devenait un peu lourd par exemple pour pousser les changements directement dans le git.
Visual Studio Code a vraiment une plus valus et j'était un peu réticent au début du fait que ce soit Microsoft.
Un panel de Plugins est disponible.

Une bonne surprise.

Un SHELL + un client SSH : MobaXterm

Avant j'utilisais principalement Putty et Cygwin
MobaXterm a permis d'allier à la fois le Shell et le client SSH avec en plus un apt-get qui fonctionne pour installer des outils. Il y a un client SFTP intégrer qui permet de bouger facilement des fichiers entre mon poste local et mes machines distantes.

Même si la version gratuite est agréable à utiliser, la version payante permet de se faciliter la vie en enregistrant plein de hosts par exemple.

Pour faire des Requêtes HTTP : Postman

Ayant besoin de faire régulièrement des requêtes HTTP, j'utilise Postman qui est vraiment un plus car on peut enregistrer les requêtes

Gestion de sources : TortoiseGit

TortoiseGit marche plutôt bien et s'intègre à mon environnement

Virtualisation : VirtualBox

N'ayant pas trop besoin de VMs sur mon poste de travail car ayant à disposition un serveur ESXi et une offre cloud. J'utilise néanmoins VirtualBox pour tester des OS, etc. 

22 nov. 2017

[ANSIBLE] commande à distance

Comment lancer une commande à distance sur différents noeuds ?

Par exemple si l'on veut redémarrer plusieurs noeuds, cela peut être embêtant de taper plusieurs fois la même commande.

$ ansible all -m shell -a "sudo systemctl restart pm2" -i environment/env1/env1 --become

Plus d'informations ici : http://www.mydailytutorials.com/running-ad-hoc-command-ansible-tutorial/

8 nov. 2017

[Code] IDE pour devops / sysadmin

Éditeur de texte graphique pour un DevOps ou Administrateur systèmes et réseaux

Je cherchais un IDE me permettant de coder mes scripts Shell, Ansible, mais aussi mes templates Azure ou Jenkinsfile.
Car je jonglais entre VIM et git sur Linux et Notepad++ et TortoiseGit sur Windows.

J'ai d'abord essayé IntelliJ qui me semblait pas mal du tout sur le papier mais était trop lourd pour ce que j'avais à faire (pas de compilation).

Un collègue m'a suggéré d'essayer Visual Studio Code de Microsoft. Après une journée d'utilisation: prise en main facile, connexion à mes repos git et travail plus fluides qu'avant...

je le conseille pour l'adminsys ou le devops qui a juste besoin de maintenir du script, en plus c'est multi-plateforme car coder en NodeJS ; dispo sur Windows, Linux, Mac OS X ...


[Code] Batch vs Bash

Tableaux comparatif du code BATCH (Windows .bat) en code SH BASH (.sh) en anglais.

Table N-1. Batch file keywords / variables / operators, and their shell equivalents

Batch File OperatorShell Script EquivalentMeaning
%$command-line parameter prefix
/-command option flag
\/directory path separator
===(equal-to) string comparison test
!==!!=(not equal-to) string comparison test
@set +vdo not echo current command
**filename "wild card"
>>file redirection (overwrite)
>>>>file redirection (append)
<<redirect stdin
%VAR%$VARenvironmental variable
NOT!negate following test
NUL/dev/null"black hole" for burying command output
ECHOechoecho (many more option in Bash)
ECHO.echoecho blank line
ECHO OFFset +vdo not echo command(s) following
FOR %%VAR IN (LIST) DOfor var in [list]; do"for" loop
:LABELnone (unnecessary)label
GOTOnone (use a function)jump to another location in the script
PAUSEsleeppause or wait an interval
CHOICEcase or selectmenu choice
IF EXIST FILENAMEif [ -e filename ]test if file exists
IF !%N==!if [ -z "$N" ]if replaceable parameter "N" not present
CALLsource or . (dot operator)"include" another script
COMMAND /Csource or . (dot operator)"include" another script (same as CALL)
SETexportset an environmental variable
SHIFTshiftleft shift command-line argument list
SGN-lt or -gtsign (of integer)
ERRORLEVEL$?exit status
CONstdin"console" (stdin)
PRN/dev/lp0(generic) printer device
LPT1/dev/lp0first printer device
COM1/dev/ttyS0first serial port

Table N-2. DOS commands and their UNIX equivalents

DOS CommandUNIX EquivalentEffect
ASSIGNlnlink file or directory
ATTRIBchmodchange file permissions
CDcdchange directory
CHDIRcdchange directory
CLSclearclear screen
COMPdiff, comm, cmpfile compare
COPYcpfile copy
Ctl-CCtl-Cbreak (signal)
Ctl-ZCtl-DEOF (end-of-file)
DELrmdelete file(s)
DELTREErm -rfdelete directory recursively
DIRls -ldirectory listing
ERASErmdelete file(s)
EXITexitexit current process
FCcomm, cmpfile compare
FINDgrepfind strings in files
MDmkdirmake directory
MKDIRmkdirmake directory
MOREmoretext file paging filter
PATH$PATHpath to executables
RENmvrename (move)
RENAMEmvrename (move)
RDrmdirremove directory
RMDIRrmdirremove directory
SORTsortsort file
TIMEdatedisplay system time
TYPEcatoutput file to stdout
XCOPYcp(extended) file copy

25 oct. 2017

[Code] Devenir développeur front-end

Un très bon tutoriel interactif proposé par Free Code Camp pour apprendre à faire du développement web. Avec au bout du chemin une certification.

On part des bases et on avance tout doucement

En plus de la certification de Dev Front-End, d'autres Certifications et Tuto sont disponibles comme des certification Data Visualization et Back End Development.
Seul inconvénient: pas de version Française. Ça sera donc l'occasion de parfaire votre Anglais !