Antes de la instrucción que tienes para abrir el archivo pon la instrucción:
Me. Hide
Por ejemplo:
Private Sub CommandButton1_Click()
Me.Hide
Workbooks.Open "C:\Documents and Settings\" & "libro1.xlsx"
End Sub
Con eso ocultas el formulario, pero para abrir nuevamente el formulario tendrás que llamar nuevamente a la macro con la que lo abriste con la instrucción userform1.show
Ahora, si quieres minimizar el formulario, tendrás que poner el siguiente código en el formulario:
Private Declare Function FindWindow Lib "user32" Alias "FindWindowA" (ByVal lpClassName As String, ByVal lpWindowName As String) As Long
Private Declare Function SetWindowLong Lib "user32" Alias "SetWindowLongA" (ByVal hWnd As Long, ByVal nIndex As Long, ByVal dwNewLong As Long) As Long
Private Declare Function GetWindowLong Lib "user32" Alias "GetWindowLongA" (ByVal hWnd As Long, ByVal nIndex As Long) As Long
Private Const WS_MINIMIZEBOX As Long = &H20000
Private Const WS_MAXIMIZEBOX As Long = &H10000
Private Const GWL_STYLE As Long = (-16)
Private Sub UserForm_Initialize()
Dim lngMyHandle As Long, lngCurrentStyle As Long, lngNewStyle As Long
lngMyHandle = FindWindow("THUNDERDFRAME", Me.Caption)
lngCurrentStyle = GetWindowLong(lngMyHandle, GWL_STYLE)
lngNewStyle = lngCurrentStyle Or WS_MINIMIZEBOX Or WS_MAXIMIZEBOX
SetWindowLong lngMyHandle, GWL_STYLE, lngNewStyle
End Sub
Para minimizarlo tienes que presionar el botón de minimizar, para regresar a su tamaño deberás presionar el botón de restaurar.