Admis au barreau de Paris en 1985, Pierre-Olivier Sur est spécialisé en droit pénal, droit pénal des affaires et droit de la responsabilité. Il commence sa carrière au sein du cabinet du pénaliste Olivier Schnerb, assurant les comparutions immédiates et les commissions d'office devant la cour d'assises. Il devient secrétaire de la conférence du stage en 1990. Il est membre du conseil de l'Ordre de 1999 à 2000 et du comité d'éthique du barreau de Paris de 2001 à 2009.
Le 1er janvier 2000, il rejoint le cabinet d'avocats Fischer Tandeau de Marsac Sur & Associés pour y créer un pôle pénal.
En 2010, il est candidat à l'élection du bâtonnier du barreau de Paris, avec Catherine Paley-Vincent, candidate comme vice-bâtonnière, mais il est battu par Christiane Féral-Schuhl2,1. Deux ans plus tard, il prend sa revanche en étant élu le 13 décembre 2012 à cette fonction qu'il occupe du 1er janvier 2014 au 31 décembre 2015.
Pendant son bâtonnat, il défend le secret professionnel et s'oppose à une perquisition à l'Ordre des avocats tandis qu'il dénonce les écoutes téléphoniques à "filets dérivants"; il est alors reçu par le Président de la République... Le sujet de l'accès au droit (aide juridictionnelle - AJ) donne lieu à une opposition avec la Chancellerie menée en particulier par le barreau de Paris. Et après une mobilisation nationale des avocats, Christiane Taubira renonce à son projet de financement partiel de l'AJ par la profession d'avocat (CARPA et taxe)[réf. nécessaire].
En particulier 16 juillet 2014, il porte plainte contre X, pour « recel de violation du secret de l’enquête et de l’instruction » à la suite de la parution d'un article du journal Le Monde sur la mise en examen de Nicolas Sarkozy pour corruption3.
En Octobre 2016, il rejoint en tant que "membre associé étranger" la Temple Garden Chambers de Londres (barrister).